Conversation AI: Googles algorithmischer Troll-Filter triggert 4chan

stfuNachdem Yahoo vor ein paar Wochen seinen Anti-Troll-Algorithmus vorgestellt hatte, schreibt Wired nun über Googles Jigsaw-Abteilung, die an einem AI-Tool namens ConversationAI arbeiten. Kurz: Ein machinelearning Anti-Troll-Filter.

a small subsidiary of Google named Jigsaw is about to release an entirely new type of response: a set of tools called Conversation AI. The software is designed to use machine learning to automatically spot the language of abuse and harassment—with, Jigsaw engineers say, an accuracy far better than any keyword filter and far faster than any team of human moderators. “I want to use the best technology we have at our disposal to begin to take on trolling and other nefarious tactics that give hostile voices disproportionate weight,” says Jigsaw founder and president Jared Cohen.

Zusammen mit Youtube Heroes (das hier von Dan Olsen ziemlich genau auseinandergenommen wird; offenbar ist YT-Heroes vor allem eine billige Methode, um Videos zu untertiteln) und seinem neuen Creators for Change-Programm wird klar: Google macht im Kampf gegen Hatespeech ernst.

Ich gehe davon aus, dass die human-identifizierten Hatespeech-Comments auf Youtube im Machine-Learning-Algorithmus ihrer ConversationAI landen, die so auf Feinheiten und Slang trainiert wird. Und wenn Google tatsächlich Twitter kaufen sollte, dürften diese Filter dort in absehbarer Zeit installiert werden. Wann Facebook ähnliche Maßnahmen ergreift, ist sicher nur eine Frage der Zeit.

Die Kritik an solchen Filtern ist klar: Wie genau kann ein Algorithmus Hatespeech identifizieren und sind sie in der Lage, Ironie zu entdecken? Die Antworten sind bislang „so mittelgut bis gut“ (angeblich 92% Erfolgsrate bei 10% false-positives) und „nein“:

the group partnered with The New York Times, which gave Jigsaw’s engineers 17 million comments from Times stories, along with data about which of those comments were flagged as inappropriate by moderators. Jigsaw also worked with the Wikimedia Foundation to parse 130,000 snippets of discussion around Wikipedia pages. It showed those text strings to panels of 10 people recruited randomly from the CrowdFlower crowdsourcing service and asked whether they found each snippet to represent a “personal attack” or “harassment.” Jigsaw then fed the massive corpus of online conversation and human evaluations into Google’s open source machine learning software, TensorFlow.

Machine learning, a branch of computer science that Google uses to continually improve everything from Google Translate to its core search engine, works something like human learning. Instead of programming an algorithm, you teach it with examples. Show a toddler enough shapes identified as a cat and eventually she can recognize a cat. Show millions of vile Internet comments to Google’s self-improving artificial intelligence engine and it can recognize a troll.

In fact, by some measures Jigsaw has now trained Conver­sation AI to spot toxic language with impressive accuracy. Feed a string of text into its Wikipedia harassment-detection engine and it can, with what Google describes as more than 92 percent certainty and a 10 percent false-positive rate, come up with a judgment that matches a human test panel as to whether that line represents an attack.

Wobei sich das Ergebnis durch ständig laufende humanidentifizierte Hatespeech (eben durch Youtube Heroes) sehr schnell verbessern lassen wird.

In wenigen Jahren dürften solche Hatespeech-Filter Standard für Social-Media-Plattformen sein, genau wie Spam-Filter heute – sind Spam-Filter eigentlich eine Beschränkung der Meinungsfreiheit? Just asking… – und mein Mitleid mit den Trollen und „Kritikern“ hält sich da trotz halbreflektierter Statements sehr in Grenzen.

Das Tool wird schon bald bei der NYTimes und Wikipedia eingesetzt, gleichzeitig werden sie das Teil opensource stellen:

Wikipedia and the Times will be the first to try out Google’s automated harassment detector on comment threads and article discussion pages. Wikimedia is still considering exactly how it will use the tool, while the Times plans to make Conversation AI the first pass of its website’s com­ments, blocking any abuse it detects until it can be moder­ated by a human. Jigsaw will also make its work open source, letting any web forum or social media platform adopt it to automatically flag insults, scold harassers, or even auto-delete toxic language, preventing an intended harassment victim from ever seeing the offending comment.

Und 4chan findet das alles natürlich nicht so prall und starteten eine „Operation Google“, in der sie versuchen, „Google“ als neues N-Wort zu etablieren. No surprises.

It was from that thread that the idea came from. If Google wants to block offensive words, then they are going to give them the most offensive word to block: GOOGLE.

The plan has already taken root on 8chan’s /pol/ board and several other 4chan boards. Every time they want to use the word “N*gger”, they’re going to use “Google” instead. Let Google block that: