Conversation AI: Googles algorithmischer Troll-Filter triggert 4chan

stfuNachdem Yahoo vor ein paar Wochen seinen Anti-Troll-Algorithmus vorgestellt hatte, schreibt Wired nun über Googles Jigsaw-Abteilung, die an einem AI-Tool namens ConversationAI arbeiten. Kurz: Ein machinelearning Anti-Troll-Filter.

a small subsidiary of Google named Jigsaw is about to release an entirely new type of response: a set of tools called Conversation AI. The software is designed to use machine learning to automatically spot the language of abuse and harassment—with, Jigsaw engineers say, an accuracy far better than any keyword filter and far faster than any team of human moderators. “I want to use the best technology we have at our disposal to begin to take on trolling and other nefarious tactics that give hostile voices disproportionate weight,” says Jigsaw founder and president Jared Cohen.

Zusammen mit Youtube Heroes (das hier von Dan Olsen ziemlich genau auseinandergenommen wird; offenbar ist YT-Heroes vor allem eine billige Methode, um Videos zu untertiteln) und seinem neuen Creators for Change-Programm wird klar: Google macht im Kampf gegen Hatespeech ernst.

Ich gehe davon aus, dass die human-identifizierten Hatespeech-Comments auf Youtube im Machine-Learning-Algorithmus ihrer ConversationAI landen, die so auf Feinheiten und Slang trainiert wird. Und wenn Google tatsächlich Twitter kaufen sollte, dürften diese Filter dort in absehbarer Zeit installiert werden. Wann Facebook ähnliche Maßnahmen ergreift, ist sicher nur eine Frage der Zeit.

Die Kritik an solchen Filtern ist klar: Wie genau kann ein Algorithmus Hatespeech identifizieren und sind sie in der Lage, Ironie zu entdecken? Die Antworten sind bislang „so mittelgut bis gut“ (angeblich 92% Erfolgsrate bei 10% false-positives) und „nein“:

the group partnered with The New York Times, which gave Jigsaw’s engineers 17 million comments from Times stories, along with data about which of those comments were flagged as inappropriate by moderators. Jigsaw also worked with the Wikimedia Foundation to parse 130,000 snippets of discussion around Wikipedia pages. It showed those text strings to panels of 10 people recruited randomly from the CrowdFlower crowdsourcing service and asked whether they found each snippet to represent a “personal attack” or “harassment.” Jigsaw then fed the massive corpus of online conversation and human evaluations into Google’s open source machine learning software, TensorFlow.

Machine learning, a branch of computer science that Google uses to continually improve everything from Google Translate to its core search engine, works something like human learning. Instead of programming an algorithm, you teach it with examples. Show a toddler enough shapes identified as a cat and eventually she can recognize a cat. Show millions of vile Internet comments to Google’s self-improving artificial intelligence engine and it can recognize a troll.

In fact, by some measures Jigsaw has now trained Conver­sation AI to spot toxic language with impressive accuracy. Feed a string of text into its Wikipedia harassment-detection engine and it can, with what Google describes as more than 92 percent certainty and a 10 percent false-positive rate, come up with a judgment that matches a human test panel as to whether that line represents an attack.

Wobei sich das Ergebnis durch ständig laufende humanidentifizierte Hatespeech (eben durch Youtube Heroes) sehr schnell verbessern lassen wird.

In wenigen Jahren dürften solche Hatespeech-Filter Standard für Social-Media-Plattformen sein, genau wie Spam-Filter heute – sind Spam-Filter eigentlich eine Beschränkung der Meinungsfreiheit? Just asking… – und mein Mitleid mit den Trollen und „Kritikern“ hält sich da trotz halbreflektierter Statements sehr in Grenzen.

Das Tool wird schon bald bei der NYTimes und Wikipedia eingesetzt, gleichzeitig werden sie das Teil opensource stellen:

Wikipedia and the Times will be the first to try out Google’s automated harassment detector on comment threads and article discussion pages. Wikimedia is still considering exactly how it will use the tool, while the Times plans to make Conversation AI the first pass of its website’s com­ments, blocking any abuse it detects until it can be moder­ated by a human. Jigsaw will also make its work open source, letting any web forum or social media platform adopt it to automatically flag insults, scold harassers, or even auto-delete toxic language, preventing an intended harassment victim from ever seeing the offending comment.

Und 4chan findet das alles natürlich nicht so prall und starteten eine „Operation Google“, in der sie versuchen, „Google“ als neues N-Wort zu etablieren. No surprises.

It was from that thread that the idea came from. If Google wants to block offensive words, then they are going to give them the most offensive word to block: GOOGLE.

The plan has already taken root on 8chan’s /pol/ board and several other 4chan boards. Every time they want to use the word “N*gger”, they’re going to use “Google” instead. Let Google block that:

operation-google-2

10 PRINT CHR$ (205.5 + RND (1)); on a Commodore Pet

10 PRINT CHR$ (205.5 + RND (1)); 20 GOTO 10 ist sowas wie ein Miniatur-Programm in Basic für Generative Graphics,…

Podcasts: Yours Truly und Klaus Kusanowski über Cyborgs, Blind Street Fighter, Hurt People Hurt People und die Spiralhopser

Ich habe vergangene Woche zwei Stunden lang mit dem Soziologen und Systemtheoretiker Klaus Kusanowsky über Cyborgs und den Menschen von…

Self-Driving Cars hacked with Love and Hate

Wissenschaftler der Uni Washington haben die Computer-Vision-Systeme von selbstfahrenden Autos gehackt – indem sie Love und Hate in colorierten Pixelfonts auf…

Game of Trust

Schöne Browsergame-Version des Prisoners Dilemma, jetzt auch in allen möglichen Übersetzungen. Wenn man sich erstmal durch die etwas langwierige erste…

Podcasts: Dystopien und Utopien (mit yours truly), die Philosophie der Lüge und Grenzbereiche des Bipolaren

Vor einer Woche war ich zu Gast in einer Breitband-Sendung über Science-Fiction, Dystopien und Utopien: Breitband: Die Erfindung der Zukunft…

The Bullshit Lectures

Vor ein paar Monaten bloggte ich über die Ankündigung der Uni Washington des ersten Seminars über Bullshit. Ich hatte das…

Cellular Automata Cube

Cubes.io: Conways Game of Life als 3D-Spielzeug mit Cubes und Spheres und Schnickschnack als Evolution-Nullpunkt, von wo aus die ganzen…

Neural Network-Faces synched to Music

„My first attempt to map a song made by @kamptweets onto GAN generated proto-faces.“ Bohemian Rhapsody next. The Three Nightingans.…

Doku: Im Netz der Lügen - Falschmeldungen im Internet

Nette Doku von Mario Sixtus über die Psychologie der Fake News. Der Einstieg der Doku ist mir ein wenig zu…

Modern Lovecraftian Elder Gods

I know this is a running gag here but seriously tho, you really gotta ❤️ McSweeneys: MODERN LOVECRAFTIAN ELDER GODS.…

The Philosophy of the Weird and the Eerie

Right now I'm reading more books at once than should be healthy for me. Two of them are Mark Fishers…