Conversation AI: Googles algorithmischer Troll-Filter triggert 4chan

stfuNachdem Yahoo vor ein paar Wochen seinen Anti-Troll-Algorithmus vorgestellt hatte, schreibt Wired nun über Googles Jigsaw-Abteilung, die an einem AI-Tool namens ConversationAI arbeiten. Kurz: Ein machinelearning Anti-Troll-Filter.

a small subsidiary of Google named Jigsaw is about to release an entirely new type of response: a set of tools called Conversation AI. The software is designed to use machine learning to automatically spot the language of abuse and harassment—with, Jigsaw engineers say, an accuracy far better than any keyword filter and far faster than any team of human moderators. “I want to use the best technology we have at our disposal to begin to take on trolling and other nefarious tactics that give hostile voices disproportionate weight,” says Jigsaw founder and president Jared Cohen.

Zusammen mit Youtube Heroes (das hier von Dan Olsen ziemlich genau auseinandergenommen wird; offenbar ist YT-Heroes vor allem eine billige Methode, um Videos zu untertiteln) und seinem neuen Creators for Change-Programm wird klar: Google macht im Kampf gegen Hatespeech ernst.

Ich gehe davon aus, dass die human-identifizierten Hatespeech-Comments auf Youtube im Machine-Learning-Algorithmus ihrer ConversationAI landen, die so auf Feinheiten und Slang trainiert wird. Und wenn Google tatsächlich Twitter kaufen sollte, dürften diese Filter dort in absehbarer Zeit installiert werden. Wann Facebook ähnliche Maßnahmen ergreift, ist sicher nur eine Frage der Zeit.

Die Kritik an solchen Filtern ist klar: Wie genau kann ein Algorithmus Hatespeech identifizieren und sind sie in der Lage, Ironie zu entdecken? Die Antworten sind bislang „so mittelgut bis gut“ (angeblich 92% Erfolgsrate bei 10% false-positives) und „nein“:

the group partnered with The New York Times, which gave Jigsaw’s engineers 17 million comments from Times stories, along with data about which of those comments were flagged as inappropriate by moderators. Jigsaw also worked with the Wikimedia Foundation to parse 130,000 snippets of discussion around Wikipedia pages. It showed those text strings to panels of 10 people recruited randomly from the CrowdFlower crowdsourcing service and asked whether they found each snippet to represent a “personal attack” or “harassment.” Jigsaw then fed the massive corpus of online conversation and human evaluations into Google’s open source machine learning software, TensorFlow.

Machine learning, a branch of computer science that Google uses to continually improve everything from Google Translate to its core search engine, works something like human learning. Instead of programming an algorithm, you teach it with examples. Show a toddler enough shapes identified as a cat and eventually she can recognize a cat. Show millions of vile Internet comments to Google’s self-improving artificial intelligence engine and it can recognize a troll.

In fact, by some measures Jigsaw has now trained Conver­sation AI to spot toxic language with impressive accuracy. Feed a string of text into its Wikipedia harassment-detection engine and it can, with what Google describes as more than 92 percent certainty and a 10 percent false-positive rate, come up with a judgment that matches a human test panel as to whether that line represents an attack.

Wobei sich das Ergebnis durch ständig laufende humanidentifizierte Hatespeech (eben durch Youtube Heroes) sehr schnell verbessern lassen wird.

In wenigen Jahren dürften solche Hatespeech-Filter Standard für Social-Media-Plattformen sein, genau wie Spam-Filter heute – sind Spam-Filter eigentlich eine Beschränkung der Meinungsfreiheit? Just asking… – und mein Mitleid mit den Trollen und „Kritikern“ hält sich da trotz halbreflektierter Statements sehr in Grenzen.

Das Tool wird schon bald bei der NYTimes und Wikipedia eingesetzt, gleichzeitig werden sie das Teil opensource stellen:

Wikipedia and the Times will be the first to try out Google’s automated harassment detector on comment threads and article discussion pages. Wikimedia is still considering exactly how it will use the tool, while the Times plans to make Conversation AI the first pass of its website’s com­ments, blocking any abuse it detects until it can be moder­ated by a human. Jigsaw will also make its work open source, letting any web forum or social media platform adopt it to automatically flag insults, scold harassers, or even auto-delete toxic language, preventing an intended harassment victim from ever seeing the offending comment.

Und 4chan findet das alles natürlich nicht so prall und starteten eine „Operation Google“, in der sie versuchen, „Google“ als neues N-Wort zu etablieren. No surprises.

It was from that thread that the idea came from. If Google wants to block offensive words, then they are going to give them the most offensive word to block: GOOGLE.

The plan has already taken root on 8chan’s /pol/ board and several other 4chan boards. Every time they want to use the word “N*gger”, they’re going to use “Google” instead. Let Google block that:

operation-google-2

r/The_Donald – r/politics = r/fatpeoplehate | Subreddit-Algebra

Großartige und hochinteressante und indeed sehr erhellende Spielerei von Trevor Martin auf FiveThirtyEight:Dissecting Trump’s Most Rabid Online Following. Die haben…

RechtsLinks 24.3.2017: Meme-Magic, The Problem With Facts, Le Pens Online Army und PC als Campus-Religion

Whitney Phillips (deren Troll-Buch hier rumliegt), Jessica Beyer und Gabriella Coleman (deren Troll-Buch hier ebenfalls rumliegt), über den Anteil der…

Next Level, photorealistic Style-Transfer

In ihrem neuen Paper stellen Fujun Luan, Sylvain Paris, Eli Shechtman und Kavita Bala eine neue Style-Transfer-Methode vor: Figure 1:…

Blacked Out Censorship-Poetry Generator

Schöne Spielerei von Max Kreminski, ein JS-Droplet, das Websites in Blacked Out Poetry verwandelt, basierend auf Liza Dalys █ Blackout…

Epilepsie induzierendes Troll-GIF von Gericht zu „tödlicher Waffe“ erklärt

Vor ein paar Monaten bloggte ich den ersten Fall einer erfolgreichen physischen Troll-Attacke durch ein Flacker-GIF, das einen Epilepsie-Anfall bei…

This Bot kills Fascists

So-So-Working-Object-Detection-Algorithm + Woodie Guthrie = Fascists.exe | „This bot kills fascists“.

Outrage is Guilt

Hochinteressantes Paper über Empörung und Schuld mit Implikationen für Callout-Culture, Virtue Signaling und Outrage-Memetik. Psychologen haben anhand der Beispiele „Sweatshop“…

The Internet Warriors

Sehr interessante Mini-Doku von Kyrre Lien, der drei Jahre lang Hater aus Comment-Sections zuhause besucht, befragt und fotografiert hat. Das…

Rechtslinks 7.3.2017: The Great Meme War, The Law of Narrative Gravity und Antifragilität am Beispiel von r/The_Donald

(Pic: Molly Crabapple, „Our country is in good hands“) The Atlantic: The Clickbait Presidency – The Donald Trump conspiracy-theory feedback…

RechtsLinks 4.3.2017: Weaponized Narratives, Humpty Dumpty der Political Correctness und die Paleo-Conservatives for Porn

Sehr interessante Studie von Columbia Journalism Review über unterschiedliche Verhaltensmuster bei der Nutzung von hyper-partisan Websites: Study: Breitbart-led right-wing media…

Palm Generator

Es sollte mehr entspannte Algorithmen mit Urlaubs-Attitüde geben wie den hier: „The Palm Generator is a Three.js module to create…