ネット上のコメントにヘイトスピーチが含まれているかどうかを正確に識別できる「罵り検知アルゴリズム」をヤフーが開発した。
ヤフーのアルゴリズム（PDF）は、テストケースの90パーセントで罵りコメントを正しく識別することができた。論文によると、ディープラーニングなどの「最新式」の手法よりも性能がいいという。
ヤフーは、最高に正確なヘイト検知アルゴリズムを開発するため、キーワードに基づくシステムを超えたシステムを開発しようとした。そこで、「Yahoo! News」と「Yahoo! Finance」の記事に付いた罵り言葉のコメントとそうでないコメントで構成されたデータセットを用い、コメントの長さ、侮辱語の数、および句読法をアルゴリズムに分析させて、罵りのメッセージの典型的な特徴を割り出した。
また、訓練を受けた人間の評価者が、同じコメントの集まりを分析し、罵り言葉であるかどうかを評価した。これを、人間から見れば無条件に罵りだとわかる投稿についてアルゴリズムを訓練するのに役立てた。「暗黙の罵り」を見分ける人間の能力を生かそうというわけだ。
ヤフーはさらに、アマゾンのサイト「Mechanical Turk」を利用して、罵り言葉の評価をアウトソースした（Mechanical Turkでは、誰もがサインアップして、画像の分類や言葉の分析といった一定の人間の知能を必要とする仕事ができる）。
今回の研究では、訓練を受けていない人が、ネット上のコメント1件あたり0.02ドル相当の額で、罵り言葉かそうでないかの分類に取り組んだ。ヤフーの訓練されたスタッフに比べると、Mechanical Turkの作業者は検知の成績がかなり悪かった。このことは、罵りの検知にはよく訓練された人間のスタッフの存在が重要だということを示している。
アルゴリズムはヤフーのデータベース以外ではテストされていないが、同社はこのアルゴリズムは自然言語処理における「大きな前進」だと自信をもっている。罵り言葉のデータベースは「Yahoo Webscope」でまもなく公開される予定だ。
http://wired.jp/2016/08/01/yahoo-online-abuse-algorithm/
16:名刺は切らしておりまして 2016/08/01(月) 18:43:16.39 ID:UBlivZE3.net
ネトウヨオワタｗ
27:名刺は切らしておりまして 2016/08/01(月) 18:50:42.17 ID:EYLsxJIR.net
1％のネット右翼を一匹残らず駆除するシステムですね
25:名刺は切らしておりまして 2016/08/01(月) 18:48:45.64 ID:Ulbkui66.net
朝鮮人が差別用語になるなら何でもヘイト用語だな
24:名刺は切らしておりまして 2016/08/01(月) 18:48:16.98 ID:+XpheytO.net
都合悪い事は全て消すニダ
5:名刺は切らしておりまして 2016/08/01(月) 18:40:28.59 ID:S3LudASC.net
言論の自由はどこに?
4:名刺は切らしておりまして 2016/08/01(月) 18:40:24.93 ID:jQskNEeF.net
ヘイトスピーチ（朝鮮への意見）を見逃さない言論弾圧のための人工知能だろ
12:名刺は切らしておりまして 2016/08/01(月) 18:42:02.88 ID:6enPHsEk.net
これで、半島や支那の不利な言論は封殺か…。
10:名刺は切らしておりまして 2016/08/01(月) 18:41:06.41 ID:q4qfaq7B.net
色々なものがヘイト認定されて誰も行かなくなるだろうなｗ
14:名刺は切らしておりまして 2016/08/01(月) 18:42:27.91 ID:5BPH6ts1.net
日本人向けは関知しないから恐ろしい
8:名刺は切らしておりまして 2016/08/01(月) 18:40:41.85 ID:SqVKLHeG.net
逝ってヨシはすり抜けるかな？
7:名刺は切らしておりまして 2016/08/01(月) 18:40:33.26 ID:ZH/KmfNN.net
これにはオバマもニガ笑い
61:名刺は切らしておりまして 2016/08/01(月) 19:14:34.01 ID:4AGvT5wE.net
>>7
やるなあ。
11:名刺は切らしておりまして 2016/08/01(月) 18:41:29.41 ID:1Wcw+5w4.net
アホンダラー ダボかぁー しばくどー
播州弁はヘイトじゃないので区別をお願い
22:名刺は切らしておりまして 2016/08/01(月) 18:47:26.56 ID:VOh6X1O1.net
半年ROMってろ
31:名刺は切らしておりまして 2016/08/01(月) 18:52:39.91 ID:MH58YSFM.net
外国のヤフーだろこれ
23:名刺は切らしておりまして 2016/08/01(月) 18:47:45.78 ID:WzyG0j17.net
そんなモン開発してるから会社を身売りしなきゃならなくなるんだ
20:名刺は切らしておりまして 2016/08/01(月) 18:46:41.65 ID:m3WVJFLB.net
１ちゃんねるの再来かｗ
ほんとアホは学ばないな。
21:名刺は切らしておりまして 2016/08/01(月) 18:47:10.68 ID:v1J5JbmI.net
自分の民族に都合が悪いものは全てヘイト認定
只のワガママ坊ちゃんかよ
37:名刺は切らしておりまして 2016/08/01(月) 18:57:16.10 ID:BwA+MZhU.net
そんなことより罵詈雑言風説の流布だらけのヤフーファイナンス掲示板をどうにかしろよ
48:名刺は切らしておりまして 2016/08/01(月) 19:03:45.72 ID:W+DF30kw.net
ネトウヨ終了
50:名刺は切らしておりまして 2016/08/01(月) 19:07:16.21 ID:U1fDz4j8.net
>>48
安心しろ、ジャップも差別用語だ。
71:名刺は切らしておりまして 2016/08/01(月) 19:18:03.47 ID:obgBTXqL.net
>>50
なら「じゃっぷぅ」で
32:名刺は切らしておりまして 2016/08/01(月) 18:53:42.55 ID:xomKRE8j.net
たてよみ、ななめよみに対応できんの？
36:名刺は切らしておりまして 2016/08/01(月) 18:56:01.41 ID:57btmdRP.net
よろしい
すり抜けてみせよう
45:名刺は切らしておりまして 2016/08/01(月) 19:02:19.67 ID:cIOIQb62.net
言葉狩りが横行する暗黒時代の幕開けだ
41:名刺は切らしておりまして 2016/08/01(月) 19:00:00.77 ID:KSZzMrdW.net
全ての文字列がヘイト認定されそう
62:名刺は切らしておりまして 2016/08/01(月) 19:14:41.25 ID:O4J9PWYK.net
ヘイトスピーチする人間自体を巧妙に消していく時代に向かう可能性も
49:名刺は切らしておりまして 2016/08/01(月) 19:05:40.26 ID:id0mD28c.net
機械に左右される社会が到来しました
28:名刺は切らしておりまして 2016/08/01(月) 18:51:22.95 ID:0yYS0GkI.net
なにを書いても削除され人工知能の反乱の始まりであった。
54:名刺は切らしておりまして 2016/08/01(月) 19:10:27.33 ID:hxdBCb1l.net
こうやって衰退して行くんだろうな
72:名刺は切らしておりまして 2016/08/01(月) 19:18:28.46 ID:hznihudK.net
>>1
つまり、言葉狩りシステムだろ？
でも残念ながら、差別ってのは、言葉じゃないのよ。
どんな言葉でも侮蔑できる。
80:名刺は切らしておりまして 2016/08/01(月) 19:30:40.72 ID:RUbVQqED.net
ほめ殺しも認識するのかね
87:名刺は切らしておりまして 2016/08/01(月) 19:34:22.52 ID:bCd0NDhq.net
中国の掲示板みたいに某国とか言うのが流行りそう
114:名刺は切らしておりまして 2016/08/01(月) 19:53:34.38 ID:pMUC2Jrx.net
ヘイトスピーチが問題じゃないんだよ。
罵りになっている問題の根源探ししてくれよ（笑）
元スレ: http://anago.2ch.sc/test/read.cgi/bizplus/1470044298/