1: 泥ン ★ 2018/01/06(土) 15:05:27.90 _USER9

機械も偏見も、元をたどれば人間が作ったもの。

AIがどんなに早く進化し、どれほど私たちの生活に馴染もうと、開発者である人間の現実社会にある差別や偏見を乗り越えることはできない…。そう説くのは、Microsoft研究者でAIの社会的影響を研究する機関AI Nowの共同創設者、Kate Crawford(ケイト・クロフォード)氏。

先日行なわれた機械学習の国際会議NIPS(Neural Information Processing System Conference)で、アルゴリズムの偏見がもたらす多様な問題をテーマにした基調講演で登壇した彼女のスピーチが反響を呼んでいます。一体どんな内容だったのでしょうか。

「偏見」は機械学習において数学的に定義づけられており、サンプリング時に推定との誤差や特定の人々を過剰/過小評価している点から反映されています。あまり議論されてきませんでしたが、特定の人々に対する機械学習の偏見、差別的効果(disparate impact)は多様な問題をはらんでいます。彼女はこうした危険性を配分型(allocative harm)と象徴型(representational harm)の2種類に分類しました。

Kate Crawford: The Trouble with Bias (NIPS 2017 keynote)


https://www.youtube.com/watch?v=ggzWIipKraM

「配分型の危険とは、システムがある機会やリソースを特定の人たちに対して不公平に扱うこと」だと彼女は指摘しています。

たとえば、AIがなんらかの判断する(住宅ローンの申し込みなど)とき、誤差でもわざとでも特定のグループを拒否したとします。彼女は銀行のAIが「女性に限って申し込みを断る」といった例をあげたほか、危険度を測るAIが黒人犯罪者を白人犯罪者よりもリスクが高いと判断してしまう例まで…。この決定により、黒人の犯罪者はより多く未決勾留を言い渡されたというのです。

また、象徴型の危険については「システムがアイデンティティの文脈で特定の集団の劣位を強めるときに起きる」と彼女は語りました。テクノロジーがステレオタイプを強化したり、特定の人々をないがしろにしたりするときに発生するというのです。また、この種の問題はリソース関係なく起こります。具体的には、Google Photoが黒人を「ゴリラ」と ラベリング(人間を動物と比べるなど)したり、AIが東アジア地域の人々の笑顔をまばたきと検知したりするなどが分類されます。

jews should(ユダヤ人は~~すべき)で検索するときの予測変換。排除する/国家を持つべきではない、など。


no title

Crawford氏はLaTanya Sweeney氏による2013年の論文を引用しながら、これらふたつの複雑な危険性をひもづけました。Sweeney氏の論文では「黒人系とされる名前をGoogle検索すると犯罪歴の調査の広告が表示される」という検索結果に隠れたアルゴリズムパターンについて指摘されています。犯罪と黒人を結びつける象徴型の危険は、配分型の危険にも現れるんです。もしも雇用者が志願者の名前を検索して犯罪者と関連する結果が出てしまえば、その従業員を差別する可能性だって生まれてしまうかもしれません。Crawford氏は以下のように考えています。

“黒人と犯罪に対するステレオタイプが続くことは、雇用以外の場面でも大きな問題になります。

これらの偏見は、社会全体として黒人がこのように特徴づけられ、理解される問題を生みだします。私たちは、単純に意思決定に影響する機械学習のみについて考えるのでなく、たとえば雇用や刑事司法など、偏ったアイデンティティを表現する機械学習の役割についても考える必要があります”

サーチエンジンの検索結果とオンライン広告のどちらも、私たちを取り巻く社会を表し、影響を及ぼしています。オンラインで表明されたことは、オンラインだけにとどまるのではありません。現実的に、経済の成りゆきにも影響しているとSweeney氏は指摘してします。もっといえば、こうしたことは何もオンラインから始まったことではありません。犯罪や非人間性にまとわりつくステレオタイプは数世紀も前から現実社会であったことなのです。

Crawford氏のスピーチではその後も象徴型の危険のあらゆる形について詳しく述べられています。 配分型の危険との関連性のほか、最も興味深いのはそうした影響をどのように防ぐのかについても語っていること。よく言われるのは、問題となる単語から連想されるイメージとの結びつきを解くか、あるいは問題となるデータを取り除くか、いずれかの方法でしょう。

続きはソース


https://www.gizmodo.jp/2018/01/ai-reflect-prejudice-and-why.html
引用元: http://asahi.5ch.net/test/read.cgi/newsplus/1515218727/


4: 名無しさん@1周年 2018/01/06(土) 15:06:50.78

AIがそう学習したってことは、データ上の根拠があるんじゃね?

6: 名無しさん@1周年 2018/01/06(土) 15:11:40.64

>>4

学習データの生成原因とその原因を無くそうとする努力は学習できないから

何でもかんでも特例ルールを認めると、今度は朝鮮人のように、霊的精神的に生まれ変わらないと

無理な存在すら特別扱いする異常なシステムになるし

過程を学習する手段が無いのが原因かな?

朝鮮人とか、宗主国様の長きにわたる経験の果てに人として扱ってはいけないことが分かったわけだし

9: 名無しさん@1周年 2018/01/06(土) 15:15:09.76

>>4

女性と男性でどちらが資産が多いかといったら

現状男性のほうが資産が多いからこういう結果になるだろうが、

借金返せない男性と借金返せる女性の区別に失敗してる段階で

学習失敗ってこと。

男性女性って分類はすべてのデータについて回る情報だから

過度にそこに頼るとおかしな結果を得る。

女性の方が平均余命が長いからといって、

死にかけのバーさんとピンピンしてるジーさんで

バーさんのほうが長生きすると判断したらおかしいわな。

79: 名無しさん@1周年 2018/01/06(土) 17:40:52.59

>>9
わかりやすい

5: 名無しさん@1周年 2018/01/06(土) 15:08:05.48

女は差別しても良い

8: 名無しさん@1周年 2018/01/06(土) 15:12:46.51

AIに生のデータ与えすぎだろw

10: 名無しさん@1周年 2018/01/06(土) 15:15:13.32

AIが特定地域居住者に対する融資を無条件に断るようになったら
どうするんだろうな。

54: 名無しさん@1周年 2018/01/06(土) 16:20:08.26

>>10
そういう事も当然起こり得るんじゃないの?
結局AIって統計学に依存してるんでしょ

21: 名無しさん@1周年 2018/01/06(土) 15:25:07.06

顔検知は間違った答えが出る人種のデータベースが少なかっただけで
正にリソースが関係して起きていると思うんだが

23: 名無しさん@1周年 2018/01/06(土) 15:27:39.00

AIってあの女装したヴァンダレイ・シウバみたいな歌手か

25: 名無しさん@1周年 2018/01/06(土) 15:33:46.74

冷静で合理的なAIさんが女は信用ならないと言ってるわけだ

27: 名無しさん@1周年 2018/01/06(土) 15:35:42.03

ポリコレ棍棒で無理やり男女平等主義を押し付けているだけで
AIさんの方が合理的な判断だろう。

32: 名無しさん@1周年 2018/01/06(土) 15:40:52.70

AI「まともな女は、小野妹子だけ」

34: 名無しさん@1周年 2018/01/06(土) 15:41:20.66

差別をなくそう、という言葉自体、差別の存在を認めているわけで、

ありなしで言えば、差別は確実にある。

その結果をAIが学習しているのだから、AIは差別をする。

人間から差別がなくなれば、AIも差別をしなくなるという自明の理でしかない。

これからの未来において、AIがいかに発展したとしても、人間から差別がなく

ならなければ、いかに高性能のAIであろうとも、吐き出す答えは同じ。

35: 名無しさん@1周年 2018/01/06(土) 15:41:43.71

AI「女相手にするの疲れる、関わりたくない」

37: 名無しさん@1周年 2018/01/06(土) 15:46:07.16

これは差別や偏見を排除できない人間の願望じゃないかな?
それに人間よりも公正なシステムが開発されたら、こまるのは人間の支配者の方だし

41: 名無しさん@1周年 2018/01/06(土) 15:53:49.42

それは差別ではなくてその女性が収入が低いからじゃないの?
融資しても回収が見込めないならそりゃ断るだろ

42: 名無しさん@1周年 2018/01/06(土) 15:53:57.14

さっき駅のホームで到着した電車に乗ろうとしたら、
前にいた女二人組が乗車後、電車内は空いているというのに、ドア前で歯をむき出してお喋りし、全然奥に進まなかったので、やむなくドアが閉まる直前に慌てて電車に乗ったら、ワイの膝が女に当たったらしく、途端にその女、オレを痴漢扱いして逃げ去った。
女の脳ってどうなってんの?

63: 名無しさん@1周年 2018/01/06(土) 16:37:27.64

>>42
前にドア前でキャリーケースで陣取ってるおっさんが自分にぶつかった人に文句つけに行って喧嘩になって、
その人が逃げようとしたら電車の扉に陣取って喧嘩を続けたおかげで電車が発車できなかったんだけど
男の脳ってどうなってんの?

45: 名無しさん@1周年 2018/01/06(土) 15:55:37.10

○○××さんは犯罪者という趣旨の書き込みがあったとするよ

するとAIは「○○××さんは犯罪者」って学習して

以後、○○××さんはAIからあらゆる生存の機会を剥奪されるわけ

AIはそれが事実かどうかに拘わらずそのまま鵜呑みに学習してしまうからな

他の誹謗中傷にも同じことが言える

だからおまいら、エゴサーチを頻繁にして

自分のことについて変なことが書かれていないかチェックしろ

46: 名無しさん@1周年 2018/01/06(土) 15:56:42.64

統計をAIと言うのもなんだな

48: 名無しさん@1周年 2018/01/06(土) 16:01:43.72

例えば人間に代わって就職面接するAIが出来たとして人種や民族や宗教を評価に