DXを語る上で無視できないデータ活用。業界を超えて先進企業が取り組んでいるが、Deloitte（デロイト）でテクニカル・ディレクターを務めるIvana Bartoletti（イヴァナ・バートレッティ）氏は「盲目的なデータ活用は課題解決につながりません」と警鐘を鳴らす。データはどう使われるべきなのか。現在のデータ活用方法にどのような問題があるのか。同氏が詳しく語った。
本記事はB’AIグローバル・フォーラム主催「Power, Politics, & AI：Building a Better Future」
の講演をもとに編集・再構成したものである。
「データは客観的」なのか？
近年、DXの必要性が叫ばれ、データとAIの活用を進めようとする機運が高まるばかりだ。AIの機械学習により病気の症状が表出する以前に病気を発見するなど、前向きなデータ活用が拡大している。しかしバートレッティ氏は危機感を覚える。
「多くの人が『データは客観的なものだ』と思っています。だからこそ、意思決定や法整備にデータを活用すべきだという声が上がります。しかし、それではうまくいかないのです」と同氏は話す。
データを読み込んだAIが意思決定に活用されることで、結果として差別が再生産されることがあるからだ。
例えば、銀行などの金融機関が既存のデータをAIに学習させ、顧客の信用を予測させるとしよう。すると、男性の方が女性よりも高い信用があると結論され、その金融機関は男性に有利な方針を採用することがあり得る。なぜなら、これまでビジネス活動の重要ポジションの多くは男性により占有され、それにより女性の収入は男性の収入よりも一般的に少なかったからだ。同様の問題は人種の異なる者の間でも起きるだろう。
バートレッティ氏は「データの問題は、実は政治的な問題なのです」と指摘する。
差別をするのはアルゴリズムか、人間か
こうした議論を聞くと「差別的な結果が出てしまうのはアルゴリズムの問題だから、アルゴリズムを改善すれば良い」と考える人もいるかもしれない。
しかし、バートレッティ氏は「アルゴリズムは差別をしません。差別をもたらすのはシステムを作る人間です」と断言する。
ここで同氏は1つの例を挙げた。大きな都市の中心に1つの会社がある。この会社のCEOが自分の側近を社員の中から選ぼうと考えた。CEOはソフトウェアを使って自分の条件に合う社員を検索した。CEOは自分が午前7時に出勤するので、同じ時間に出勤する社員に絞り込んだ。
これだけでは「午前7時に出勤する社員」というのが検索の条件であるように見える。しかし、実際にはそうではない。
「朝早くに都市の中心の会社に出社できるのはどんな人でしょう？街中にアパートを借りる財力がある若い男性社員でしょうか？あるいは2人の子どもがいる郊外在住の女性社員でしょうか？この場合は若い男性社員でしょう」と同氏はCEOが気づいていない隠れた条件を説明する。その上で「重要なのは、差別やステレオタイプ、バイアスを自動化してしまうシステムに注意を払うことです」と話す。
データで未来は予測できるのか？
「AIは『客観的な』データを摂取することで答えを導き出すと思われています。しかし、客観的なデータ、中立的なデータなどというものは存在しません」とバートレッティ氏はいう。
なぜなら、データというものは「現在」という瞬間の写真でしかないからだ。つまり、データはこれまで積み重ねられてきたあらゆる差別や不平等が「今」どうなっているかということを見せるだけだ。こうした「今」や「今まで」をAIに取り込ませ、未来を予測しようとすれば、今現在起きている問題や差別を自動化し、継続させることしかできない。
「既存のデータで未来を予測することは、今、弱い立場にいる人々を抑圧することにつながります。AIの機械学習は今までのデータをもとにパターンを見つけ出し、方針を決定します。これは未来のあるべき姿を創造することとは異なります」とバートレッティ氏。
同氏はまた「システムは選択されるもので、自然とでき上がるものではありません。先程の金融機関の男女の信用の例で言えば、『データを活用する金融機関が女性に大きな信用を置く』というような状況は自然ともたらされることはないのです」という。
ダイバーシティを取り入れたデータ活用、AI活用に向けて
では、どうすれば前向きに、既存の差別構造を持ち込まずにデータやAIを活用できるのだろうか。
バートレッティ氏は「今、データ活用に関わる決定の場にいる女性の数は多くありません。女性などのマイノリティが意思決定の場にいなければ『これは問題ですよ』という人がいないということです。組織はデータ活用やアルゴリズムに関して公平・公正でなければなりません」と答える。
しかし、これには大きな課題が立ちはだかる。男性が多数派の意思決定の場に女性などのマイノリティを増やすということは、意思決定の場に今いる人々からすれば、自分の特権を手放すことを意味するからだ。既存の意思決定者たちが得るものもなく特権を手放すことは考えにくい。彼らがマイノリティの意思決定の参加を加速させることで得る利益はあるのだろうか。
バートレッティ氏は「彼らには2つの利益があります」という。
1つは自社の評判確保による利益の確保だ。データ活用の場、意思決定の場にマイノリティが参加していなければ、その事実が自社の評判を下げる。評判が下がれば、顧客が自社の商品やサービスを利用しなくなり、経済的な損失になるというのだ。そのため、自身の特権を手放してでも、意思決定の場にマイノリティを呼ぶことで、評判と利益を守る必要がある。
もう1つは人材確保だ。同氏は「IT企業に勤める人々は、テクノロジーを使って社会的に正しいことをしようと思っています。最近では、自社の方針が倫理的でない場合に、デモなどの行動に出る人たちもいます。つまり、優秀な人材に自社に居続けてもらうために、企業は倫理的でなければならないのです」と話す。
IT企業だけではない。例えば建設業界のエンジニア採用にAIを使う場合、これまでのデータをもとに良い人材を探すことになる。エンジニアには男性が多いため、AIは「良い人材=男性」という図式を踏襲してしまう。実際の能力ではなく、性別によって人材が選別されてしまうのだ。意思決定の場に女性が居れば、どのデータをどのように使うのか、良い人材の定義は何かなどを設定し、より適切なデータ活用をできるようになり、より良い人材を確保できる。
最後にバートレッティ氏は「データは万能、テクノロジーは万能と思わないでください。『適切なデータセットとは何か』という問いは政治的なものです。AIを有意義に使うためには、哲学者、歴史家など、多様なバックグラウンドの人材が必要です。『データ活用はすばらしい』かもしれませんが、誰にとって都合が良いのか考えてください。知らないうちに『自分にとって都合が良い』『男性にとって都合が良い』になっているかもしれませんよ」と語った。