ソートリーダー

ヒューマン・イン・ザ・ループとは実際に何を意味するのか?

Arjun Harindranath
Unite.AI を Google の優先ソースに追加
要点ヒューマン・イン・ザ・ループは、倫理的なシステム設計を確保せずに、しばしばユーザーに責任を転嫁する。
もっと見る
  • ヒューマン・イン・ザ・ループは、倫理的なシステム設計を確保せずに、しばしばユーザーに責任を転嫁する。
  • フリズルは、AIが乱雑な手書き文字を処理できない場合に、採点精度を確保するために人間による監視を利用する。
  • 意味のある人間の役割には、スタッフがAIを承認するだけでなく、それに異議を唱え、覆す権限を与えることが必要である。

20世紀初頭、英国の哲学者ギルバート・ライルは「機械の中の幽霊」という言葉を生み出した。著書 『心の概念』でライルはこの比喩を使い、心と身体は別々の実体として存在するという心身二元論に異議を唱えた。ライルにとって、この区分は誤りだった。認知と身体的行為は切り離せず、相互作用する二つの部分ではなく、一つのシステムの一部だからだ。

AIの登場とともに、生産性を高めるためにAIツールを使う人について語る際、同様の比喩が現れるようになった。よく使われる「ヒューマン・イン・ザ・ループ」、つまり人間がプロセスに関与するという表現だ。人間と知的システムがかつてないほど一体化しているのなら、私たちは継ぎ目のない融合を築いているのか。それとも、都合のよい「制御できている」という幻想を生み出しているのか。

スタートアップは自社のツールを説明する際、この概念を大いに頼りにする。革新と安心の両方を約束する一方で、現実はもっと複雑なことが多い。責任は容易に分散し、誰が説明責任を負うのかを追いにくくなる。

AIシステムが教育から戦争まで、慎重な扱いを要する領域に深く入り込むにつれ、問われるものはもはや抽象論ではなくなる。ヒューマン・イン・ザ・ループとは実際に何を意味するのか。結局は人間が完全にいなくなることを指す、単なる婉曲表現なのだろうか。

1. 責任逃れの盾としてのヒューマン・イン・ザ・ループ

不用意に使うと、ヒューマン・イン・ザ・ループという言葉は、責任に真剣に向き合わずにそれを転嫁する安易な手段になり得る。多くの人が気づいているように、プロセスの最後に人間の署名があるだけで倫理的な健全性が保証されるわけではない。基盤となるシステムの設計や理解が不十分なら、なおさらだ。

Scale Xの創業者兼CEOであるMaysa Hawwashは、責任から遠ざかる傾向について 書いており 、この概念のよくある使われ方を率直に批判する。「実際、ほかの負担転嫁の方法とそれほど違いません」とHawwashはStartup Beatに語った。人事担当者が、署名による承認を求める方針を利用して会社の法的責任を回避しようとする例を挙げた。「この方針があり、人々が読んで署名して承認すれば、会社としては形式上責任を負わない、ということですよね」と彼女は述べた。

そこに見えるのは、企業の仕組み全般でおなじみのパターンだ。責任はなくなるのではなく、別の場所に移される。Hawwashはこれを、批判的に考えたり、人や地域社会にどのような影響が及ぶかを理解したりすることを避ける、怠惰な逃げ道と捉えている。「つまり負担を転嫁してしまえば、人々が方針を理解しているかも、方針に筋が通っているかも、どうでもよくなるのです。」

この捉え方では、ヒューマン・イン・ザ・ループは意味のある介入よりも、手続き上の隠れみのになってしまう危険がある。問題は言葉の意味だけではない。監督が署名による承認だけになれば、人間の役割は実質的なものから象徴的なものへ変わる。

Hawwashは、最近の軍事的残虐行為であるイランのミナブの学校への攻撃に 言及した 。人間が攻撃を承認したものの、人間の意思決定者がいたことが、必ずしも倫理的な明確さや十分な熟慮を意味したわけではない。「戦争中や複雑な手術を行っているとき、ヒューマン・イン・ザ・ループを盾に使うほどの時間的余裕はありません。」

2. 単なる監督ではなく、責任を組み込む設計

別の道は、ヒューマン・イン・ザ・ループのシステムを捨てることではなく、設計上の約束として真剣に扱うことだ。象徴的な監督から、意図を持って構築した責任体制へ移行する必要がある。

「より多くのAIをすぐ市場に出そうと、激しい競争が起きています。設計の観点から、地域社会や人々、エンドユーザーに後々どのような影響が及ぶかなどは、あまり考え抜かれていません」とHawwashは語った。

速度が競争を支配する要因になった。その競争の中で、責任は組み込まれるより後回しにされがちだ。その結果、開発中に問題を予測するのではなく、導入後に修正する、後追い型の倫理モデルが生まれる。

利用しやすさは導入を加速するかもしれないが、影響も増幅する。システムの利用者は技術に詳しい人だけではなくなり、理解の程度や置かれた状況が異なる人々の意思決定にも影響し得る。このような環境で、責任をエンドユーザーに丸投げすることはできない。

3. 精度と説明責任を支えるヒューマン・イン・ザ・ループ

Frizzleの共同創業者Abhay Guptaは、より実務的な観点を示す。人間による監督が実行可能で、かつ必要となるシステムを構築するという観点だ。

彼の会社は、働きすぎの教師という具体的な問題から生まれた。「都会では銀行員やコンサルタントが週70時間働くという話を耳にしますが、教師がそれほど働いているという話は聞きません。そこで興味を持ち、数百人の教師に聞き取りをしました。どこでも最大の時間の消費先は採点でした。」

採点の自動化は簡単に見えるかもしれないが、手書きの数学の複雑さはAIに現実的な限界を突きつける。「精度の問題があります。AIは完璧ではないので、ヒューマン・イン・ザ・ループのシステムを作りました。たとえば乱雑な手書きなどでAIに確信が持てない場合、教師が確認して承認または却下できるよう、その箇所に印を付けます。」

ここでは、人間は単なる飾りではない。システムが自らの不確実性を明示的に認識し、該当する事例を人間に回す。「私たちにとっては精度の問題です。AIが苦手とする例外的なケースは、たぶん1~3%ほど、必ず残ります。ですから人間が介入する必要があります。」

この取り組みは、ヒューマン・イン・ザ・ループを品質管理の仕組みとして捉え直すものだ。だがGuptaはさらに踏み込む。「そもそもAIは100%正確ではありません。ハルシネーションを起こしたり、誤った出力を生成したりします。ヒューマン・イン・ザ・ループは、結果がエンドユーザーに届く前の最終品質チェックです。責任の問題でもあります。誰かが出力に責任を負わなければならず、今のところ、それはまだ人間でなければなりません。」

人間の役割は、数値化しにくいものも守る。教育における人間関係の側面だ。「教育の人間らしい部分を守ることでもあります。教師にはそれぞれのスタイルがあるので、フィードバックの伝え方を調整できるようにしています。」

ヒューマン・イン・ザ・ループを定義し直す

「人間がプロセスに関与する」という表現には、安心感を与える単純さがある。システムがどれほど高度になっても、人間が制御を保ち、単なる「機械の中の幽霊」にはならないという印象を与える。しかしスタートアップが重大な結果を伴う環境へAIを導入するにつれ、その安心感は吟味されなければならない。

より根本的な問題は設計だ。システムのリスクが十分に理解されていなかったり、意図的に小さく見せられていたりする場合、最後に人間を置いても根本的な欠陥はほとんど直らない。人間を予備の対応手段ではなく、システムの動作に不可欠な一部と位置づけることも重要だ。関与する人間は、単に結果を承認するだけであってはならない。スタートアップは、従業員が結果を形作り、異議を唱え、必要なら権限を持って覆せるようにすべきだ。

Arjun Harindranathは、コロンビアのメデリンを拠点とするフリーランスのジャーナリストで、世界中の聴衆に向けて、紛争、移住、テクノロジーに関するストーリーを扱っている。 これまでにAl Jazeera、TechCrunch、The Next Web、ニューヨークタイムズに署名記事が掲載されている。