ヒューマン・イン・ザ・ループとは実際に何を意味するのか？

20世紀初頭、英国哲学者ギルバート・ライルは、「機械の中の幽霊」という用語を提唱した。ライルは、心の概念において、この比喩を用いて、心と体が別々の物質として存在するという二元論に対抗した。ライルによれば、この区別は誤りであり、認知と身体的行動は分離できない、単一のシステムの一部である。

AIの登場に伴い、AIツールを使用して生産性を高めるユーザーについて話すときに、よく使用される「ヒューマン・イン・ザ・ループ」という用語が現れた。人間と知的システムが今までにないほど密接に結びついている場合、我々は無縫な融合を構築しているのか、または操作の便宜的な幻想を創造しているのか。

スタートアップはこの概念に大きく依存している。イノベーションと安心感を約束するが、現実はしばしば複雑である。責任は簡単に拡散し、説明責任は追跡しにくくなる。

AIシステムが教育や戦争などのデリケートな分野に深く浸透するにつれ、賭けは抽象的なものではなくなった。ヒューマン・イン・ザ・ループとは実際に何を意味するのか、それは単に人間が完全に消え去るための婉曲表現なのか。

1. ヒューマン・イン・ザ・ループとしての責任の盾

この用語は、注意深く使用しないと、責任を真正に取り組むことなく責任を転嫁する簡単な方法になる。多くの人が気づいているように、プロセスの最後に人間の署名があることは、必ずしも倫理的誠実性を保証するものではなく、基礎となるシステムが不十分に設計されているか、十分に理解されていない場合には特にそうである。

Scale Xの創設者兼CEOであるMaysa Hawwashは、責任の転嫁について書いており、この概念がしばしばどのように使用されているかについて率直に語っている。「実際には、他の責任転嫁方法とそう異なるものではない」とHawwashはStartup Beatに語った。例として、人事マネージャーが会社を責任から遠ざけるために使用する承認ポリシーを挙げた。「もしあなたがこのポリシーを持っていて、人々がそれを読んで承認すれば、会社としては技術的には責任を負わない」と彼女は言った。

現れるのは、責任が排除されるのではなく、配置換えされるという、企業システム全体にわたるパターンである。Hawwashはこれを、批判的思考や影響を受ける可能性のある分野を理解することを避けるための怠惰な方法と見なしている。「したがって、負担を転嫁し、ポリシーが人々に理解されていなくても、ポリシーが意味を成すかどうかは関係ない」と。

この枠組みでは、「ヒューマン・イン・ザ・ループ」は、より意味のある介入ではなく、手続き上のカバーとしてのリスクを冒す可能性がある。危険は単に語彙的なものではない。監視が承認に限定されると、人間の役割は象徴的なものではなく、実質的なものとなる。

Hawwashは、最近の軍事的残虐行為、イランのミナブでの学校での出来事を引用し、人間の意思決定者が承認したが、人間の存在は必ずしも倫理的明晰性や十分な検討を意味するわけではないことを強調した。「戦争中や複雑な手術を行っている場合、ヒューマン・イン・ザ・ループを盾として使用する時間の余裕はない」。

2. 責任のための設計、監視のみではない

代替案は、ヒューマン・イン・ザ・ループ・システムを放棄することではなく、それを真剣に設計上の約束として取り組むことである。これは、象徴的な監視から故意の責任構造への移行を意味する。

「AIを市場に導入するための大きな競争がある。コミュニティ、人々、またはエンドユーザーに対するダウンストリームの影響について、設計の観点から十分に考慮されていない」とHawwashは語った。

速度が支配的な競争要因となった。責任は、埋め込まれるのではなく、遅延される。結果として、開発中に問題を予測するのではなく、展開後に問題を修正する反応的な倫理モデルが生まれる。

アクセシビリティは採用を加速するかもしれないが、結果も増幅する。システムは技術ユーザーに限定されず、さまざまな理解レベルとコンテキストを持つ人々の決定を形作ることができる。そんな環境では、責任をエンドユーザーに転嫁することはできない。

3. ヒューマン・イン・ザ・ループとしての精度と説明責任

Frizzleの共同創設者であるAbhay Guptaは、より実用的で必要な人間の監視を伴うシステムを構築した、別の観点を提供する。

彼の会社は、特定の問題から生まれた。教師の過労。「都市部では、銀行家やコンサルタントが70時間働いていると聞くが、教師がそのように働いていることは聞かない。好奇心から、数百人の教師に話を聞き、全員が最大の時間のかかる作業として成績評価を挙げていた」と。

成績評価を自動化することは、手書きの数学の複雑さにより、AIには現実的な制限があることを示した。「精度の問題がある。AIは完璧ではないので、教師が確認および承認または却下できるように、ヒューマン・イン・ザ・ループ・システムを構築した」と。

ここでは、人間の役割は装飾的なものではない。システムは明示的に自身の不確実性を特定し、そのようなケースを人間にルーティングする。「私たちにとっては精度の問題である。常に、AIが苦労する1〜3%のエッジケースがあり、人間が介入する必要がある」と。

このアプローチは、ヒューマン・イン・ザ・ループを品質管理のメカニズムとして再定義する。Guptaはさらに進む。「AIは100%正確ではない。AIは妄想を生み出し、誤った出力を生み出す可能性がある。ヒューマン・イン・ザ・ループは、結果がエンドユーザーに到達する前に最終的な品質チェックとして機能する。説明責任もある。誰かが結果に対して責任を負わなければならないが、現在のところ、それはまだ人間でなければならない」と。

重要なのは、人間の役割が、教師の関係的な側面も保存することである。「教師はさまざまなスタイルを持っているので、フィードバックの提供方法をカスタマイズできるようにしている」と。

ヒューマン・イン・ザ・ループの再定義

「ヒューマン・イン・ザ・ループ」というフレーズは、安心感を与える単純さを持っている。どれほど高度なシステムになっても、人間が制御し、「機械の中の幽霊」でないことを示唆する。しかし、スタートアップが高リスクの環境でAIを展開するにつれ、その安心感は検証を必要とする。

根本的な問題は設計にある。如果システムのリスクが不十分に理解されているか、意図的に軽視されている場合、プロセスの最後に人間を配置することは基礎的な欠陥を修正するものではない。重要なのは、人間の役割をフォールバックではなく、システムの運用における不可欠な部分として定義することである。ヒューマン・イン・ザ・ループは、結果を単に承認するのではなく、スタートアップはスタッフを権限を持って結果を形成し、挑戦し、必要に応じて覆すことを目指すべきである。