人間がループ内に実際に何を意味するのか？

20世紀初頭、英国哲学者ギルバート・ライルは「機械の中の幽霊」という用語を造った。ライルは、心の概念の中で、この比喩を用いて、心と身体が別々の物質として存在するという心身二元論に反対した。ライルにとって、この区別は間違いであり、認知と身体的行動は分離不能で、単一のシステムの一部であった。

AIの出現に伴い、AIツールを使用して生産性を高めるユーザーについて話すときに、よく使われる「人間がループ内に」という比喩が現れる。如果人間と知能システムが今までで最も密接に結びついているなら、我々は無縫の融合を構築しているのか、または操作の便宜的な幻覚を生み出しているのか？

スタートアップはこの概念に大きく依存して自分のツールについて話す。イノベーションと安心感を約束しているが、現実はしばしばより複雑である。責任は簡単に拡散し、説明責任はより追跡しにくくなる。

AIシステムが教育から戦争までのデリケートなドメインに深く進出するにつれて、賭けは抽象的なものではなくなった。人間がループ内に実際に何を意味するのか、それは単に彼らが完全に消えるときの婉曲表現なのか？

1. 人間がループ内にとしての責任の盾

この用語を注意深く使わないと、人間がループ内にという言葉は責任を真正に取り組むことなくそれを転嫁する簡単な方法になる。多くの人が気づいているように、プロセスの最後に人間の署名があることは、基礎となるシステムが貧弱に設計されているか十分に理解されていない場合、倫理的な完全性を保証するものではない。

Scale Xの創設者兼CEOであるMaysa Hawwashは、書いている責任から離れることと、この概念がしばしばどのように使われるかについて率直である。 「実際には、他の方法で責任を転嫁することと似てない」とHawwashはStartup Beatに言った。「もしもあなたがこのポリシーを持っていて、人々がそれを読んで署名するなら、会社としては技術的には責任がない」と彼女は言った。

現れるのは、責任が除去されるのではなく、配置換えされるパターンであり、企業システム全体で見られるものである。Hawwashはこれを、批判的思考や影響を受ける可能性のある分野を理解することを避ける怠惰なやり方と見なしている。「つまり、責任を転嫁し、それで人がポリシーを理解するかどうかは関係なく、ポリシーが意味を成すかどうかも関係ない」と。

この枠組みでは、「人間がループ内に」という用語は、意味のある介入ではなく、手続き上のカバーとしての役割を担う危険性がある。ここでの危険性は、単に語義的なものではない。監視が署名に限定されると、人間の役割は象徴的なものではなく、実質的なものとなる。

Hawwashは、参照した最近の軍事的残虐行為——イランのミーナーブの学校——で、人間が攻撃を承認したが、人間の意思決定者の存在は必ずしも倫理的な明晰性や十分な検討に相当しなかったことを指摘した。「戦争中や複雑な手術を行っている場合、時間の余裕がないので、人間がループ内にという用語を責任の盾として使うことはできない」。

2. 責任のための設計、単に監視のための設計ではない

代替案は、人間がループ内にあるシステムを放棄することではなく、それを設計上の約束として真剣に受け止めることである。これは、象徴的な監視から故意の責任構造への移行を意味する。

「AIを市場に早く導入するためのレースがある。設計面からの考慮——下流への影響がコミュニティ、人々、またはエンドユーザーに及ぼすもの——については、十分に考えられていない」とHawwashは言った。

スピードが支配的な競争要因となった。責任は、開発中に組み込まれるのではなく、遅れて行われる。結果として、倫理の反応モデルが生まれる。問題の修正は、展開後に起こるのではなく、開発中に予測されるべきものである。

アクセシビリティは採用を加速するかもしれないが、それはより大きな結果をもたらす。システムは、技術的なユーザーに限定されず、さまざまなレベルの理解とコンテキストを持つ人々の決定を形作ることができる。そんな環境では、責任はエンドユーザーに外部に出すことができない。

3. 人間がループ内にとしての精度と説明責任

Frizzleの共同創設者であるAbhay Guptaは、より実用的で必要な人間の監視を伴うシステムを構築した——その根底にあるのは運用上の視点である。

彼の会社は、特定の問題から生まれた。 「都市で、銀行家やコンサルタントが70時間働いていると聞くが、教師がそのように働いていることは聞かない。好奇心から、数百人の教師にインタビューしたところ、評価が最大の時間のかかる作業だった」と。

採点の自動化は、簡単なように思えるが、手書きの数学の複雑さは、実際にはAIに現実的な制限をもたらす。「精度の問題がある。AIは完璧ではなく、自信がない場合は——たとえば汚れた筆記の場合——教師のレビューと承認または却下のためにフラグを立てる人間がループ内にあるシステムを構築した」と。

ここでは、人間の役割は装飾的なものではない。システムは明示的に自らの不確実性を特定し、そのようなケースを人間にルーティングする。「私たちにとっては、精度の問題である。常に、AIが苦労する——たとえば1〜3%——ようなエッジケースがあり、そこでは人間が介入する必要がある」と。

このアプローチは、人間がループ内にあることを品質管理のメカニズムとして再定義する。しかしこの先、Guptaは、「AIの核心では、100%の精度ではない——AIは妄想を生み出すか、誤った出力を生み出すことができる。人間がループ内にあることは、結果がエンドユーザーに到達する前の最終的な品質チェックとなる。また、責任についてもである。誰かが出力に責任を負わなければならないが、現在のところ、それはまだ人間でなければならない」と述べている。

重要な点は、人間の役割が、教師のより質的側面——関係的な側面——をも保存することである。「教師にはさまざまなスタイルがあるので、フィードバックの配信方法をカスタマイズできるようにしている」と。

人間がループ内にあるの再定義

「人間がループ内にある」というフレーズは、安心感のある単純さをもたらす。どれほど高度なシステムになっても、人間が制御下にあり、単に「機械の中の幽霊」でないことを示唆する。しかし、スタートアップがAIを高リスクの環境に展開するにつれて、この安心感は調査を必要とする。

より深い問題は設計である。システムのリスクが十分に理解されていないか、意図的に軽視されている場合、最後に人間を挿入することは、基礎的な欠陥を修正することはできない。重要な点は、人間の役割をフォールバックではなく、システムの運用の一部として定義することである。人間がループ内にあるべきことは、結果を単に承認することではなく、形作り、挑戦し、必要に応じてそれを権限を持って覆い隠すことである。スタートアップは、従業員を権限を持って形作らせ、挑戦させ、必要に応じて覆い隠すことを目指すべきである。