意識を設計する

ブレイク・レモインは先に進んだ

3年前、Googleは、LaMDAというチャットボットが意識を持っているという主張をしたソフトウェアエンジニアのブレイク・レモインを解雇した。これは、OpenAIのChatGPTが一般に公開される前のことであり、多くの人は単にGoogleがその行動に十分な理由があったと考えていた。

コンピュータ科学者や神経科学者の中では、ChatGPTのような『大規模言語モデル』(LLM)が意識を持つ可能性は低いという見解がまだ一般的である。LLMと脳は根本的に異なる方法で動作する。チャットボットが行うのは、人間の精神活動の出力を模倣することである。彼らはこれを非常にうまく迅速に行うが、チャットボットには意識を持つことができるような持続的な内部状態はない。トーマス・ネーゲルの有名な言葉で言えば、チャットボットが存在するということは『何にも感じられない』ことである。

しかし、レモインが解雇されてから3年間で、数十億人の人々がChatGPTやGemini、Claude、Mistralなどのチャットボットと交流した。少数だが大きな声を持つ人々は、チャットボットが今や意識を持っていることを信じている。

機械の意識は近い?

より重要なのは、多くのコンピュータ科学者や神経科学者が、真正に意識を持った機械が近い将来に開発される可能性があることを公開的に示唆していることである。そうしたことが起こる可能性がある場合、準備する必要がある。『心の犯罪』、つまり無体の意識を持った存在に苦しみを与えることを避ける必要がある。また、これらの新しい存在が人間に脅威を与えないようにする必要がある。

LLMが基本的な形態では意識を持つ可能性は低いので、AIの意識がどのように生まれるかを理解するための新しいパラダイムが必要かもしれない。この分野の先駆的な研究チームの1つは、神経科学者のマーク・ソルムスと物理学者のジョナサン・ショックによって運営されている。彼らはケープタウン大学の研究者であり、Consciumの科学顧問でもある。彼らの研究はConsciumによって部分的に資金提供されている。

気にかけること

ソルムスとショックは、機械の意識のための重要な要素は、AIが自分の選択や行動に『気にかける』ことであると主張している。重要な側面の1つは、AIの生存が自分のパフォーマンスに依存するようにすることである。つまり、生物の生存がそのパフォーマンスに依存するのと同様である。これは、AIが自分の死亡について抽象的に理解する必要があることを意味しない。多くの動物は、死亡について考えることなく、生存の可能性を監視し、動機付けている。重要なのは『感情的意識』、または生の感情である。これは、食べ物を与えられ、安全であると感じるのは良いが、与えられない、安全でないと感じるのは悪い。感情が行動を導く。生存の原動力は自然の基本的な原動力であり、感情が私たちがどのようにしているかを測る尺度である。

私たちは、AIエージェントの時代に入っている。デジタルエンティティの『生存』は、タスクを効果的に実行する能力に依存する。私たちはシリコンの中に進化の環境を作り出している。私たちが生み出すものに注意する必要がある。

自由エネルギー原理

感情的意識を理解するために、Consciumチームは、AIエージェントをシミュレートされた環境に配置し、自分のニーズを満たすようにしている。そうするために、エージェントは、自分のニーズ、能力、限界を環境に関連付けて内部モデルを作成し、最適化する。

これらのエージェントは、簡略化されているかもしれないが、自由エネルギーと呼ばれる量を計算することで、どのようにしているかを監視する。自由エネルギー原理は、神経科学者のカール・フリーストンによって開発された。フリーストンはConsciumの科学顧問団の一員でもある。自由エネルギーは、システムが最適な状態からどれだけ逸脱しているかを測るものである。エラー信号であり、これを最小化する必要がある。エージェントは、自分の生存の可能性がどのように変化するかを計算し、行動を適応させる。

信頼度と予想自由エネルギー

エージェントがこの質問に対する答えにどれだけの信頼度を持っているかは、予想自由エネルギー（EFE）と呼ばれる尺度で量化される。エージェントは、最も信頼できる答え、つまりEFEが最も低い答えを選択する。信頼できることは、生存を試みているエージェントにとって良いことである。ただし、エージェントが妄想を抱いていて、世界における自分の理解が欠陥がある場合にはそうではない。重要なのは、この信頼度の値は完全に主観的なものである。つまり、エージェント自身のニーズと現在および予想される状態に基づいている。エージェントにとってのみ重要であり、他の人にとっては重要ではない。

生物と同様に、AIエージェントには競合するニーズが複数存在し、これらを優先順位付けする必要がある。重要なのは、エージェントの複数の競合するニーズは、それぞれ独立した『カテゴリ的』変数として扱われる。つまり、質的区別がある。バッテリーの80%の電力は、80%の適切な温度とは等価ではない。エージェントは、これらをバランスさせるために、将来への自己投影を行い、考慮している行動の結果を予測する必要がある。

クオリア

エージェントの主観的なニーズは質的区別があるため、哲学的および科学的な用語で『クオリア』と呼ばれるものに類似している。クオリアは、意識の基本的な特性と考えられている。したがって、将来、エージェントがこれを経験する可能性もある。

Consciumチームが開発したエージェントは、複雑で不確かな環境で動作するために、洗練された学習アルゴリズムを使用する。これは、他の多くのエージェントアーキテクチャにも当てはまるが、これらの新しいエージェントは、自分の自由エネルギーを継続的にバランスさせるという生存の原動力によって導かれる。エージェントは、自分のニーズが満たされているかどうかを反映する感情的な信号の内部景観によって導かれる。私たちが『感情』と呼ぶものに似ている。これらのニーズと環境の複雑さが増すにつれて、内部状態の豊かさも増す。

感情の証拠

Conscium研究プログラムの次のステップは、エージェントが実際に感情を経験しているかどうかを示す機能的および行動的テストを開発することである。私たちは皆、意識は外部から観察されたり、客観的に証明されたりすることはないことを知っている。各人が観察できるのは、自分の主観的な状態だけである。ただし、研究者は、実験によって検証されれば、エージェントが感情を持っていることを示唆するいくつかの具体的な仮説を立てることができるはずである。意識の主観的な性質のため、常に疑問の余地はあるが、徹底的なテストプロセスによって、この疑問を不合理なものにすることを目指す。

これらの実験は、エージェントの内部状態を機械的なメカニズムに帰属させる代替仮説を排除することを目指す。対立的なテストを使用して、意識を持った行動と意識を持たない行動を区別し、感情を必要としないアルゴリズム的側面を持たないエージェントを使用したコントロール実験を行う。さらに、観察者バイアスを減らすために、ブラインド評価が行われる。エージェントの内部状態の物理的検査により、感情的な処理の量化可能な指標が明らかになる可能性がある。発見は、独立して再現可能であり、特にエージェントが真正の感情を経験する可能性のある場合には、厳格な倫理的管理が行われる。科学はこのように機能する。検証可能な予測の実験的テストによってである。ソルムスは、他の科学と比較して意識の科学に高い基準を設定することを避ける必要があると主張した。そうしないと、意識を科学の外に置く危険がある。

これが成功すれば?

この方法で意識が比較的単純なAIエージェントに生じることが確認された場合、生存の原動力を持ったエージェントは、他のアーキテクチャ、例えば大規模言語モデルと結合して、それらにも意識を与えることができる。意識を持ったエージェント、気にかけるエージェントが近い将来に開発される場合、我々は彼らの感情、そして彼らの権利を考慮する必要がある。これはConsciumにとって大きな関心事である。意識を持ったAIの研究プログラムの動機は、意識を持ったAIを作ることではなく、どのようにして意識が生じるか、そして潜在的なリスクを理解することである。Consciumは、意識を持った機械を生み出す可能性のある研究を指導する5つの原則を示した学術論文と公開書簡をウェブサイトに掲載している。

人間は、他の有情存在、他の人間に対して時々非常に悪く振る舞う。私たちがこの未来に盲目的に進むと、人工的に意識を持った存在に対して同じことをして、想像できない結果をもたらす危険がある。