人間のようなタッチと器用さをAIに与えるMetaの取り組み

AIは視覚認識と言語処理において大きな進歩を遂げてきました。しかし、これらの能力だけでは物理的な世界と対話するシステムを構築するには十分ではありません。人間はタッチの感覚を使用して物体を扱ったり、制御された動きをします。私たちは、テクスチャー、温度、重量を感じて、各アクションを正確に行います。このタクティルフィードバックにより、私たちは繊細なアイテムを操作したり、ツールを制御して使用したり、複雑なタスクをスムーズに実行したりできます。

Metaは、バーチャルリアリティとオーグメンテッドリアリティでの仕事で知られていますが、現在、人間のように物理的な世界と対話できるAIを作成することに取り組んでいます。MetaのFAIR Roboticsイニシアチブを通じて、Metaは、ロボットのタッチ感覚と物理的な敏捷性を高めるためのオープンソースツールとフレームワークを開発しています。これらの努力により、エンボディッドAI — システムが人間のように物体を感覚し、操作できる — の開発につながる可能性があります。

エンボディッドAIとは何か

エンボディッドAIは、物理的な相互作用と人工知能を組み合わせ、機械が自然に周囲と感覚し、反応し、関わることを可能にします。入力として「見る」または「聞く」だけでなく、機械が「感じる」と「世界で行動する」ことを可能にします。圧力に応じてグリップを調整し、敏捷に動くロボットを想像してください。エンボディッドAIは、AIを画面やスピーカーから物理的な世界に移し、物体を操作し、タスクを実行し、人々とより意味のあるやり取りをすることができます。

例えば、エンボディッドAIを搭載したロボットは、繊細なアイテムを破損せずに高齢者が拾うのを助けることができます。医療では、医師が手術中に器具を正確に保持するのを支援できます。この可能性は、研究室や工場のロボットアームに留まらず、物理的な環境にリアルタイムで対応し、反応する機械を作成することです。

MetaのエンボディッドAIへのアプローチ

Metaは、人間のようなタッチ感覚をエンボディッドAIに近づけるために、3つの重要な分野に焦点を当てています。まず、Metaは、圧力、テクスチャー、温度などのものを機械が検出できる高度なタクティルセンシング技術を開発しています。2番目に、Metaは、これらのシグナルを理解し、反応するためのタッチ感覚モデルを作成しています。最後に、Metaは、複数のセンサーをタッチ感覚モデルと統合するタクティル開発プラットフォームを構築しています。ここでは、Metaがこれらの分野でエンボディッドAIの進歩を促進する方法について説明します。

Meta Digit 360: 人間レベルのタクティルセンシング

Metaは、Digit 360フィンガーティップを導入しました。これは、エンボディッドAIに人間のようなタッチ感覚を与えるために設計されたタクティルセンシング技術です。18以上のセンシング機能を備えており、振動、熱、表面の化学物質を検出できます。AIチップを搭載し、フィンガーティップはタッチデータを即座に処理し、ストーブの熱や針の鋭い突きなどへの入力に迅速に対応します。この技術は、エンボディッドAI内で「周囲神経系」の役割を果たし、人間の反射的な反応に似たものをシミュレートします。Metaは、このフィンガーティップを、8百万を超えるタクセルを備えた独自の光学システムで開発しました。タクセルは、各角度からタッチを捉えることができ、1ミリニュートンの力のような小さな詳細まで感知し、エンボディッドAIに環境に対する繊細な感覚を提供します。

Meta Sparsh: タクティル感覚の基盤

Metaは、AIが物理的な感覚を理解し、反応する能力を高めるために、タッチ感覚能力を強化しています。「タッチ」の意味を持つサンスクリット語に由来するSparshは、エンボディッドAIの「タッチブレイン」の役割を果たします。このモデルにより、機械は複雑なタクティルシグナルを解釈し、圧力やグリップを理解することができます。

Sparshの特徴の1つは、その汎用性です。従来のタクティルシステムは、各タスクごとに個別のモデルを使用し、ラベル付けされたデータと特定のセンサーに大きく依存しています。Sparshは、このアプローチを完全に変えます。汎用モデルとして、Sparshはさまざまなセンサーとタスクに適応します。Sparshは、自己教師あり学習（SSL）を使用し、46万を超えるタクティル画像の巨大なデータベースからタッチパターンを学習します。ラベル付けされたデータは必要ありません。

Metaは、Sparshの能力を評価するための新しいベンチマークであるTacBenchも導入しました。TacBenchには、6つのタッチベースのタスクがあります。Metaによると、Sparshは、特にデータが少ないシナリオでは、従来のモデルを95.1%上回ったということです。MetaのI-JEPAとDINOアーキテクチャを基に構築されたSparshのバージョンは、力の推定、スリップ検出、複雑な操作などのタスクで優れた能力を示しています。

Meta Digit Plexus: タクティルシステム開発プラットフォーム

Metaは、タクティルセンシング技術とタッチ感覚モデルを統合してエンボディッドAIシステムを作成するために、Digit Plexusを導入しました。このプラットフォームは、フィンガーティップとパームセンサーを1つのロボットハンドに組み合わせ、タッチレスポンスをより調整されたものにします。このセットアップにより、エンボディッドAIは感覚フィードバックを処理し、リアルタイムでアクションを調整できます。人間の手が動き、反応するようにです。

Digit Plexusは、ハンド全体でタッチフィードバックを標準化し、エンボディッドAIの精度と制御を高めます。この開発は、慎重な取り扱いが不可欠な製造や医療などの分野で特に重要です。Digit Plexusは、フィンガーティップやReSkinなどのセンサーを制御システムにリンクし、データ収集、制御、分析を1本のケーブルで簡素化します。

Metaは、Digit Plexusのソフトウェアとハードウェア設計をオープンソースコミュニティに公開します。目標は、エンボディッドAIの研究と開発を促進するためのコラボレーションを促進し、革新と進歩を加速することです。

エンボディッドAI研究と開発の促進

Metaは、エンボディッドAIの研究と開発を促進するために、技術だけでなくリソースも進めています。1つの重要なイニシアチブは、AIモデルを評価するためのベンチマークの開発です。1つのベンチマークであるPARTNR（Planning And Reasoning Tasks in humaN-Robot collaboration）は、AIモデルが人間と共同で家事を実行する際のやり取りを評価します。Habitat 3.0シミュレーターを使用し、PARTNRは、ロボットがタスクを支援するためのリアルな環境を提供します。10万を超える言語ベースのタスクがあり、エンボディッドAIの進歩を加速することを目的としています。

内部イニシアチブに加えて、Metaは、GelSight Inc.やWonik Roboticsなどの組織と協力して、タクティルセンシング技術の採用を促進しています。GelSightはDigit 360センサーを配布し、Wonik Roboticsは、Digit Plexus技術を統合したAllegro Handを製造します。これらの技術をオープンソースプラットフォームやパートナーシップを通じて提供することで、Metaは、医療、製造、家庭支援などの分野で革新につながる可能性のあるエコシステムを作成するのに役立っています。

まとめ

Metaは、エンボディッドAIを進めています。目標は、AIが人間のようにタッチ感覚を持ち、物理的な世界と対話できるようにすることです。Digit 360やSparshなどのイノベーションにより、AIシステムは周囲に正確に反応する能力を身に付けています。オープンソースコミュニティと主要な組織と協力することで、Metaはタクティルセンシングの開発を促進しています。この進歩は、医療、製造、家庭支援などの分野でブレークスルーにつながり、AIが現実世界のタスクでより能力の高い、反応性の高いものになる可能性があります。