インタビュー
Yubei Chen, Aizip Incの共同創設者 – インタビュー・シリーズ
Yubei Chenは、世界で最も小さく効率的なAIモデルを構築する会社であるAizip inc.の共同創設者です。彼はまた、カリフォルニア大学デービス校のECE学部の助教授でもあります。Chenの研究は、計算神経科学と深層自己教師あり（自己教師）学習の交差点に位置し、脳とマシンの両方で自己教師あり表現学習を支配する計算原理の理解を深め、自然信号統計に関する洞察を再定義しています。
カリフォルニア大学デービス校に参加する前に、ChenはNYU Center for Data Science（CDS）とMeta Fundamental AI Research（FAIR）のYann LeCun教授のもとでポスドク研究を行いました。彼は、カリフォルニア大学バークレー校のRedwood Center for Theoretical NeuroscienceとBerkeley AI Research（BAIR）で、Bruno Olshausen教授の指導の下で博士号を取得しました。
Aizipは、エッジデバイス用に最適化された超効率的なAIソリューションを開発し、ビジョン、オーディオ、時系列、言語、センサー融合アプリケーション用のコンパクトモデルを提供しています。同社の製品は、TinyMLによって動作する顔認識、オブジェクト認識、キーワードスポッティング、ECG/EEG分析、およびデバイス内チャットボットなどのタスクを可能にします。同社のAIナノファクトリー・プラットフォーム、Aiziplineを通じて、同社は基礎モデルと生成モデルを使用してAIモデルの開発を加速し、完全なAI設計自動化に向けて推進しています。AizipのGizmoシリーズの小さな言語モデル（300M〜2Bパラメータ）は、幅広いデバイスをサポートし、エッジに知能をもたらします。
あなたはNYUとMeta FAIRのYann LeCunと一緒にポスドク研究を行いました。彼と一緒に仕事をしたことと、カリフォルニア大学バークレー校での研究が、現実世界のAIソリューションを構築するためのあなたのアプローチをどのように形作ったのか?
バークレーでは、私の仕事は科学的探究と数学的厳格さに根ざしていました。私の博士研究は、電気工学、コンピューターサイエンス、計算神経科学を組み合わせたもので、AIシステムを「白箱」的な観点から理解することに焦点を当てていました。私は、解釈可能な、高性能なAIモデルと、ブラックボックスのAIシステムを明らかにするのに役立つ視覚化技術を構築することに取り組みました。
Meta FAIRでは、AIシステムを大規模に展開して、最先端のパフォーマンスを達成することに焦点を当てていました。世界クラスの計算リソースを利用して、自己教師あり学習の限界を探求し、現在「世界モデル」と呼ばれているものに貢献しました — データから学び、想像可能な環境を学習するAIシステム。バークレーでの科学的理解とMetaでのエンジニアリング主導のスケーリングという二重の経験は、AI開発について包括的な視点を与えてくれました。理論的洞察と実践的実装の両方が、現実世界のアプリケーション向けのAIソリューションを開発する上で重要であることを強調しました。
あなたの仕事は計算神経科学とAIを組み合わせています。神経科学からの洞察は、どのようにしてAIモデルを開発する方法に影響を与えているのか?
計算神経科学では、さまざまな刺激に対する脳の反応を測定することで、情報をどのように処理するかを研究します。同様に、AIモデルの内部メカニズムを理解するために、AIモデルをプローブします。私のキャリアの初期に、私は単語埋め込みを分析するための視覚化技術を開発しました — 例えば、単語「apple」をその構成要素「fruit」と「technology」に分解します。後で、このアプローチは、トランスフォーマーや大規模言語モデルなどのより複雑なAIモデルに拡張され、これらのモデルが知識をどのように処理して保存するかを明らかにするのに役立ちました。
これらの方法は、実際に神経科学における技術と平行しています。例えば、脳活動を研究するために電極またはfMRIを使用するのと同様に、AIモデルの内部表現をプローブすることで、その推論戦略と、特定の概念（例えば、ゴールデンゲートブリッジの特徴）に対して活性化する概念ニューロンなどの新興特性を理解できます。この研究分野は、現在業界で広く採用されています。なぜなら、解釈可能性と実用的な介入を可能にし、モデルの偏りを除去できるからです。したがって、神経科学に基づくアプローチは、AIをより説明可能、信頼性が高く、効率的にするのに役立ちます。
あなたはAizipを共同創設した理由について、コンセプトから会社設立までの道のりを共有してください。
基礎的なAI研究者として、私の多くの仕事は理論的でしたが、研究と現実世界のアプリケーションの間のギャップを埋めたいと思っていました。私は、最先端のAIイノベーションを実用に役立てるために、特にリソース制約のある環境において、Aizipを共同創設しました。私たちは、大きな基礎モデルを構築するのではなく、世界で最も小さく効率的なAIモデルを開発することに焦点を当てました。
この旅は、基本的に、AIの進歩が急速にスケールアップしている一方で、現実世界のアプリケーションは、軽量で、高度に効率的なモデルを必要とするという重要な観察から始まりました。私たちは、科学的厳格さと実践的展開のバランスをとる新しい方向性を先駆的に進める機会を見出しました。自己教師あり学習とコンパクトなモデルアーキテクチャの洞察を活用することで、Aizipは、エッジで効率的に動作し、埋め込みシステム、IoT、さらにはそれ以降の新しい可能性を開拓するAIソリューションを提供することができました。
Aizipはエッジデバイス用の小さなAIモデルに特化しています。どのような市場のギャップを見て、この方向に注力したのか?
AI業界は、主にモデルをスケールアップすることに焦点を当ててきましたが、現実世界のアプリケーションは、逆のことが必要です — 高い効率、低消費電力、最小限の遅延。今日の多くのAIモデルは、組み込みデバイスに展開するには計算コストが高すぎます。私たちは、AIソリューションが強力なパフォーマンスを発揮しながら、極端なリソース制約内で動作できる市場のギャップを見出しました。
私たちは、すべてのAIアプリケーションが巨大なモデルで動作する必要はないこと、またそれがすべてに対してスケーラブルでもないことを認識しました。代わりに、アルゴリズムを最適化して、精度を維持しながら最大の効率を達成することに焦点を当てました。エッジアプリケーション用に設計されたAIモデル — スマートセンサー、ウェアラブル、工業自動化 — を開発することで、AIを従来のモデルでは実用的ではなかった場所で動作させることができます。私たちのアプローチにより、AIはよりアクセスしやすく、スケーラブルで、エネルギー効率が高くなり、新しいAIドリブンのイノベーションの可能性がクラウドの外で解放されます。
AizipはSmall Language Models（SLMs）の開発の先頭に立っています。SLMsは、GPT-4のような大きなモデルとどのように競合または補完するのか?
SLMsとGPT-4のような大きなモデルは、直接競合しているわけではありません。なぜなら、それらは異なるニーズを満たすからです。大きなモデルは、汎用性と深い推論力で強力ですが、重大な計算リソースを必要とします。一方、SLMsは、エッジデバイスでの展開のために効率と実行可能性を優先して設計されています。SLMsは、計算能力、遅延、コストの制約が重要な場所 — 例えば、IoTデバイス、ウェアラブル、工業自動化 — でAI能力を可能にすることで、大きなモデルを補完します。AIの採用が増加するにつれて、クラウドベースのモデルが複雑なクエリを処理する一方で、SLMsがエッジでリアルタイムのローカライズされたインテリジェンスを提供するハイブリッドアプローチが登場することを予想しています。
低電力エッジデバイス用にAIモデルを十分に効率化するための最大の技術的課題は何ですか?
基本的な課題の1つは、AIモデルがどのように機能するかについての完全な理論的理解の欠如です。明確な理論的基礎がないため、最適化の努力はしばしば経験的であり、効率の向上は限られます。さらに、人間の学習は、現在の機械学習パラダイムが完全に捉えていない多様な方法で発生します。これにより、人間の効率を模倣するモデルを設計することが困難になります。
エンジニアリングの観点から、AIを極端な制約の中で動作させるには、モデル圧縮、量子化、モデルの設計における革新的なソリューションが必要です。別の課題は、AIモデルがさまざまなデバイスや環境に適応しながら、堅牢性を維持するように設計することです。AIが物理世界と、IoTやセンサーを通じて、より多く相互作用するにつれて、自然で効率的なインターフェース — 例えば、音声、ジェスチャー、他の非伝統的な入力 — の必要性が重要になります。エッジのAIは、ユーザーがデジタル世界とシームレスに相互作用する方法を再定義することについてです。
AizipのSoftbankのような企業との取り組みについて詳細を共有できますか?
私たちは最近、SoftBankと共同で、CES Innovation Awardを受賞した水産養殖プロジェクトに取り組みました — 私たちが特に誇りに思っているものです。魚の数を水産養殖業者が使用できる魚の数を数えるためのエッジベースのAIモデルを開発しました。このソリューションは、魚の養殖において持続可能性、食糧廃棄、利益性の問題を引き起こす可能性のある重要な課題に対処します。業界は、海での信頼性のある電力と接続性の欠如により、クラウドベースのAIソリューションが実用的ではなかったため、AIを解として採用するのが遅れてきました。
この問題を解決するために、私たちはデバイス内でソリューションを開発しました。私たちは、SoftBankのコンピュータグラフィックスシミュレーションをトレーニングデータに組み合わせて、私たちのコンパクトなAIモデルを使用して、高度に正確なシステムを開発しました。このシステムはスマートフォンで動作し、水中のフィールドテストで95%の認識率を達成しました。これにより、農家は倉庫の条件を最適化し、魚を生で輸送するか凍らせるかを判断し、魚に潜在的な病気や健康上の問題が存在するかどうかを検出することができます。
このブレークスルーは、効率を向上させ、コストを削減し、手動労働への依存を減らします。さらに、AIが現実世界の問題に実際的な影響を与える方法を示しています。
Aizipは「AIナノファクトリー」という概念を導入しました。何を意味し、どのようにしてAIモデルの開発を自動化するのか?
AIナノファクトリーは、私たちの内部AI設計自動化パイプラインで、半導体製造における電子設計自動化（EDA）にインスパイアされています。新興技術分野の初期開発には、多くの手作業が必要です。したがって、自動化は進歩を加速し、ソリューションをスケールするために重要になります。
私たちは、AIを加速するためにAIを使用するのではなく、AI自身の開発を加速できるかどうかを問いました。AIナノファクトリーは、データ処理からアーキテクチャ設計、モデル選択、トレーニング、量子化、展開、デバッグまで、AIモデルの開発のすべての段階を自動化します。AIを使用してAI自身を最適化することで、モデルの開発時間を平均10倍、場合によっては1,000倍削減することができました。これは、1年以上かかっていたモデルの開発が、わずか数時間で可能になることを意味します。
別の利点は、この自動化がAIソリューションを、幅広いアプリケーションで経済的に実行可能にすることも保証することです。これにより、実世界でのAIの展開がよりアクセスしやすく、スケーラブルになります。
次の5年間で、エッジAIの役割はどのように進化すると思いますか?
エッジAIは、スマートフォンがインターネットアクセスを革命したのと同様に、テクノロジーとのやり取りを変える可能性があります。現在のほとんどのAIアプリケーションはクラウドベースですが、AIが物理世界と相互作用するセンサーやデバイスに近づくにつれて、この状況は変わり始めています。この変化は、エッジでの効率的なリアルタイム処理の必要性を強調しています。
5年以内に、エッジAIは、キーボードやタッチスクリーンなどの従来の障壁を排除する、より自然な人間とコンピューターの間の相互作用を可能にすることが予想されます。さらに、AIは、リアルタイムの意思決定を可能にするスマートホームや工業自動化などの日常の環境に埋め込まれることが予想されます。
別の重要なトレンドは、エッジAIシステムの自律性の増大です。AIモデルは、AIナノファクトリーのような自動化の進歩により、自己最適化と適応性を高めることが予想され、展開とメンテナンスにおける人間の介入の必要性を減らします。これにより、ヘルスケア、自動車、農業などの業界で新しい機会が開かれます。
AizipからリリースされるAI駆動デバイスについて、どれが最も興味がありますか?
私たちは、新しい業界でのユースケースを拡大することに取り組んでいます。特に、自動車業界でのAIエージェントに興味があります。中国の自動車メーカーを中心に、チャットボットのようなボイスアシスタントを開発する動きがありますが、現在のアシスタントは、柔軟な会話のためにクラウドに依存しています。基本的なコマンドと制御（「エアコンを入れ」や「トランクを開け」など）のみが、車内でローカルに実行され、ユーザーがコマンドを完全に覚えていない場合、運転中に注意を散漫にさせる可能性があります。
私たちは、Gizmoシリーズと呼ばれる、超効率的なSLM駆動のAIエージェントを開発しました。これは、さまざまな業界のさまざまなアプリケーションで使用されています。現在、車内での「コパイロット」としてこれらのエージェントを展開することを目指しています。Gizmoは、よりニュアンスに富んだ方法で意図を理解するようにトレーニングされており、車内のAIエージェントとして機能する場合、会話的な自由形式の言語でコマンドを実行できます。例えば、運転手が「寒い」と言った場合、エージェントは車内の温度を調節したり、運転手が「明日ボストンへ運転するので、どんな服を着るべきか」と言った場合、天気をチェックして提案することができます。
これらのエージェントはクラウドに依存しないため、デッドゾーンや接続性の悪い地域（トンネル、山、農村部の道路など）でも機能し続けます。また、運転手が道路から注意をそらすことなく、完全にボイスベースの制御を提供することで、安全性も向上します。さらに、私たちは現在、車両やBluetoothスピーカー向けのAI駆動カラオケモデルを生産に取り組んでいます。これは、ローカルで実行され、入力オーディオから人間の声楽をリアルタイムで除去することで、任意の曲のカラオケバージョンを作成します。したがって、顧客が車内のコントロールをより安全に管理するのを助けるだけでなく、経験をより楽しくする方法も探しています。
これらの種類のソリューション — 人々の日常生活に実質的な違いをもたらすもの — が、私たちが最も誇りに思っているものです。
Aizipは、エッジデバイス用に最適化された超効率的なAIソリューションを開発し、ビジョン、オーディオ、時系列、言語、センサー融合アプリケーション用のコンパクトモデルを提供しています。同社の製品は、TinyMLによって動作する顔認識、オブジェクト認識、キーワードスポッティング、ECG/EEG分析、およびデバイス内チャットボットなどのタスクを可能にします。同社のAIナノファクトリー・プラットフォーム、Aiziplineを通じて、同社は基礎モデルと生成モデルを使用してAIモデルの開発を加速し、完全なAI設計自動化に向けて推進しています。AizipのGizmoシリーズの小さな言語モデル（300M〜2Bパラメータ）は、幅広いデバイスをサポートし、エッジに知能をもたらします。
素晴らしいインタビュー、詳細についてはAizipを訪問してください。
