访谈
陈玉贝，Aizip公司联合创始人 – 采访系列
陈玉贝 是Aizip公司的联合创始人，Aizip公司致力于开发世界上最小、最有效的AI模型。他同时也是加利福尼亚大学戴维斯分校电气工程和计算机科学系的助理教授。陈的研究领域在计算神经科学和深度无监督学习（自监督学习）的交叉点，提高我们对无监督表示学习的计算原理的理解，并重新塑造我们对自然信号统计的见解。
在加入UC戴维斯之前，陈在纽约大学数据科学中心（CDS）和Meta基础AI研究院（FAIR）跟随Yann LeCun教授进行了博士后研究。他在加利福尼亚大学伯克利分校的Redwood中心进行了理论神经科学和伯克利AI研究（BAIR）的博士研究，指导教授是Bruno Olshausen。
Aizip 开发了针对边缘设备的超高效AI解决方案，提供了紧凑的模型，用于视觉、音频、时间序列、语言和传感器融合应用。其产品使得诸如面部和物体识别、关键词识别、ECG/EEG分析和设备上的聊天机器人等任务成为可能，所有这些都由TinyML驱动。通过其AI纳米工厂平台Aizipline，该公司利用基础模型和生成模型加速模型开发，推动向全AI设计自动化的发展。Aizip的Gizmo系列的小型语言模型（300M-2B参数）支持广泛的设备，将智能能力带到边缘。
您在NYU和Meta FAIR跟随Yann LeCun进行了博士后研究。如何看待在UC伯克利和Meta FAIR的研究经历对您构建实际AI解决方案的方法的影响？
在伯克利，我的工作深深植根于科学探究和数学严谨性。我的博士研究，将电气工程、计算机科学和计算神经科学相结合，重点关注从“白盒”角度理解AI系统，或者说，开发方法来揭示数据和学习模型的潜在结构。我致力于构建可解释的、高性能的AI模型和可视化技术，以帮助打开黑盒AI系统。
在Meta FAIR，重点在于工程化AI系统，以实现大规模的最先进性能。拥有世界级的计算资源，我探索了自监督学习的极限，并为我们现在所说的“世界模型”做出了贡献——从数据中学习并想象可能环境的AI系统。这种双重经历——伯克利的科学理解和Meta的工程驱动的扩展——给我带来了对AI开发的全面视角。它强调了理论洞察和实际实施在开发面向实际应用的AI解决方案中的重要性。
您的工作将计算神经科学与AI相结合。神经科学中的见解如何影响您开发AI模型的方式？
在计算神经科学中，我们通过测量大脑对各种刺激的反应来研究大脑如何处理信息，类似于我们如何探测AI模型以理解其内部机制。早期在我的职业生涯中，我开发了可视化技术来分析词嵌入——将单词如“apple”分解为其组成的语义元素，如“水果”和“技术”。后来，这种方法扩展到了更复杂的AI模型，如变换器和大型语言模型，这有助于揭示它们如何处理和存储知识。
这些方法实际上与神经科学中的技术相平行，例如使用电极或功能性磁共振成像（fMRI）来研究大脑活动。探测AI模型的内部表示使我们能够理解其推理策略并检测出现的特性，如概念神经元，它们激活特定的想法（例如，金门大桥的特征，如Anthropic在绘制Claude时发现的那样）。这种研究线现在在行业中被广泛采用，因为它已被证明能够实现可解释性和实际干预，消除模型中的偏见。因此，受神经科学启发的方法本质上帮助我们使AI更加可解释、可靠和高效。
是什么激发了您联合创立Aizip的想法？您能分享一下从概念到公司启动的旅程吗？
作为一名基础AI研究人员，我的大部分工作都是理论性的，但我想弥合研究和实际应用之间的差距。我联合创立Aizip是为了将最先进的AI创新带入实际使用，特别是在资源受限的环境中。我们没有构建大型基础模型，而是专注于开发世界上最小、最有效的AI模型，这些模型针对边缘设备进行了优化。
这段旅程基本上始于一个关键观察：虽然AI进步迅速，但实际应用通常需要轻量级和高效的模型。我们看到了一个机会，开创一个新的方向，平衡科学严谨性和实际部署。通过利用自监督学习和紧凑模型架构的见解，Aizip能够提供高效的AI解决方案，可以在边缘运行，并为嵌入式系统、IoT和其他领域打开新的可能性。
Aizip专注于为边缘设备开发小型AI模型。您看到了什么市场空白导致了这种关注？
AI行业大多数时候都在扩大模型的规模，但实际应用通常需要相反的东西——高效率、低功耗和最小延迟。目前的许多AI模型对于部署在小型嵌入式设备上来说计算成本太高。我们看到了市场上的空白，需要能够在资源极度受限的情况下提供强大性能的AI解决方案。
我们认识到，并不是每个AI应用都需要在大型模型上运行，而且依赖如此规模的模型对于一切来说也不可扩展。相反，我们专注于优化算法，以在保持准确性的同时实现最大效率。通过为边缘应用设计AI模型——无论是在智能传感器、可穿戴设备还是工业自动化中——我们使AI能够在传统模型不切实际的场合运行。我们的方法使AI更加易于获取、可扩展和节能，解锁了云以外的AI驱动创新新可能性。
Aizip一直处于开发小型语言模型（SLM）的前沿。您如何看待SLM与更大型模型如GPT-4的竞争或互补关系？
SLM和更大的模型如GPT-4并不一定处于直接竞争的关系，因为它们服务于不同的需求。更大的模型在泛化和深度推理方面更强大，但需要大量的计算资源。SLM则针对效率和在低功耗边缘设备上的部署而设计。它们通过在边缘提供实时、局部的智能来补充大型模型，在计算能力、延迟和成本限制至关重要的应用中，如IoT设备、可穿戴设备和工业自动化。随着AI的采用率增长，我们预见一种混合方法的出现，即大型、基于云的模型处理复杂查询，而SLM提供边缘的实时智能。
使AI模型足够高效以适用于低功耗边缘设备的最大技术挑战是什么？
一个基本的挑战是缺乏对AI模型工作原理的完整理论理解。没有明确的理论基础，优化工作往往是经验性的，限制了效率的提高。此外，人类学习发生在多种方式中，当前的机器学习范式尚未完全捕捉到，使得设计模仿人类效率的模型变得困难。
从工程角度来看，将AI推向极端约束需要在模型压缩、量化和架构设计方面进行创新解决方案。另一个挑战是创建能够适应各种设备和环境同时保持健壮性的AI模型。随着AI越来越多地通过IoT和传感器与物理世界交互，自然和高效的接口（如语音、手势和其他非传统输入）的需求变得至关重要。边缘AI是关于重新定义用户与数字世界交互的方式，以最小的延迟实现无缝交互。
您能分享一些关于Aizip与软银等公司合作的细节吗？
我们最近与软银合作了一个水产养殖项目，获得了CES创新奖——我们特别自豪的项目。我们开发了一个高效的、基于边缘的AI模型，用于鱼类计数应用，可以由水产养殖经营者用于鱼类养殖场。这个解决方案解决了一个关键挑战，即水产养殖业由于在海上可靠的电力和连接性有限，难以采用基于云的AI解决方案。
为了解决这个问题，我们开发了一个基于设备的解决方案。我们将软银的计算机图形模拟用于训练数据，并将其与我们的紧凑AI模型相结合，创建了一个在智能手机上运行的高精度系统。在水下现场测试中，它实现了95%的识别率，大大提高了鱼类计数的准确性。这使得农民能够优化存储条件，确定是否应该运输活鱼或冷冻鱼，并检测鱼类中的潜在疾病或其他健康问题。
这种突破提高了效率，降低了成本，并减少了对手工劳动的依赖。更广泛地说，它展示了AI如何对实际问题产生切实的影响。
Aizip引入了“AI纳米工厂”的概念。您能解释一下这意味着什么以及它如何自动化AI模型开发吗？
AI纳米工厂是我们的内部AI设计自动化管道，灵感来自于半导体制造中的电子设计自动化（EDA）。在任何新兴技术领域的早期发展中，手动努力占了很大一部分，因此自动化成为加速进步和扩展解决方案的关键。当这个领域成熟时，自动化变得至关重要。
我们问自己，AI是否可以加速自己的发展？AI纳米工厂自动化了AI模型开发的每个阶段，从数据处理到架构设计、模型选择、训练、量化、部署和调试。通过利用AI来优化自身，我们能够将新模型的开发时间平均减少10倍。在某些情况下，甚至超过1000倍。这意味着曾经需要超过一年时间开发的模型现在可以在几小时内创建。
另一个好处是，这种自动化还确保AI解决方案在广泛的应用中具有经济可行性，使得实际的AI部署更加容易和可扩展。
您如何看待边缘AI在未来五年中的演变？
边缘AI承诺改变我们与技术的交互方式，类似于智能手机如何革命了互联网访问。今天的大多数AI应用都是基于云的，但这种情况正在转变，因为AI正越来越接近与物理世界交互的传感器和设备。这种转变强调了在边缘需要高效、实时处理的关键需求。
在接下来的五年里，我们预计边缘AI将使人类与计算机的交互更加自然，例如语音和手势识别以及其他直观的接口，这将消除对传统屏障如键盘和触摸屏的依赖。AI也将更加嵌入到日常环境中，如智能家居或工业自动化，以实现实时决策和最小延迟。
另一个关键趋势将是边缘AI系统的日益自治。AI模型将变得更加自我优化和适应，得益于AI纳米工厂式自动化的进步，因此它们将减少对人工干预的需求，在部署和维护中。这将在医疗保健、汽车和农业等多个行业开启新的机会。
您最期待Aizip即将推出的哪些AI驱动设备？
我们正在扩展我们的模型在新行业中的用例，我们特别兴奋的是一个针对汽车行业的AI代理。尤其是在中国汽车制造商中，正在发展由语言模型驱动的语音助手，感觉就像在驾驶舱内的ChatGPT。挑战在于，大多数当前的助手仍然依赖于云，特别是对于自然、灵活的对话。只有基本的命令和控制任务（如“打开空调”或“打开后备箱”）通常在车辆上本地运行，而这些命令的僵硬性质可能会在驾驶员没有完全记住时成为分散注意力的因素。
我们开发了一系列超高效、由SLM驱动的AI代理，称为Gizmo，它们目前用于不同行业的各种应用，我们正在将其部署为车辆内的“副驾驶”。Gizmo经过训练，可以以更细致的方式理解意图，当作为车辆的AI代理时，可以通过对话、自由形式的语言执行命令。例如，代理可以调整驾驶舱的温度，如果驾驶员简单地说“我冷”，或者对提示“明天我要开车去波士顿，应该穿什么？”做出回应，通过检查天气并提供建议。
因为它们在本地运行，不依赖于云，这些代理即使在死区或连接性差的地区（如隧道、山区或农村道路）也能继续运行。它们还通过提供完全基于语音的控制而不需要驾驶员将注意力从道路上移开来增强安全性。另外，作为一个轻松的附注，我们目前正在将一个AI驱动的卡拉OK模型用于车辆和蓝牙扬声器投入生产，这个模型在本地运行，就像副驾驶一样。基本上，它接受任何输入音频并实时从中删除人声，使您能够创建任何歌曲的卡拉OK版本。
这些解决方案，它们对人们的日常生活产生了有意义的影响，是我们最自豪的成果。
Aizip开发了针对边缘设备的超高效AI解决方案，提供了紧凑的模型，用于视觉、音频、时间序列、语言和传感器融合应用。其产品使得诸如面部和物体识别、关键词识别、ECG/EEG分析和设备上的聊天机器人等任务成为可能，所有这些都由TinyML驱动。通过其AI纳米工厂平台Aizipline，该公司利用基础模型和生成模型加速模型开发，推动向全AI设计自动化的发展。Aizip的Gizmo系列的小型语言模型（300M-2B参数）支持广泛的设备，将智能能力带到边缘。
感谢这次精彩的采访，希望阅读更多的读者请访问Aizip。
