王怡正是Straiker的AI负责人，Straiker是一家由领先的风险投资公司支持的AI安全初创公司。他拥有斯坦福大学的博士学位，他的研究重点是不确定性下的顺序决策，开发用于气候和能源领域的安全关键应用的智能代理。在Straiker，他领导了AI安全系统的开发，包括针对生成和代理AI的红队和风险检测框架，重点是使这些系统更加强壮、可靠和符合人类价值观。
组织正在以比他们建立用户能力更快的速度扩大AI的使用。AI采用率和AI识读能力之间的差距不仅仅是一个教育问题；它是一个日益增长的安全风险。这种差距是由部署代理系统而加剧的——可以计划、决定和行动的AI——而没有相应的投资来了解这些系统在对抗或模糊条件下的行为。在我开发和部署AI安全系统以应用于现实世界的工作中，我观察到这种差距始终是系统故障和安全漏洞的主要来源。了解AI的挑战是关键，以便制定和实施适当的防护措施。AI系统天生容易被...
