羅布斯特智能的Yaron Singer，哈佛大學計算機科學和應用數學教授 – 專訪系列

Yaron Singer是羅布斯特智能的CEO和哈佛大學計算機科學和應用數學教授。Yaron以其在機器學習、算法和優化方面的突破性研究成果而聞名。之前，Yaron曾在Google Research工作，並從UC Berkeley獲得博士學位。

您最初是如何被計算機科學和機器學習領域所吸引的？

我的旅程始於數學，然後我轉向計算機科學，最終走向機器學習。數學最初吸引了我的注意，因為它的公理系統使我能夠創造新的世界。計算機科學教會了我存在證明和算法之間的關係。從創造性的角度來看，計算機科學是關於我們可以和不能夠做的事情的界限。

我對機器學習的興趣一直根植於對真實數據的興趣，幾乎是它的物理方面。從真實世界中取出東西並對其進行建模，以使其變得有意義。我們可以通過有意義的建模來創造一個更好的世界。因此，數學給了我證明事物的基礎，計算機科學使我了解我們可以和不能夠做的事情，機器學習使我能夠在世界中對這些概念進行建模。

在您最近擔任哈佛大學計算機科學和應用數學教授期間，您從這段經歷中得到了什麼關鍵的收穫？

我在哈佛大學擔任教員期間最大的收穫是，它使我對做大事的渴望有了很大的提升。哈佛傳統上有一個小型教員團隊，期望從任職教員中來的就是要解決大問題和創造新的領域。你必須要有雄心壯志。這最終使我為創立一個能夠定義新領域的創新公司做好了準備。我不一定推薦先經過哈佛的任職程序，但如果你能夠生存下來的話，創建一家公司就容易多了。

您能否描述一下您當時的頓悟時刻，您意識到複雜的AI系統容易受到壞數據的影響，從而可能產生一些深遠的影響？

當我還是UC Berkeley的研究生時，我曾經暫時離開學校創辦了一家公司，該公司為社交網絡中的市場營銷建模。這是在2010年。我们從社交媒體中獲得了大量數據，並且我們從頭開始編寫所有模型。對於零售商來說，財務影響非常顯著，所以我們密切關注模型的性能。由於我們使用的是社交媒體數據，因此輸入中存在許多錯誤，以及漂移。我们發現，即使是很小的錯誤也會導致模型輸出的巨大變化，並可能對使用該產品的零售商產生不良的財務結果。

當我轉到Google+（對於那些記得的人來說）時，我看到的是完全相同的效果。更為戲劇性的情況是在像AdWords這樣的系統中，該系統會對關鍵字的廣告點擊可能性進行預測，我們注意到輸入模型中的小錯誤會導致預測非常差。當你在Google的規模下看到這個問題時，你就會意識到這個問題是普遍的。

這些經歷對我的研究方向產生了重大的影響，我在哈佛大學的時間都在研究AI模型為什麼會犯錯誤，以及如何設計算法來防止模型犯錯誤。這當然還有更多的頓悟時刻，最終還有羅布斯特智能的創立。

您能否分享羅布斯特智能的創立故事？

羅布斯特智能的起源是一個最初的理論問題：我們可以對使用AI模型做出的決策有什麼保證。Kojin是哈佛的一名學生，我們一起工作，最初是撰寫研究論文。所以，它從撰寫論文開始，論文闡述了從理論上講什麼是可能的和什麼是不可行的。這些結果後來發展成了一個設計算法和模型的程序，使其對AI失敗具有健全性。然後，我們建立了可以運行這些算法的系統。之後，創建一家公司，使組織可以使用這樣的系統，這是一個自然的下一步。

羅布斯特智能解決的許多問題都是沉默的錯誤，什麼是沉默的錯誤，它們又是如何危險的？

在給出沉默錯誤的技術定義之前，值得退一步來了解為什麼我們關心AI模型會犯錯誤。我們關心AI模型會犯錯誤的原因是這些錯誤的後果。我们的世界正在使用AI來自動化關鍵決策：誰能夠獲得商業貸款和以什麼利率，誰能夠獲得健康保險覆蓋和以什麼利率，哪些社區應該由警察巡邏，誰是最有可能成為工作的頂級候選人的，如何組織機場安檢等等。AI模型容易出錯的事實意味著，在自動化這些關鍵決策的過程中，我們會承擔很多風險。在羅布斯特智能中，我們將這種風險稱為“AI風險”，公司的使命是消除AI風險。

沉默錯誤是AI模型錯誤，其中AI模型接收輸入並產生預測或決策，該預測或決策是錯誤或有偏見的輸出。因此，從系統的角度來看，一切看起來似乎都正常，因為AI模型正在做它應該做的事情。但預測或決策是錯誤的。這些錯誤是沉默的，因為系統不知道有錯誤。這可能比AI模型沒有產生輸出的情況更糟糕，因為組織可能需要很長時間才能意識到其AI系統有缺陷。然後，AI風險就會變成AI失敗，後果可能很嚴重。

羅布斯特智能基本上設計了一個AI防火牆，這個想法以前被認為是不可能的。這個技術挑戰為什麼如此具有挑戰性？

AI防火牆面臨的一個挑戰是，它違背了機器學習界的既有范式。機器學習界以前的范式是，為了消除錯誤，需要向模型中添加更多數據，包括壞數據。通過這樣做，模型將自己訓練並學會自我糾正錯誤。這種方法的問題是，它會使模型的準確性大幅下降。例如，圖像的最佳結果會使AI模型的準確性從98.5%下降到約37%。

AI防火牆提供了一種不同的解決方案。我們將錯誤檢測與預測的任務分開，這意味著防火牆可以專注於一項具體任務：確定數據點是否會產生錯誤的預測。

這本身就是一個挑戰，因為預測單個數據點是很困難的。模型會出錯的原因有很多，所以建立一種可以預測這些錯誤的技術並不容易。我們很幸運能夠擁有我們現在的工程師。

該系統如何幫助防止AI偏差？

模型偏差來自於模型訓練數據與用於進行預測的數據之間的差異。回顧AI風險，偏差是沉默錯誤的主要問題。例如，這通常是代表性不足人群的問題。模型可能存在偏差，因為它見過的這個人群的數據很少，這將大大影響模型的性能和預測的準確性。AI防火牆可以提醒組織這些數據差異，並幫助模型做出正確的決策。

AI防火牆還能幫助組織防止哪些其他風險？

任何使用AI來自動化決策的公司，特別是關鍵決策，自動引入風險。壞數據可能是最小的，例如輸入0而不是1，仍可能導致嚴重的後果。無論風險是錯誤的醫學預測還是錯誤的貸款預測，AI防火牆都能夠幫助組織預防風險。

您還想分享關於羅布斯特智能的其他內容嗎？

羅布斯特智能正在快速發展，我們收到了很多優秀候選人的申請。但是我真正想強調的是，對於那些正在考慮申請的人來說，最重要的品質是他們對使命的熱情。技術上很強的候選人很多，所以這最終取決於他們是否真正熱衷於消除AI風險，讓世界變得更安全、更美好。

在我們即將進入的世界中，目前由人類做出的許多決策將會被自動化。無論我們喜不喜歡，這都是事實。因此，羅布斯特智能的所有成員都希望自動化的決策是負責任的。所以，任何對於這種影響力感到興奮的人，任何人都能夠理解這種影響力如何影響人們的生活，我們都希望你能夠加入羅布斯特智能。我们正在尋找這種激情。我们正在尋找那些將創造全世界都會使用的技術的人。感謝這次精彩的採訪，我很高興能夠了解您關於預防AI偏差和AI防火牆需求的看法，希望閱讀者能夠通過訪問羅布斯特智能的網站來了解更多相關內容。