Интервюта
Ярон Сингър, главен изпълнителен директор на Robust Intelligence и професор по компютърни науки в Харвардския университет – Серия от интервюта
Ярон Сингър е главен изпълнителен директор на Силна интелигентност и професор по компютърни науки и приложна математика в Харвард. Yaron е известен с революционни резултати в машинното обучение, алгоритмите и оптимизацията. Преди това Ярон е работил в Google Research и е получил докторска степен от UC Berkeley.
Какво първоначално ви привлече в областта на компютърните науки и машинното обучение?
Пътуването ми започна с математика, която ме доведе до компютърните науки, които ме насочиха към машинното обучение. Първоначално математиката привлече интереса ми, защото нейната аксиоматична система ми даде способността да създавам нови светове. С компютърните науки научих за екзистенциалните доказателства, но също и за алгоритмите зад тях. От творческа гледна точка, компютърните науки са очертаването на граници между това, което можем и не можем да правим.
Интересът ми към машинното обучение винаги се е коренял в интерес към реални данни, почти физическия им аспект. Вземане на неща от реалния свят и моделиране, за да направи нещо смислено. Можем буквално да създадем по-добър свят чрез смислено моделиране. И така, математиката ми даде основа за доказване на нещата, компютърните науки ми помагат да видя какво може и какво не може да се направи, а машинното обучение ми позволява да моделирам тези концепции в света.
Доскоро бяхте професор по компютърни науки и приложна математика в Харвардския университет, какви бяха някои от основните ви изводи от това преживяване?
Моят най-голям извод от това да бъда член на факултета в Харвард е, че това развива апетита на човек да прави големи неща. Традиционно Харвард има малък факултет, а очакванията от преподавателите по титулярно обучение са да се справят с големи проблеми и да създадат нови области. Трябва да си дързък. Това в крайна сметка е страхотна подготовка за стартиране на стартиране, създаващо категории, определящо ново пространство. Не препоръчвам непременно първо да преминете през трасето за владение в Харвард, но ако оцелеете това, изграждането на стартиращ бизнес е по-лесно.
Бихте ли описали своя „аха“ момент, когато разбрахте, че сложните AI системи са уязвими към лоши данни, с някои потенциално далечни последици?
Когато бях аспирант в Калифорнийския университет в Бъркли, отделих известно време, за да направя стартъп, който създава модели за машинно обучение за маркетинг в социалните мрежи. Това беше през 2010 г. Имахме огромно количество данни от социалните медии и кодирахме всички модели от нулата. Финансовите последици за търговците на дребно бяха доста значителни, така че проследихме внимателно представянето на моделите. Тъй като използвахме данни от социалните медии, имаше много грешки при въвеждането, както и отклонение. Видяхме, че много малки грешки доведоха до големи промени в изхода на модела и можеха да доведат до лоши финансови резултати за търговците на дребно, използващи продукта.
Когато преминах към работа в Google+ (за тези от нас, които си спомнят), видях абсолютно същите ефекти. По-драматично е, че в системи като AdWords, които правят прогнози за вероятността хората да кликнат върху реклама за ключови думи, забелязахме, че малки грешки при въвеждането на модела водят до много лоши прогнози. Когато станете свидетел на този проблем в мащаб на Google, разбирате, че проблемът е универсален.
Тези преживявания силно оформиха моя изследователски фокус и прекарах времето си в Харвард, изследвайки защо AI моделите правят грешки и, което е важно, как да проектирам алгоритми, които могат да предотвратят грешките на моделите. Това, разбира се, доведе до повече „аха“ моменти и в крайна сметка до създаването на Robust Intelligence.
Бихте ли споделили историята на генезиса зад Robust Intelligence?
Robust Intelligence започна с изследване на това, което първоначално беше теоретичен проблем: какви са гаранциите, които можем да имаме за решения, взети с помощта на AI модели. Коджин беше студент в Харвард и работихме заедно, като първоначално пишехме научни статии. И така, започва се с писане на документи, които очертават това, което е принципно възможно и невъзможно, теоретично. Тези резултати по-късно продължиха към програма за проектиране на алгоритми и модели, които са устойчиви на грешки на AI. След това изграждаме системи, които могат да изпълняват тези алгоритми на практика. След това стартирането на компания, в която организациите могат да използват система като тази, беше естествена следваща стъпка.
Много от проблемите, с които се занимава Robust Intelligence, са тихи грешки, какви са те и какво ги прави толкова опасни?
Преди да дадем техническа дефиниция на тихите грешки, струва си да направим крачка назад и да разберем защо трябва да се интересуваме от това, че изкуственият интелект прави грешки на първо място. Причината, поради която ни е грижа AI моделите да правят грешки, са последствията от тези грешки. Нашият свят използва AI за автоматизиране на критични решения: кой получава бизнес заем и при какъв лихвен процент, кой получава здравноосигурително покритие и при какъв процент, кои квартали трябва да патрулира полицията, кой е най-вероятният кандидат за работа, как трябва да организираме сигурността на летището и т.н. Фактът, че AI моделите са изключително склонни към грешки, означава, че при автоматизирането на тези критични решения ние наследяваме голям риск. В Robust Intelligence наричаме това „риск от изкуствен интелект“ и нашата мисия в компанията е да елиминираме риска от изкуствен интелект.
Тихите грешки са грешки на AI модели, при които AI моделът получава входни данни и произвежда прогноза или решение, което е грешно или предубедено като резултат. Така че на пръв поглед всичко в системата изглежда наред, тъй като AI моделът прави това, което трябва да прави от функционална гледна точка. Но прогнозата или решението е погрешно. Тези грешки са тихи, защото системата не знае, че има грешка. Това може да бъде много по-лошо от случая, в който AI модел не дава резултат, тъй като може да отнеме много време на организациите, за да осъзнаят, че тяхната AI система е дефектна. Тогава рискът от ИИ се превръща в неуспехи на ИИ, които могат да имат тежки последици.
Robust Intelligence по същество е проектирала AI защитна стена, идея, която преди се смяташе за невъзможна. Защо това е такова техническо предизвикателство?
Една от причините AI Firewall да е такова предизвикателство е, че противоречи на парадигмата на ML общността. Предишната парадигма на ML общността беше, че за да се изкоренят грешките, трябва да се подадат повече данни, включително лоши данни към моделите. Правейки това, моделите ще се обучават и ще се научат как сами да коригират грешките. Проблемът с този подход е, че води до драстичен спад на точността на модела. Най-известните резултати за изображения, например, причиняват спад на точността на AI модела от 98.5% до около 37%.
AI Firewall предлага различно решение. Ние отделяме проблема с идентифицирането на грешка от ролята на създаване на прогноза, което означава, че защитната стена може да се съсредоточи върху една конкретна задача: да определи дали дадена точка от данни ще произведе грешна прогноза.
Това само по себе си беше предизвикателство поради трудността да се даде прогноза за една точка от данни. Има много причини, поради които моделите правят грешки, така че изграждането на технология, която може да предвиди тези грешки, не беше лесна задача. Ние сме много щастливи да имаме инженерите, които имаме.
Как системата може да помогне за предотвратяване на отклонение от AI?
Пристрастието на модела идва от несъответствие между данните, върху които моделът е обучен, и данните, които използва, за да прави прогнози. Връщайки се към риска от изкуствен интелект, пристрастието е основен проблем, приписван на тихите грешки. Например, това често е проблем с недостатъчно представените групи от населението. Един модел може да има пристрастия, защото е видял по-малко данни от тази популация, което драматично ще повлияе на ефективността на този модел и на точността на неговите прогнози. AI Firewall може да предупреди организациите за тези несъответствия в данните и да помогне на модела да вземе правилни решения.
Какви са някои от другите рискове за организациите, които AI защитната стена помага да предотврати?
Всяка компания, използваща AI за автоматизиране на решения, особено критични решения, автоматично въвежда риск. Лошите данни могат да бъдат толкова незначителни, колкото въвеждането на нула вместо единица и пак да доведат до значителни последствия. Независимо дали рискът е неправилни медицински прогнози или фалшиви прогнози за кредитиране, AI Firewall помага на организациите да предотвратят напълно риска.
Има ли нещо друго, което бихте искали да споделите за Robust Intelligence?
Robust Intelligence се разраства бързо и получаваме много страхотни кандидати, които кандидатстват за позиции. Но нещо, което наистина искам да подчертая за хората, които обмислят да кандидатстват, е, че най-важното качество, което търсим в кандидатите, е тяхната страст към мисията. Можем да се срещнем с много кандидати, които са силни технически, така че наистина се свежда до разбирането дали те наистина са страстни за елиминирането на риска от ИИ, за да направят света по-безопасно и по-добро място.
В света, към който вървим, много решения, които в момента се вземат от хората, ще бъдат автоматизирани. Независимо дали ни харесва или не, това е факт. Като се има предвид това, всички ние в Robust Intelligence искаме автоматизираните решения да се вземат отговорно. Така че всеки, който се вълнува от оказването на въздействие, който разбира начина, по който това може да повлияе на живота на хората, е кандидат, който търсим да се присъедини към Robust Intelligence. Ние търсим тази страст. Ние търсим хората, които ще създадат тази технология, която целият свят ще използва.
Благодаря ви за страхотното интервю, хареса ми да науча вашите възгледи относно предотвратяването на пристрастията на AI и за необходимостта от защитна стена на AI, читателите, които искат да научат повече, трябва да посетят Силна интелигентност.
