Доктор Нил Ягер, соучредитель и главный научный сотрудник Phrasee — серия интервью

Доктор Нил Ягер — главный научный сотрудник Phrasee, а также архитектор метода Phrasee, инструмента для копирайтинга на основе ИИ, который помог оптимизировать маркетинговые тексты для некоторых из самых известных мировых брендов, включая eBay, Groupon и Virgin, а также многих других, от Австралии до Америки, за более чем 20 языков, от английского до японского.

Доктор Ягер написал более дюжины научных публикаций, написал книгу по интеллектуальному анализу данныхи имеет несколько патентов. Как один из ведущих мировых экспертов в области коммерциализации искусственного интеллекта, он имеет докторскую степень в области компьютерных наук, полученную в Университете Нового Южного Уэльса в Австралии.

Вы ветеран технической индустрии с 20-летним стажем. Каковы были некоторые из ваших предыдущих ролей, связанных с ИИ? 

Я занимаюсь работой, связанной с искусственным интеллектом, с тех пор, как получил докторскую степень в середине 2000-х годов. Однако с тех пор эта сфера претерпела несколько ребрендингов. Например, 15 лет назад я изучал «статистическое распознавание образов». Несколько лет спустя это стало более известно как «машинное обучение», что является гораздо более привлекательным названием. Совсем недавно машинное обучение (и «глубокое обучение» в частности) стало синонимом «искусственного интеллекта» в целом. У меня смешанные чувства по этому поводу. С одной стороны, моя работа с Phrasee научила меня важности брендинга. С другой стороны, термин «искусственный интеллект» приносит с собой багаж и может привести к неправильным представлениям об этой технологии. Интересно, где бы мы были, если бы все еще называли это «статистическим распознаванием образов».

Большая часть моей предыдущей работы была связана с обработкой сигналов и компьютерным зрением. До Phrasee я не особо сталкивался с обработкой естественного языка. С тех пор я понял, что язык — это, пожалуй, самая сложная проблема в ИИ.

В 2008 году вы стали соавтором книги под названием «Биометрическая система и анализ данных: проектирование, оценка и интеллектуальный анализ данных', который объединяет аспекты статистики и машинного обучения, чтобы предоставить исчерпывающее руководство по оценке, интерпретации и пониманию биометрических данных. Считаете ли вы, что, помимо дополнительных вычислительных ресурсов, эта область изменилась с тех пор, как была опубликована эта книга? Не могли бы вы описать как? 

Глубокое обучение потрясло области компьютерного зрения, обработки речи и машинного обучения с тех пор, как я написал эту книгу. Сегодня было бы невозможно написать эту книгу без раздела о глубоком обучении.

Революция глубокого обучения действительно началась в 2012 году, когда модель глубокого обучения выиграла конкурс под названием ImageNet. ImageNet — это набор данных для распознавания визуальных объектов, в котором компьютер определяет, что находится на изображении (например, «собака» или «воздушный шар»). Десятилетиями исследователи добивались постепенных успехов в наборах эталонных данных, подобных этому. Каждое подполе работало независимо и в значительной степени зависело от знаний в конкретной области. Почти в одночасье все модели, кропотливо построенные на протяжении многих лет, устарели. Алгоритмы глубокого обучения, разработанные аутсайдерами, выигрывали соревнования со значительным отрывом. Это изменило индустрию ИИ.

Область по-прежнему быстро развивается и развивалась даже с момента запуска Phrasee всего несколько лет назад. Например, инструменты глубокого обучения, на которые мы сейчас полагаемся, даже не существовали, когда мы основали компанию. Темп инноваций приносит свои собственные проблемы.

Не могли бы вы поделиться с нами тем, что Phrasee может сделать для бизнеса? 

Phrasee решает две проблемы для бизнеса. Во-первых, существует проблема написания маркетингового текста. Сейчас существует больше рекламных каналов, чем когда-либо прежде (например, электронная почта, AdWords, социальные сети, печать, подкасты и т. д.). Трудно написать текст для всего этого, который был бы высокого качества и соответствовал стилю и тону бренда. Phrasee решает проблему масштаба, автоматически генерируя текст. Во-вторых, важно, чтобы весь используемый язык был эффективным. Phrasee не только генерирует язык, но также использует машинное обучение для прогнозирования воздействия обмена сообщениями и соответствующей оптимизации.

Что привлекло вас в идее использования обработки естественного языка (NLP) и глубокого обучения для повышения эффективности рекламного текста? 

Использование ИИ для максимизации воздействия кампаний цифрового маркетинга — не новая идея. Есть команды людей с докторской степенью по физике, которых наняли для работы над оптимизацией рекламы. Однако в большинстве случаев они сосредотачивают свои усилия в области исследований и разработок на таких вещах, как сегментация аудитории, персонализация, время доставки, размещение рекламы, шрифты и т. д. Когда мы впервые обдумывали идеи для Phrasee, мы заметили, что почти все в рекламе оптимизируется, кроме используется настоящий язык! Мы определили это как пробел на рынке и огромные возможности.

Phrasee может улучшить рекламный текст на более чем 20 языках, включая японский. Не могли бы вы обсудить некоторые уникальные проблемы обработки естественного языка, возникающие при работе с иностранными языками? 

Самым последним дополнением к нашему набору поддерживаемых языков является русский. Это славянский язык, и он сильно отличается от других индоевропейских языков. В этом случае было необходимо встроить новые правила в нашу систему генерации языка, чтобы вывод был беглым и грамматически правильным. Это не только проблема языка. Это также проблема разработки программного обеспечения. Когда вывод нашей системы на родном языке разработчика, относительно легко обнаружить ошибки и убедиться, что все работает правильно. Однако при работе с русским или японским языком мы можем выводить чепуху и не иметь ни малейшего представления. Важно, чтобы носитель языка активно участвовал в процессе контроля качества.

Проблема не только в иностранных языках. Есть и интересные региональные различия. Например, в английском языке есть варианты правописания для США, Великобритании, Австралии, Канады и т. д. Кроме того, существуют грамматические различия. В британском английском вы «взгляните», в то время как в американском английском вы «взгляните». Значение слов также может варьироваться от места к месту. «Резина» — это ластик в Великобритании, но презерватив в Северной Америке! Чтобы системы NLG можно было использовать для бизнес-приложений, они должны учитывать все эти тонкости.

Не могли бы вы также поделиться некоторыми подробностями о том, как глубокое обучение используется в Phrasee? 

В технологии Phrasee есть два основных компонента ИИ. Первая — это генерация естественного языка (NLG), которая фактически создает язык. Второе — это глубокое обучение, и здесь основное внимание уделяется производительности. Производительность может означать разные вещи в зависимости от контекста. Например, цель строки темы электронного письма — побудить получателя открыть электронное письмо и просмотреть его содержимое. Для Facebook целью может быть максимальное количество лайков или репостов. Учитывая большие объемы исторических данных, можно найти тонкие тенденции и закономерности, которые человек никогда не заметит. Это стандартная задача машинного обучения.

Глубокое обучение предлагает несколько преимуществ по сравнению с традиционным подходом машинного обучения. В традиционном машинном обучении большое внимание уделяется «разработке функций». Это означает, что разработчик должен решить, что, по его мнению, является наиболее важными функциями языка. например, слова, длина, использование смайликов и т. д. Проблема в том, что это ограничено навыками и воображением инженера. Однако при глубоком обучении необработанный текст передается в модель, и она строит собственное машинное представление языка (это известно как сквозное обучение). Следовательно, он свободен от человеческих предубеждений и является мощным подходом. Однако недостатком является то, что может быть трудно понять, почему модель ведет себя именно так. «Объяснимость» — это активная область исследований в сообществе глубокого обучения. Однако существует фундаментальный компромисс между сложностью системы и нашей способностью ее понять. Человеческий язык запутан, поэтому успешные решения НЛП обычно имеют высокую степень сложности.

Одной из функций Phrasee является возможность писать в уникальном тоне бренда. Не могли бы вы рассказать, как это делается? 

Когда мы регистрируем нового клиента, первое, что мы делаем, это собираем информацию о стиле общения его бренда. Это включает в себя любые формальные рекомендации по бренду, исторические маркетинговые кампании и серию анкет, которые мы разработали для этой цели. Вся эта информация используется штатной командой языковых специалистов для создания «языковой модели» для конкретного клиента. Наши языковые модели являются генеративными, что означает, что они способны создавать невиданный ранее язык в уникальном стиле клиента.

Языковые модели могут быть обновлены в любое время. Например, на данный момент мы находимся на пике кризиса COVID-19. Наша языковая команда пересматривает наши модели, чтобы убедиться, что недопустимый язык не может быть создан. Фраза вроде «Эти сделки становятся вирусными!» несколько месяцев назад это могло быть безобидным, но явно неуместным в разгар глобальной пандемии. Это демонстрирует гибкость нашей системы.

Какие данные нужны компании, которая хочет начать работу с Phrasee? 

Честно говоря, для начала работы с нами требуется не так много данных. Первым шагом является определение подходящей области проекта. Например, это могут быть строки темы для еженедельных рекламных писем. В идеале это будет иметь относительно большую аудиторию и регулярные коммуникации. После того, как проект определен, нам нужна информация о предполагаемой теме и голосе бренда, чтобы построить языковую модель. Phrasee постоянно нуждается в результатах работы. Поскольку наше решение использует машинное обучение, важно измерять и отслеживать ключевые показатели с течением времени. Эта информация возвращается в нашу систему, чтобы она могла постоянно оптимизировать взаимодействие.

Есть ли что-нибудь еще, что вы хотели бы рассказать о Phrasee? 

Когда Пэрри, Виктория и я основали Phrasee пять лет назад, мы были уверены, что появление множества других стартапов с похожими продуктами будет лишь вопросом времени. Наш план состоял в том, чтобы опередить конкурентов и оставаться на шаг впереди. Однако мы были удивлены отсутствием участников в этом пространстве. Где все остальные? Я думаю, что на это есть несколько причин, но одна из главных заключается в том, что язык представляет собой такую ​​сложную проблему. Я подозреваю, что другие пытались создать подобные продукты, но потерпели неудачу на ранних стадиях исследований и разработок. Это свидетельствует об уникальности нашей технологии.

Спасибо за информативное интервью по обработке естественного языка, генерации естественного языка и глубокому обучению. Чтобы узнать больше, посетители могут посетить Phrasee.