Модели и платформы ИИ
Раскрывая потенциал графических нейронных сетей с помощью больших языковых моделей:究极ный гид
Добавьте Unite.AI в избранные источники в Google
Графы – это структуры данных, которые представляют сложные отношения в различных областях, включая социальные сети, базы знаний, биологические системы и многие другие. В этих графах сущности представлены как узлы, а их отношения изображаются как ребра.
Способность эффективно представлять и рассуждать о этих сложных отношениях имеет решающее значение для достижения прогресса в таких областях, как наука о сетях, хемоинформатика и системы рекомендаций.
Графические нейронные сети (ГНС) появились как мощная глубокая модель обучения для задач машинного обучения на графах. Включая топологию графа в архитектуру нейронной сети через агрегацию соседей или графовые свёртки, ГНС могут学习 низкоразмерные векторные представления, которые кодируют как признаки узлов, так и их структурные роли. Это позволяет ГНС достигать лучших результатов в задачах, таких как классификация узлов, прогнозирование связей и классификация графов в различных областях применения.
Хотя ГНС привели к значительному прогрессу, остаются некоторые ключевые проблемы. Получение высококачественных помеченных данных для обучения контролируемых моделей ГНС может быть дорогим и трудоёмким. Кроме того, ГНС могут испытывать трудности с гетерогенными графическими структурами и ситуациями, когда распределение графа во время тестирования существенно отличается от обучающих данных (генерализация вне распределения).
Параллельно, большие языковые модели (БЯМ), такие как GPT-4 и LLaMA, потрясли мир своими невероятными возможностями понимания и генерации естественного языка. Обученные на огромных текстовых корпусах с миллиардами параметров, БЯМ демонстрируют замечательные способности к обучению с несколькими примерами, обобщению на задачи и навыкам рассуждения, которые ранее считались чрезвычайно сложными для систем ИИ.
Огромный успех БЯМ привёл к исследованию их использования для задач машинного обучения на графах. С одной стороны, знания и возможности рассуждения БЯМ представляют возможности для улучшения традиционных моделей ГНС. С другой стороны, структурированные представления и фактические знания, присущие графам, могут быть полезны для решения некоторых ключевых ограничений БЯМ, таких как галлюцинации и отсутствие интерпретируемости.
Графические нейронные сети и самообучение
Чтобы предоставить необходимый контекст, мы кратко рассмотрим основные концепции и методы графических нейронных сетей и самообучения на графах.
Архитектуры графических нейронных сетей
Архитектура графической нейронной сети – источник
Ключевое различие между традиционными глубокими нейронными сетями и ГНС заключается в их способности работать напрямую с граф-структурированными данными. ГНС следуют схеме агрегации соседей, где каждый узел агрегирует векторы признаков от своих соседей для вычисления своего представления.
Было предложено множество архитектур ГНС с различными реализациями функций сообщения и обновления, таких как графовые свёрточные сети (GCN), GraphSAGE, графовые сети внимания (GAT) и графовые изоморфные сети (GIN) среди прочих.
Более недавно графические трансформеры получили популярность, адаптируя механизм самообучения из трансформеров естественного языка для работы с граф-структурированными данными. Некоторые примеры включают GraphormerTransformer и GraphFormers. Эти модели способны захватывать долгосрочные зависимости в графе лучше, чем чисто соседние ГНС.
Самообучение на графах
Хотя ГНС являются мощными моделями представления, их производительность часто ограничивается отсутствием крупных помеченных наборов данных, необходимых для контролируемого обучения. Самообучение появилось как перспективный подход к предварительному обучению ГНС на непомеченных графических данных, используя задачи-предтексты, которые требуют только внутренней структуры графа и признаков узлов.
Некоторые общие задачи-предтексты, используемые для предварительного обучения ГНС, включают:
- Прогнозирование свойств узлов: Случайное маскирование или повреждение части атрибутов/признаков узлов и задача ГНС их восстановления.
- Прогнозирование ребер/связей: Обучение прогнозировать, существует ли ребро между парой узлов, часто на основе случайного маскирования ребер.
- Контрастное обучение: Максимизация сходства между графовыми представлениями одного и того же графа, одновременно отталкивая представления разных графов.
- Максимизация взаимной информации: Максимизация взаимной информации между локальными представлениями узлов и целевым представлением, таким как глобальное представление графа.
Задачи-предтексты, такие как эти, позволяют ГНС извлекать осмысленные структурные и семантические закономерности из непомеченных графических данных во время предварительного обучения. Предварительно обученная ГНС может затем быть дообучена на относительно небольших помеченных подмножествах для достижения высоких результатов в различных задачах, таких как классификация узлов, прогнозирование связей и классификация графов.
Используя самообучение, ГНС, предварительно обученные на крупных непомеченных наборах данных, демонстрируют лучшую обобщаемость, устойчивость к сдвигам распределения и эффективность по сравнению с обучением с нуля. Однако некоторые ключевые ограничения традиционных методов самообучения на основе ГНС остаются, которые мы будем решать с помощью БЯМ.
Улучшение машинного обучения на графах с помощью больших языковых моделей
Интеграция графов и БЯМ – источник
Замечательные возможности БЯМ в понимании естественного языка, рассуждении и обучении с несколькими примерами представляют возможности для улучшения различных аспектов машинного обучения на графах. Мы исследуем некоторые ключевые направления исследований в этой области:
Одной из ключевых проблем при применении ГНС является получение высококачественных представлений узлов и ребер, особенно когда они содержат богатые текстовые атрибуты, такие как описания, названия или аннотации. Традиционно использовались простые модели мешка слов или предварительно обученные модели вложений слов, которые часто не могут захватить тонкие семантические нюансы.
Недавние работы продемонстрировали силу использования БЯМ в качестве текстовых кодировщиков для построения лучших представлений узлов/ребер перед их передачей в ГНС. Например, Chen et al. используют БЯМ, такие как GPT-3, для кодирования текстовых атрибутов узлов, демонстрируя значительные приросты производительности по сравнению с традиционными моделями вложений слов на задачах классификации узлов.
Помимо улучшения текстовых кодировщиков, БЯМ можно использовать для генерации дополнительной информации из исходных текстовых атрибутов в полуправильном режиме. TAPE генерирует потенциальные метки/объяснения для узлов с помощью БЯМ и использует их в качестве дополнительных дополненных признаков. KEA извлекает термины из текстовых атрибутов с помощью БЯМ и получает подробные описания для этих терминов для дополнения признаков.
Улучшая качество и выразительность входных признаков, БЯМ могут передать свои превосходные возможности понимания естественного языка ГНС, повышая производительность на задачах.
Снижение зависимости от помеченных данных
Одним из ключевых преимуществ БЯМ является их способность работать достаточно хорошо на новых задачах с небольшим или отсутствием помеченных данных, благодаря их предварительному обучению на огромных текстовых корпусах. Эта возможность обучения с несколькими примерами может быть использована для снижения зависимости ГНС от крупных помеченных наборов данных.
Один из подходов заключается в использовании БЯМ для прямого прогнозирования на задачах графа, описывая структуру графа и информацию о узлах в текстовых подсказках. Методы, такие как InstructGLM и GPT4Graph, дообучают БЯМ, такие как LLaMA и GPT-4, с помощью тщательно разработанных подсказок, которые включают детали топологии графа, такие как связи узлов, соседства и т. д. Дообученные БЯМ могут затем генерировать прогнозы для задач, таких как классификация узлов и прогнозирование связей, в режиме нулевого сэмпла во время вывода.
Хотя использование БЯМ в качестве черных ящиков-предсказателей показало перспективы, их производительность ухудшается для более сложных задач графа, где явное моделирование структуры является полезным. Некоторые подходы используют БЯМ в сочетании с ГНС – ГНС кодирует структуру графа, а БЯМ обеспечивает улучшенное семантическое понимание узлов из их текстовых описаний.
Понимание графа с помощью БЯМ – источник
GraphLLM исследует две стратегии: 1) БЯМ в качестве усилителей, где БЯМ кодируют текстовые атрибуты узлов перед передачей их в ГНС, и 2) БЯМ в качестве предсказателей, где БЯМ принимает промежуточные представления ГНС в качестве входных данных для генерации окончательных прогнозов.
GLEM предлагает вариационный алгоритм EM, который чередует обновление компонентов БЯМ и ГНС для взаимного улучшения.
Снижая зависимость от помеченных данных за счет возможностей обучения с несколькими примерами и полуправильного дополнения, методы машинного обучения на графах, улучшенные БЯМ, могут открыть новые применения и повысить эффективность данных.
Улучшение БЯМ с помощью графов
Хотя БЯМ были невероятно успешными, они все еще страдают от ключевых ограничений, таких как галлюцинации (генерация нефактических утверждений), отсутствие интерпретируемости в процессе рассуждения и неспособность поддерживать последовательные фактические знания.
Графы, особенно графы знаний, которые представляют структурированную фактическую информацию из надежных источников, представляют перспективные подходы для решения этих ограничений. Мы исследуем некоторые появляющиеся подходы в этом направлении:
Улучшение предварительного обучения БЯМ с помощью графов знаний
Аналогично тому, как БЯМ предварительно обучаются на крупных текстовых корпусах, недавние работы исследовали предварительное обучение их на графах знаний для наделения лучшим фактическим осознанием и возможностями рассуждения.
Некоторые подходы изменяют входные данные, просто конкатенируя или выравнивая фактические тройки графов знаний с естественным языком текста во время предварительного обучения. E-BERT выравнивает векторы сущностей графов знаний с вложениями словоформ BERT, а K-BERT строит деревья, содержащие исходный предложение и соответствующие тройки графов знаний.
Роль БЯМ в машинном обучении на графах
Исследователи исследовали несколько способов интеграции БЯМ в процесс машинного обучения на графах, каждый со своими уникальными преимуществами и применениями. Вот некоторые из ключевых ролей, которые БЯМ могут играть:
- БЯМ в качестве усилителя: В этом подходе БЯМ используются для обогащения текстовых атрибутов, связанных с узлами в TAG. Способность БЯМ генерировать объяснения, сущности знаний или псевдо-метки может дополнить семантическую информацию, доступную для ГНС, что приводит к улучшению представлений узлов и производительности на задачах.
Например, модель TAPE использует ChatGPT для генерации объяснений и псевдо-меток для статей в цитационной сети, которые затем используются для дообучения языковой модели. Полученные вложения затем передаются в ГНС для классификации узлов и прогнозирования связей, достигая лучших результатов.
- БЯМ в качестве предсказателя: Некоторые подходы напрямую используют БЯМ в качестве компонента-предсказателя для задач, связанных с графами. Это включает в себя преобразование структуры графа в текстовое представление, которое может быть обработано БЯМ, а затем генерировать желаемый вывод, такой как метки узлов или прогнозы на уровне графа.
Одним из заметных примеров является модель GPT4Graph, которая представляет графы с помощью языка моделирования графов (GML) и использует мощную БЯМ GPT-4 для задач рассуждения на графах в режиме нулевого сэмпла.
- Выравнивание ГНС и БЯМ: Другое направление исследований фокусируется на выравнивании пространств вложений ГНС и БЯМ, что позволяет осуществлять беспрепятственную интеграцию структурной и семантической информации. Эти подходы рассматривают ГНС и БЯМ как отдельные модальности и используют методы, такие как контрастное обучение или дистилляция, для выравнивания их представлений.
Модель MoleculeSTM, например, использует контрастный объект для выравнивания вложений ГНС и БЯМ, позволяя БЯМ включать структурную информацию из ГНС, а ГНС – использовать семантические знания БЯМ.
Проблемы и решения
Хотя интеграция БЯМ и машинного обучения на графах имеет огромный потенциал, несколько проблем необходимо решить:
- Эффективность и масштабируемость: БЯМ известны своей ресурсоёмкостью, часто требуя миллиардов параметров и огромной вычислительной мощности для обучения и вывода. Это может быть значительным препятствием для развертывания моделей машинного обучения на графах, улучшенных БЯМ, в реальных приложениях, особенно на устройствах с ограниченными ресурсами.
Одним из перспективных решений является дистилляция знаний, где знания из большой БЯМ (учительской модели) передаются в меньшую, более эффективную ГНС (ученической модели).
- Утечка данных и оценка: БЯМ предварительно обучаются на огромных публичных наборах данных, которые могут включать тестовые наборы из общих наборов данных, что приводит к потенциальной утечке данных и завышенной производительности. Исследователи начали собирать новые наборы данных или выборочно тестировать данные из периодов времени после среза обучения БЯМ, чтобы смягчить эту проблему.
Кроме того, создание справедливых и всесторонних оценочных критериев для моделей машинного обучения на графах, улучшенных БЯМ, имеет решающее значение для измерения их реальных возможностей и обеспечения осмысленных сравнений.
- Переносимость и интерпретируемость: Хотя БЯМ отлично работают в режиме нулевого сэмпла и обучения с несколькими примерами, их способность переносить знания на различные домены и структуры графов остается открытой проблемой. Улучшение переносимости этих моделей является критическим направлением исследований.
Более того, повышение интерпретируемости моделей машинного обучения на графах, основанных на БЯМ, имеет решающее значение для построения доверия и обеспечения их принятия в высокорисковых приложениях. Использование встроенных возможностей рассуждения БЯМ через методы, такие как цепочечное рассуждение, может способствовать улучшению интерпретируемости.
- Мультимодальная интеграция: Графы часто содержат больше, чем просто текстовую информацию, с узлами и ребрами, потенциально связанными с различными модальностями, такими как изображения, аудио или числовые данные. Расширение интеграции БЯМ на эти мультимодальные графические настройки представляет собой увлекательную возможность для будущих исследований.
Реальные применения и кейсы
Интеграция БЯМ и машинного обучения на графах уже показала перспективные результаты в различных реальных приложениях:
- Прогнозирование свойств молекул: В области вычислительной химии и открытия лекарств БЯМ были использованы для улучшения прогнозирования свойств молекул, включая структуру молекулы в графах. Модель LLM4Mol, например, использует ChatGPT для генерации объяснений для представлений молекул в SMILES, которые затем используются для улучшения точности прогнозирования свойств.
- Завершение и рассуждение на графах знаний: Графы знаний – это особый тип графовой структуры, представляющей реальные сущности и их отношения. БЯМ были исследованы для задач, таких как завершение графов знаний и рассуждение, где структура графа и текстовая информация (например, описания сущностей) должны быть рассмотрены совместно.
- Системы рекомендаций: В области систем рекомендаций графовые структуры часто используются для представления взаимодействий между пользователями и предметами, где узлы представляют пользователей и предметы, а ребра обозначают взаимодействия или сходства. БЯМ могут быть использованы для улучшения этих графов, генерируя дополнительную информацию о пользователях и предметах или укрепляя ребра взаимодействий.
Заключение
Симбиоз между БЯМ и машинным обучением на графах представляет собой захватывающий фронт в исследованиях искусственного интеллекта. Объединяя структурную индуктивную предвзятость ГНС с мощными семантическими возможностями БЯМ, мы можем открыть новые возможности в задачах машинного обучения на графах, особенно для графов с текстовыми атрибутами.
Хотя значительный прогресс был достигнут, проблемы остаются в таких областях, как эффективность, масштабируемость, переносимость и интерпретируемость. Техники, такие как дистилляция знаний, справедливые оценочные критерии и мультимодальная интеграция, открывают путь для практического развертывания моделей машинного обучения на графах, улучшенных БЯМ, в реальных приложениях.
