MINT-1T: Масштабирование открытых многомодальных данных в 10 раз

Обучение передовых крупномасштабных многомодальных моделей (LMM) требует крупномасштабных наборов данных с чередующимися последовательностями изображений и текста в свободной форме. Хотя открытые многомодальные модели быстро эволюционируют, все еще существует значительный недостаток многомодальных чередующихся наборов данных в масштабе, которые являются открытыми. Важность этих наборов данных нельзя переоценить, поскольку они образуют основу для создания передовых систем искусственного интеллекта, способных понимать и генерировать контент в разных модальностях. Без достаточного количества полных чередующихся наборов данных потенциал разработки более совершенных и способных LMM значительно ограничен. Эти наборы данных позволяют моделям учиться на разнообразном наборе входных данных, что делает их более универсальными и эффективными в различных приложениях. Кроме того, нехватка таких наборов данных представляет собой проблему для открытого сообщества, которое полагается на общие ресурсы для стимулирования инноваций и сотрудничества.

Открытые LMM сделали значительные шаги в последние годы, но их рост сдерживается ограниченной доступностью крупномасштабных, чередующихся наборов данных. Чтобы преодолеть это препятствие, необходимы согласованные усилия для курирования, аннотации и выпуска более полных наборов данных, которые могут поддержать продолжающееся развитие и совершенствование многомодальных моделей. Кроме того, создание и распространение этих наборов данных предполагает преодоление нескольких технических и логистических препятствий. Сбор данных должен быть обширным и представительным для различных контекстов, в которых будут развертываться LMM. Аннотация требует тщательного рассмотрения, чтобы обеспечить, что чередующиеся последовательности изображений и текста выравниваются таким образом, чтобы повысить возможности обучения модели. Кроме того, обеспечение того, чтобы наборы данных были открытыми, предполагает решение юридических и этических вопросов, связанных с конфиденциальностью данных и правами использования. Расширение доступности высококачественных, крупномасштабных многомодальных чередующихся наборов данных имеет важное значение для будущего исследований и разработок в области искусственного интеллекта. Решая текущую нехватку, сообщество искусственного интеллекта может стимулировать большую инновацию и сотрудничество, что приведет к созданию более мощных и универсальных LMM, способных решать сложные, реальные проблемы.

Основываясь на этом, MINT-1T, крупнейший и самый разнообразный открытый многомодальный чередующийся набор данных на сегодняшний день. MINT-1T: в 10 раз больше по масштабу, включая один триллион текстовых токенов и 3,4 миллиарда изображений, чем существующие открытые наборы данных. Набор данных MINT-1T также вводит ранее неиспользованные источники, такие как файлы PDF и статьи ArXiv. Поскольку многомодальные чередующиеся наборы данных не масштабируются легко, важно, чтобы набор данных MINT-1T поделился процессом курирования данных, чтобы другие также могли проводить эксперименты на таких информационно богатых вариантах. Набор данных MINT-1T демонстрирует, что его метод; модели LM, обученные на MINT-1T, конкурентоспособны (хотя и несколько) с предыдущими лучшими открытыми наборами данных, OBELICS.

MINT-1T: Многомодальный набор данных с одним триллионом токенов

Крупные открытые предварительно обученные наборы данных были важными для исследовательского сообщества в изучении инженерии данных и обучения прозрачных, открытых моделей. В текстовом домене ранние работы, такие как C4 и The Pile, сыграли решающую роль в ermögлении сообществу обучать первые открытые крупные языковые модели, такие как GPT-J, GPT-Neo и другие. Эти основополагающие усилия также проложили путь для последующих улучшений в методах фильтрации данных и масштабирования. Аналогично, в пространстве изображения и текста крупные открытые наборы данных стимулировали инновации в лучших методах курирования данных, таких как сети фильтрации данных и T-MARS. Есть заметный сдвиг от передовых лабораторий к обучению крупных многомодальных моделей (LMM), которые требуют обширных многомодальных чередующихся наборов данных, состоящих из свободных последовательностей изображений и текста. По мере того, как возможности передовых моделей быстро развиваются, значущая пропасть возникает в многомодальных тренировочных данных между закрытыми и открытыми моделями. Текущие открытые многомодальные чередующиеся наборы данных меньше и менее разнообразны, чем их текстовые аналоги, в основном полученные из HTML-документов, что ограничивает ширину и разнообразие данных. Это ограничение препятствует разработке прочных открытых LMM и создает дисбаланс между возможностями открытых и закрытых моделей.

… (rest of the content remains the same, following the exact structure and translation rules)