Переопределение поиска: как разрабатываемые конверсационные движки преодолевают устаревшие LLM и контекстно-независимые традиционные поисковые системы

Возникновение конверсационных поисковых систем переопределяет, как мы извлекаем информацию в Интернете, смещаясь от традиционных поисков по ключевым словам к более естественным, конверсационным взаимодействиям. Объединяя большие языковые модели (LLM) с данными реального времени из сети, эти новые системы решают ключевые проблемы, найденные как в устаревших LLM, так и в стандартных поисковых системах. В этой статье мы рассмотрим проблемы, с которыми сталкиваются LLM и поиск по ключевым словам, и исследуем, как конверсационные поисковые системы предлагают перспективное решение.

Устаревшие знания и проблемы надежности в LLM

Большие языковые модели (LLM) значительно продвинули вперед наши методы доступа и интерпретации информации, но они сталкиваются с серьезным ограничением: их неспособность предоставлять обновления в реальном времени. Эти модели обучаются на обширных наборах данных, которые включают текст из книг, статей и веб-сайтов. Однако эти обучающие данные отражают знания только до момента их сбора, что означает, что LLM не могут автоматически обновляться с новой информацией. Чтобы решить эту проблему, LLM должны пройти переобучение, процесс, который является как ресурсоемким, так и дорогим. Это включает в себя сбор и курирование новых наборов данных, переобучение модели и проверку ее производительности. Каждый цикл требует значительной вычислительной мощности, энергии и финансовых инвестиций, что вызывает беспокойство по поводу воздействия на окружающую среду из-за значительных выбросов углерода.

Статическая природа LLM часто приводит к неточностям в их ответах. Когда они сталкиваются с запросами о недавних событиях или развитиях, эти модели могут генерировать ответы на основе устаревшей или неполной информации. Это может привести к “галлюцинациям“, где модель производит неверные или вымышленные факты, подрывая надежность предоставляемой информации. Кроме того, несмотря на их обширные обучающие данные, LLM испытывают трудности в понимании полного контекста текущих событий или возникающих тенденций, что ограничивает их актуальность и эффективность.

Еще одним значительным недостатком LLM является отсутствие цитирования или прозрачности источников. В отличие от традиционных поисковых систем, которые предоставляют ссылки на оригинальные источники, LLM генерируют ответы на основе агрегированной информации без указания, откуда она исходит. Это отсутствие источников не только препятствует способности пользователей проверить точность информации, но также ограничивает прослеживаемость контента, что делает более трудным определение надежности предоставляемых ответов. Следовательно, пользователям может быть сложно проверить информацию или изучить оригинальные источники контента.

Проблемы контекста и информационной перегрузки в традиционных веб-поисковых системах

Хотя традиционные веб-поисковые системы остаются важными для доступа к широкому спектру информации, они сталкиваются с несколькими проблемами, которые влияют на качество и актуальность их результатов. Основной проблемой традиционного веб-поиска является его трудность в понимании контекста. Поисковые системы сильно полагаются на совпадение ключевых слов, что часто приводит к результатам, которые не являются контекстно-релевантными. Это означает, что пользователи получают поток информации, который не直接 отвечает на их конкретный запрос, что делает сложным просеивание и нахождение наиболее актуальных ответов. Хотя поисковые системы используют алгоритмы для ранжирования результатов, они часто не могут предоставить персонализированные ответы на основе уникальных потребностей или предпочтений отдельного пользователя. Это отсутствие персонализации может привести к общим результатам, которые не соответствуют контексту или намерениям пользователя. Кроме того, поисковые системы подвержены манипуляциям через спам SEO и фермы ссылок. Эти практики могут исказить результаты, продвигая менее релевантный или низкокачественный контент на вершину поисковых рейтингов. Пользователи могут обнаружить, что они подвергаются воздействию вводящей в заблуждение или предвзятой информации в результате.

Появление конверсационных поисковых систем

Конверсационная поисковая система представляет собой сдвиг парадигмы в том, как мы взаимодействуем с и извлекаем информацию в Интернете. В отличие от традиционных поисковых систем, которые полагаются на совпадение ключевых слов и алгоритмическое ранжирование для предоставления результатов, конверсационные поисковые системы используют передовые языковые модели для понимания и ответа на запросы пользователей в естественной, человеческой манере. Этот подход направлен на предоставление более интуитивного и эффективного способа поиска информации, вовлекая пользователей в диалог, а не представляя список ссылок.

Конверсационные поисковые системы используют силу больших языковых моделей (LLM) для обработки и интерпретации контекста запросов, что позволяет предоставлять более точные и релевантные ответы. Эти системы предназначены для динамического взаимодействия с пользователями, задавая дополнительные вопросы для уточнения поиска и предлагая дополнительную информацию по мере необходимости. Таким образом, они не только улучшают опыт пользователя, но также значительно улучшают качество извлекаемой информации.

Одним из основных преимуществ конверсационных поисковых систем является их способность предоставлять обновления в реальном времени и понимание контекста. Интегрируя возможности поиска информации с генеративными моделями, эти системы могут получать и включать последние данные из сети, гарантируя, что ответы являются актуальными и точными. Это решает одну из основных ограничений традиционных LLM, которые часто полагаются на устаревшие обучающие данные.

Кроме того, конверсационные поисковые системы предлагают уровень прозрачности, которого традиционные поисковые системы лишены. Они напрямую соединяют пользователей с достоверными источниками, предоставляя четкие цитаты и ссылки на релевантный контент. Эта прозрачность способствует доверию и позволяет пользователям проверять информацию, которую они получают, способствуя более информированному и критическому подходу к потреблению информации.

Конверсационная поисковая система vs. Retrieval Augmented Generation (RAG)

В настоящее время одним из наиболее часто используемых систем информационного поиска с поддержкой ИИ является система, известная как RAG. Хотя конверсационные поисковые системы имеют сходства с RAG, они имеют ключевые различия, особенно в своих целях. Обе системы объединяют информационный поиск с генеративными языковыми моделями для предоставления точных и контекстно-релевантных ответов. Они извлекают данные в реальном времени из внешних источников и интегрируют их в генеративный процесс, гарантируя, что сгенерированные ответы являются актуальными и полными.

Однако системы RAG, такие как Bing, фокусируются на объединении извлеченных данных с генеративными выходами для предоставления точной информации. Они не обладают возможностями последующего уточнения, которые позволяют пользователям систематически уточнять свои поиски. Напротив, конверсационные поисковые системы, такие как SearchGPT от OpenAI, вовлекают пользователей в диалог. Они используют передовые языковые модели для понимания и ответа на запросы в естественной манере, предлагая дополнительные вопросы и информацию для уточнения поиска.

Реальные примеры

Вот два реальных примера конверсационных поисковых систем:

• Perplexity: Perplexity – это конверсационная поисковая система, которая позволяет пользователям взаимодействовать естественно и контекстно с информацией в Интернете. Она предлагает функции, такие как “Фокус”, чтобы сузить поиск до конкретных платформ, и “Связанные”, чтобы предложить дополнительные вопросы. Perplexity работает по модели фримиума, где базовая версия предлагает возможности отдельной LLM, а платная Perplexity Pro предоставляет передовые модели, такие как GPT-4 и Claude 3.5, а также улучшенное уточнение запросов и загрузку файлов.
• SearchGPT: OpenAI недавно представила SearchGPT, инструмент, который объединяет конверсационные возможности больших языковых моделей (LLM) с обновлениями веба в реальном времени. Это помогает пользователям получить доступ к релевантной информации более интуитивно и trực образом. В отличие от традиционных поисковых систем, которые могут быть подавляющими и безличными, SearchGPT предоставляет краткие ответы и вовлекает пользователей в конверсацию. Она может задавать дополнительные вопросы и предлагать дополнительную информацию по мере необходимости, что делает опыт поиска более интерактивным и удобным для пользователя. Одной из ключевых функций SearchGPT является ее прозрачность. Она напрямую соединяет пользователей с достоверными источниками, предоставляя четкие цитаты и ссылки на релевантный контент. Это позволяет пользователям проверять информацию и изучать темы более тщательно.

Итог

Конверсационные поисковые системы меняют способ, которым мы находим информацию в Интернете. Объединяя данные веба в реальном времени с передовыми языковыми моделями, эти новые системы решают многие из ограничений устаревших больших языковых моделей (LLM) и традиционных поисков по ключевым словам. Они предоставляют более актуальную и точную информацию и улучшают прозрачность, связывая напрямую с достоверными источниками. По мере того, как конверсационные поисковые системы, такие как SearchGPT и Perplexity.ai, продолжают развиваться, они предлагают более интуитивный и надежный подход к поиску, выходя за пределы ограничений старых методов.