Переопределение поиска: как новые разговорные движки преодолевают устаревшие модели LLM и традиционные поисковые системы без контекста

Возникновение разговорных поисковых систем меняет способ, которым мы получаем информацию в Интернете, смещаясь от традиционных поисков по ключевым словам к более естественным, разговорным взаимодействиям. Объединяя большие языковые модели (LLM) с данными реального времени из сети, эти новые системы решают ключевые проблемы, найденные в устаревших LLM и стандартных поисковых системах. В этой статье мы рассмотрим проблемы, с которыми сталкиваются LLM и поиски по ключевым словам, и исследуем, как разговорные поисковые системы предлагают перспективное решение.

Устаревшие знания и проблемы надежности в LLM

Большие языковые модели (LLM) значительно продвинули наш метод доступа и интерпретации информации, но они сталкиваются с серьезным ограничением: их неспособность предоставлять обновления в реальном времени. Эти модели обучаются на обширных наборах данных, которые включают текст из книг, статей и веб-сайтов. Однако эти обучающие данные отражают знания только до момента их сбора, что означает, что LLM не могут автоматически обновляться с новой информацией. Чтобы решить эту проблему, LLM должны пройти повторное обучение, процесс, который является как ресурсоемким, так и дорогостоящим. Это включает в себя сбор и курирование новых наборов данных, повторное обучение модели и проверку ее производительности. Каждый этап требует значительной вычислительной мощности, энергии и финансовых инвестиций, что вызывает обеспокоенность по поводу воздействия на окружающую среду из-за значительных выбросов углекислого газа.

Статический характер LLM часто приводит к неточностям в их ответах. Когда они сталкиваются с запросами о недавних событиях или развитиях, эти модели могут генерировать ответы на основе устаревшей или неполной информации. Это может привести к “галлюцинациям“, когда модель производит неверные или вымышленные факты, подрывая надежность предоставляемой информации. Кроме того, несмотря на их обширные обучающие данные, LLM испытывают трудности в понимании полного контекста текущих событий или новых тенденций, что ограничивает их актуальность и эффективность.

Другим значительным недостатком LLM является отсутствие цитирования или прозрачности источников. В отличие от традиционных поисковых систем, которые предоставляют ссылки на оригинальные источники, LLM генерируют ответы на основе агрегированной информации без указания источника. Это отсутствие источников не только препятствует способности пользователей проверить точность информации, но также ограничивает прослеживаемость контента, что затрудняет определение надежности предоставляемых ответов. Следовательно, пользователям может быть сложно проверить информацию или изучить оригинальные источники контента.

Проблемы контекста и информационной перегрузки в традиционных веб-поисковых системах

Хотя традиционные веб-поисковые системы остаются важными для доступа к широкому спектру информации, они сталкиваются с несколькими проблемами, которые влияют на качество и актуальность их результатов. Одной из основных проблем традиционного веб-поиска является его трудность в понимании контекста. Поисковые системы сильно полагаются на совпадение ключевых слов, что часто приводит к результатам, не имеющим контекстуальной актуальности. Это означает, что пользователи получают поток информации, который не直接 решает их конкретный запрос, что затрудняет поиск наиболее актуальных ответов. Хотя поисковые системы используют алгоритмы для ранжирования результатов, они часто не могут предоставить персонализированные ответы на основе уникальных потребностей или предпочтений пользователя. Это отсутствие персонализации может привести к общим результатам, не соответствующим конкретному контексту или намерениям пользователя. Кроме того, поисковые системы подвержены манипуляциям посредством SEO-спама и ферм ссылок. Эти практики могут исказить результаты, продвигая менее актуальный или низкокачественный контент на верх поисковых рейтингов. Пользователи могут столкнуться с вводящей в заблуждение или предвзятой информацией в результате.

Эмерджентность разговорного поискового движка

Разговорный поисковый движок представляет собой сдвиг парадигмы в том, как мы взаимодействуем с информацией в Интернете. В отличие от традиционных поисковых систем, которые полагаются на совпадение ключевых слов и алгоритмическое ранжирование для предоставления результатов, разговорные поисковые системы используют передовые языковые модели для понимания и ответа на запросы пользователей в естественной, человеческой манере. Этот подход направлен на предоставление более интуитивного и эффективного способа поиска информации, вовлекая пользователей в диалог, а не представляя список ссылок.

Разговорные поисковые системы используют силу больших языковых моделей (LLM) для обработки и интерпретации контекста запросов, что позволяет предоставлять более точные и актуальные ответы. Эти движки предназначены для динамического взаимодействия с пользователями, задавая дополнительные вопросы для уточнения поиска и предлагая дополнительную информацию по мере необходимости. Таким образом, они не только улучшают пользовательский опыт, но и значительно повышают качество извлекаемой информации.

Одним из основных преимуществ разговорных поисковых систем является их способность предоставлять обновления в реальном времени и понимание контекста. Интегрируя возможности извлечения информации с генеративными моделями, эти движки могут получать и включать последние данные из сети, гарантируя, что ответы являются актуальными и точными. Это решает одну из основных ограничений традиционных LLM, которые часто полагаются на устаревшие обучающие данные.

Кроме того, разговорные поисковые системы предлагают уровень прозрачности, которого лишены традиционные поисковые системы. Они напрямую соединяют пользователей с достоверными источниками, предоставляя четкие цитаты и ссылки на актуальный контент. Эта прозрачность способствует доверию и позволяет пользователям проверять информацию, получаемую ими, способствуя более информированному и критическому подходу к потреблению информации.

Разговорный поисковый движок против RAG

В настоящее время одним из наиболее часто используемых систем информационного извлечения, основанных на ИИ, является RAG. Хотя разговорные поисковые системы имеют сходства с RAG, они имеют ключевые различия, особенно в своих целях. Обе системы объединяют информационное извлечение с генеративными языковыми моделями для предоставления точных и контекстуально актуальных ответов. Они извлекают данные в реальном времени из внешних источников и интегрируют их в генеративный процесс, гарантируя, что сгенерированные ответы являются актуальными и полными.

Однако системы RAG, такие как Bing, фокусируются на объединении извлеченных данных с генеративными выводами для предоставления точной информации. Они не обладают возможностью последующих запросов, позволяющей пользователям систематически уточнять свои поиски. Напротив, разговорные поисковые системы, такие как прототип SearchGPT от OpenAI, вовлекают пользователей в диалог. Они используют передовые языковые модели для понимания и ответа на запросы в естественной манере, предлагая дополнительные вопросы и информацию для уточнения поиска.

Реальные примеры

Вот два реальных примера разговорных поисковых систем:

• Perplexity: Perplexity – это разговорный поисковый движок, позволяющий пользователям взаимодействовать естественно и контекстуально с информацией в Интернете. Он предлагает функции, такие как “Фокус” для сужения поиска до конкретных платформ, и “Связанные” для предложения дополнительных вопросов. Perplexity работает по модели фримиума, при которой базовая версия предлагает возможности LLM, а платная Perplexity Pro предоставляет передовые модели, такие как GPT-4 и Claude 3.5, а также улучшенное уточнение запросов и загрузку файлов.
• SearchGPT: OpenAI недавно представила SearchGPT, инструмент, который объединяет возможности разговора больших языковых моделей (LLM) с обновлениями веба в реальном времени. Это помогает пользователям получить доступ к актуальной информации более интуитивно и trực tiếp. В отличие от традиционных поисковых систем, которые могут быть перегруженными и безличными, SearchGPT предоставляет краткие ответы и вовлекает пользователей в разговор. Он может задавать дополнительные вопросы и предлагать дополнительную информацию по мере необходимости, что делает опыт поиска более интерактивным и удобным для пользователя. Одним из ключевых преимуществ SearchGPT является его прозрачность. Он напрямую соединяет пользователей с достоверными источниками, предлагая четкие цитаты и ссылки на актуальный контент. Это позволяет пользователям проверять информацию и более тщательно изучать темы.

Итог

Разговорные поисковые системы меняют способ, которым мы находим информацию в Интернете. Объединяя данные веба в реальном времени с передовыми языковыми моделями, эти новые системы решают многие ограничения устаревших больших языковых моделей (LLM) и традиционных поисков по ключевым словам. Они предоставляют более актуальную и точную информацию и улучшают прозрачность, соединяя пользователей напрямую с достоверными источниками. По мере того, как разговорные поисковые системы, такие как SearchGPT и Perplexity.ai, продолжают развиваться, они предлагают более интуитивный и надежный подход к поиску, выходящий за пределы ограничений старых методов.