Перевизначення пошуку: Як нові розмовні пошукові двигуни подолávají застарілі LLM та традиційні пошукові системи без контексту

Поява розмовних пошукових двигунів змінює спосіб, яким ми отримуємо інформацію в Інтернеті, переходячи від традиційних пошукових запитів до більш природніх, розмовних взаємодій. Об’єднуючи великі мовні моделі (LLM) з даними реального часу з вебу, ці нові системи вирішують ключові проблеми, знайдені як в застаріліх LLM, так і в стандартних пошукових системах. У цій статті ми розглянемо проблеми, з якими стикаються LLM та пошукові запити на основі ключових слів, і дослідимо, як розмовні пошукові двигуни пропонують перспективне рішення.

Застарілі знання та проблеми надійності в LLM

Великі мовні моделі (LLM) суттєво просунули наш метод доступу та інтерпретації інформації, але вони мають суттєву обмеження: їхня нездатність забезпечувати оновлення в реальному часі. Ці моделі тренуються на обширних наборах даних, які включають текст з книг, статей та веб-сайтів. Однак ці дані тренування відображають знання лише на момент їх збору, тобто LLM не можуть автоматично оновлюватися з новою інформацією. Для вирішення цієї проблеми LLM повинні проходити повторну підготовку, процес, який є як ресурсоємним, так і дорогим. Це включає збір та кураторство нових наборів даних, повторну підготовку моделі та перевірку її продуктивності. Кожен повтор потребує суттєвої обчислювальної потужності, енергії та фінансових інвестицій, що викликає занепокоєння щодо екологічного впливу через суттєві викиди вуглецю.

Статичний характер LLM часто призводить до неточностей у їхніх відповідях. Коли вони стикаються з запитами щодо недавніх подій чи розробок, ці моделі можуть генерувати відповіді на основі застарілої чи неповної інформації. Це може призвести до “галюцинацій“, де модель генерує неправильну чи сфабриковану інформацію, підірваючи надійність інформації, яку вони надають. Крім того, незважаючи на їхнє обширне тренування, LLM мають труднощі з повним розумінням контексту поточних подій чи нових тенденцій, обмежуючи їхню актуальність та ефективність.

Іншою суттєвою слабкістю LLM є їхня відсутність цитування чи прозорості джерел. На відміну від традиційних пошукових систем, які надають посилання на оригінальні джерела, LLM генерують відповіді на основі агрегованої інформації без вказівки на походження. Ця відсутність джерел не лише ускладнює користувачам можливість перевірити точність інформації, але й обмежує можливість відстежувати вміст, роблячи його складніше розрізняти надійність відповідей, які надаються. В результаті користувачі можуть знайти складнощі у верифікації інформації чи дослідженні оригінальних джерел вмісту.

Проблеми контексту та надмірної інформації в традиційних пошукових системах

Хоча традиційні пошукові системи залишаються важливими для доступу до широкого спектра інформації, вони стикаються з декількома проблемами, які впливають на якість та актуальність їхніх результатів. Однією з основних проблем традиційних пошукових систем є їхня трудність у розумінні контексту. Пошукові системи сильно залежать від співпадіння ключових слів, що часто призводить до результатів, які не мають контексту. Це означає, що користувачі отримують потік інформації, яка не безпосередньо відповідає на їхній запит, роблячи складно знайти найбільш актуальні відповіді. Хоча пошукові системи використовують алгоритми для ранжування результатів, вони часто не можуть надавати персоналізовані відповіді на основі індивідуальних потреб чи уподобань користувача. Ця відсутність персоналізації може призвести до загальних результатів, які не відповідають контексту чи намірам користувача. Крім того, пошукові системи вразливі до маніпуляцій через SEO-спам та ферми посилань. Ці практики можуть викривити результати, просуваючи менш актуальну чи низькоякісну інформацію до верхівки пошукових рейтингів. Користувачі можуть виявитися під впливом оманливої чи упередженої інформації в результаті.

Поява розмовного пошукового двигуна

Розмовний пошуковий двигун представляє собою зміну парадигми у способі взаємодії з інформацією в Інтернеті. На відміну від традиційних пошукових систем, які залежать від співпадіння ключових слів та алгоритмічного ранжування для надання результатів, розмовні пошукові двигуни використовують розширені мовні моделі для розуміння та відповіді на запити користувача природнім, людським чином. Цей підхід спрямований на забезпечення більш інтуїтивного та ефективного способу пошуку інформації шляхом взаємодії з користувачем у діалозі, а не шляхом надання списку посилань.

Розмовні пошукові двигуни використовують потужність великих мовних моделей (LLM) для обробки та інтерпретації контексту запитів, що дозволяє надавати більш точні та актуальні відповіді. Ці двигуни розроблені для динамічної взаємодії з користувачами, ставлячи додаткові питання для уточнення пошукових запитів та надаючи додаткову інформацію за потреби. Таким чином, вони не лише покращують досвід користувача, але й суттєво покращують якість отримуваної інформації.

Однією з основних переваг розмовних пошукових двигунів є їхня здатність забезпечувати оновлення в реальному часі та розуміння контексту. Інтегруючи можливості пошуку інформації з генеративними моделями, ці двигуни можуть отримувати та включати останні дані з вебу, забезпечуючи, що відповіді є поточними та точними. Це вирішує одну з основних обмежень традиційних LLM, які часто залежать від застарілого тренувального даних.

Крім того, розмовні пошукові двигуни пропонують рівень прозорості, якого бракує традиційним пошуковим системам. Вони безпосередньо зв’язують користувачів з достовірними джерелами, надаючи чіткі цитати та посилання на актуальний вміст. Ця прозорість сприяє довірі та дозволяє користувачам верифікувати інформацію, яку вони отримують, сприяючи більш інформованому та критичному підходу до споживання інформації.

Розмовний пошуковий двигун проти Retrieval Augmented Generation (RAG)

Зараз одним з поширених систем інформаційного пошуку, що використовує штучний інтелект, є система RAG. Хоча розмовні пошукові двигуни мають спільні риси з RAG, вони мають суттєві відмінності, особливо у своїх цілях. Обидві системи об’єднують пошук інформації з генеративними мовними моделями для надання точних та контекстно-актуальних відповідей. Вони витягують дані в реальному часі з зовнішніх джерел та інтегрують їх у генеративний процес, забезпечуючи, що згенеровані відповіді є поточними та повними.

Однак системи RAG, як наприклад Bing, зосереджені на об’єднанні витягнутих даних з генеративними виходами для надання точної інформації. Вони не мають можливості подальшого уточнення запитів, яке дозволяє користувачам систематично уточнювати свої запити. Натомість, розмовні пошукові двигуни, як наприклад SearchGPT від OpenAI, вступають у діалог з користувачами. Вони використовують розширені мовні моделі для розуміння та відповіді на запити природнім чином, пропонуючи подальші питання та додаткову інформацію для уточнення пошукових запитів.

Приклади з реального світу

Ось два приклади розмовних пошукових двигунів:

• Perplexity: Perplexity — це розмовний пошуковий двигун, який дозволяє користувачам взаємодіяти природнім та контекстним чином з онлайн-інформацією. Він пропонує функції, такі як “Фокус” для обмеження пошукових запитів до конкретних платформ, та “Пов’язане” для пропозиції подальших запитів. Perplexity працює за фріміум-моделлю, де базова версія пропонує окремі можливості LLM, а платна версія Perplexity Pro забезпечує розширені моделі, такі як GPT-4 та Claude 3.5, разом з покращеним уточненням запитів та завантаженням файлів.
• SearchGPT: OpenAI недавно представила SearchGPT, інструмент, який об’єднує розмовні можливості великих мовних моделей (LLM) з оновленнями вебу в реальному часі. Це допомагає користувачам отримувати актуальну інформацію більш інтуїтивно та прямим чином. На відміну від традиційних пошукових систем, які можуть бути перевантаженими та безособовими, SearchGPT надає лаконічні відповіді та вступає у розмову з користувачами. Він може ставити подальші питання та пропонувати додаткову інформацію за потреби, роблячи досвід пошуку більш інтерактивним та користувацьким. Однією з основних переваг SearchGPT є його прозорість. Він безпосередньо зв’язує користувачів з достовірними джерелами, пропонуючи чіткі цитати та посилання на актуальний вміст. Це дозволяє користувачам верифікувати інформацію та досліджувати теми більш детально.

Висновок

Розмовні пошукові двигуни змінюють спосіб, яким ми знаходимо інформацію в Інтернеті. Об’єднуючи дані в реальному часі з розширеними мовними моделями, ці нові системи вирішують багато обмежень застаріліх великих мовних моделей (LLM) та традиційних пошукових запитів на основі ключових слів. Вони забезпечують більш актуальну та точну інформацію та покращують прозорість, безпосередньо зв’язуючи користувачів з достовірними джерелами. По мірі розвитку розмовних пошукових двигунів, таких як SearchGPT та Perplexity.ai, вони пропонують більш інтуїтивний та надійний підхід до пошуку, виходячи за межі обмежень старих методів.