Omdefiniering av sökning: Hur nya konversationsbaserade sökmotorer övervinner föråldrade LLM och kontextlösa traditionella sökmotorer

Introduktionen av konversationsbaserade sökmotorer omdefinierar hur vi hämtar information online, från traditionella nyckelordsbaserade sökningar till mer naturliga och konversationsbaserade interaktioner. Genom att kombinera stora språkmodeller (LLM) med realtidswebbdata adresserar dessa nya system nyckelutmaningar som finns i både föråldrade LLM och standardiserade sökmotorer. I den här artikeln kommer vi att undersöka utmaningarna som LLM och nyckelordsbaserade sökningar står inför och utforska hur konversationsbaserade sökmotorer erbjuder en lovande lösning.

Föråldrad kunskap och tillförlitlighetsutmaningar i LLM

Stora språkmodeller (LLM) har avsevärt förbättrat våra metoder för att komma åt och tolka information, men de står inför en stor begränsning: deras oförmåga att tillhandahålla realtidsuppdateringar. Dessa modeller tränas på omfattande datamängder som innehåller text från böcker, artiklar och webbplatser. Emellertid speglar denna träningsdata endast kunskap upp till den tidpunkt då den samlades in, vilket innebär att LLM inte kan uppdateras automatiskt med ny information. För att åtgärda detta måste LLM genomgå omträning, en process som är både resurskrävande och kostsam. Detta innefattar insamling och kurering av nya datamängder, omträning av modellen och validering av dess prestanda. Varje iteration kräver betydande beräkningskraft, energi och ekonomisk investering, vilket väcker farhågor om miljöpåverkan på grund av betydande koldioxidutsläpp.

Den statiska naturen hos LLM leder ofta till felaktigheter i deras svar. När de ställs inför frågor om nyliga händelser eller utveckling kan dessa modeller generera svar baserade på föråldrad eller ofullständig information. Detta kan resultera i “hallucinationer“, där modellen producerar felaktig eller fabricerad information, vilket undergräver tillförlitligheten hos den information som tillhandahålls. Dessutom har LLM, trots deras omfattande träningsdata, svårt att förstå den fulla kontexten av aktuella händelser eller framväxande trender, vilket begränsar deras relevans och effektivitet.

En annan betydande brist hos LLM är deras brist på citat eller källtransparens. Till skillnad från traditionella sökmotorer, som tillhandahåller länkar till ursprungliga källor, genererar LLM svar baserade på aggregerad information utan att specificera var den kommer ifrån. Denna avsaknad av källor hindrar inte bara användarnas förmåga att verifiera informationens tillförlitlighet utan begränsar också spårbarheten av innehållet, vilket gör det svårt att avgöra tillförlitligheten hos de svar som tillhandahålls. Följaktligen kan användare ha svårt att validera informationen eller undersöka de ursprungliga källorna till innehållet.

Kontext- och informationsöverbelastningsutmaningar i traditionella webbsökmotorer

Även om traditionella webbsökmotorer fortfarande är viktiga för att komma åt en stor mängd information, står de inför flera utmaningar som påverkar kvaliteten och relevansen hos deras resultat. En stor utmaning med denna webbsökning är dess svårighet att förstå kontext. Sökmotorer förlitar sig tungt på nyckelordsmatchning, vilket ofta leder till resultat som inte är kontextuellt relevanta. Detta innebär att användare får en flod av information som inte direkt besvarar deras specifika fråga, vilket gör det svårt att filtrera och hitta de mest relevanta svaren. Medan sökmotorer använder algoritmer för att ranka resultat, misslyckas de ofta med att tillhandahålla personliga svar baserade på en persons unika behov eller preferenser. Denna brist på personanpassning kan leda till generiska resultat som inte överensstämmer med användarens specifika kontext eller avsikter. Dessutom är sökmotorer mottagliga för manipulation genom SEO-spamning och länkfarmar. Dessa metoder kan snedvrida resultaten och främja mindre relevanta eller lågkvalitativa innehåll till toppen av sökresultaten. Användare kan utsättas för vilseledande eller partiska uppgifter som ett resultat.

Uppkomsten av konversationsbaserad sökmotor

En konversationsbaserad sökmotor representerar en paradigmskiftning i hur vi interagerar med och hämtar information online. Till skillnad från traditionella sökmotorer som förlitar sig på nyckelordsmatchning och algoritmisk rankning för att tillhandahålla resultat, använder konversationsbaserade sökmotorer avancerade språkmodeller för att förstå och svara på användarfrågor på ett naturligt och mänskligt sätt. Detta tillvägagångssätt syftar till att tillhandahålla en mer intuitiv och effektiv metod för att hitta information genom att engagera användare i en dialog snarare än att presentera en lista med länkar.

Konversationsbaserade sökmotorer använder kraften hos stora språkmodeller (LLM) för att bearbeta och tolka kontexten av frågor, vilket möjliggör mer exakta och relevanta svar. Dessa motorer är utformade för att interagera dynamiskt med användare, ställa följdfrågor för att förfinade sökningar och erbjuda ytterligare information vid behov. På detta sätt förbättrar de inte bara användarupplevelsen utan förbättrar också avsevärt kvaliteten på den information som hämtas.

En av de primära fördelarna med konversationsbaserade sökmotorer är deras förmåga att tillhandahålla realtidsuppdateringar och kontextuell förståelse. Genom att integrera informationshämtning med generativa modeller kan dessa motorer hämta och inkorporera den senaste informationen från webben, vilket säkerställer att svaren är aktuella och exakta. Detta åtgärdar en av de största begränsningarna hos traditionella LLM, som ofta förlitar sig på föråldrad träningsdata.

Dessutom erbjuder konversationsbaserade sökmotorer en nivå av transparens som traditionella sökmotorer saknar. De kopplar användare direkt till trovärdiga källor, tillhandahåller tydliga citat och länkar till relevant innehåll. Denna transparens främjar förtroende och tillåter användare att validera den information de får, vilket främjar en mer informerad och kritisk inställning till informationskonsumtion.

Konversationsbaserad sökmotor vs. Retrieval Augmented Generation (RAG)

För närvarande är en av de vanligaste AI-aktiverade informationshämtningssystemen känd som RAG. Medan konversationsbaserade sökmotorer delar likheter med RAG, har de nyckelskillnader, särskilt i sina mål. Båda systemen kombinerar informationshämtning med generativa språkmodeller för att tillhandahålla exakta och kontextuellt relevanta svar. De extraherar realtidsdata från externa källor och integrerar dem i den generativa processen, vilket säkerställer att de genererade svaren är aktuella och omfattande.

Men RAG-system, som Bing, fokuserar på att slå samman hämtad data med generativa utdata för att leverera exakt information. De besitter inte förmågan att ställa följdfrågor som tillåter användare att systematiskt förfinade sina sökningar. I kontrast engagerar konversationsbaserade sökmotorer, som OpenAI:s SearchGPT, användare i en dialog. De använder avancerade språkmodeller för att förstå och svara på frågor på ett naturligt sätt, erbjuda följdfrågor och ytterligare information för att förfinade sökningar.

Verkliga exempel

Här är två verkliga exempel på konversationsbaserade sökmotorer:

• Perplexity: Perplexity är en konversationsbaserad sökmotor som tillåter användare att interagera naturligt och kontextuellt med onlineinformation. Den erbjuder funktioner som “Fokus” för att begränsa sökningar till specifika plattformar och “Relaterad” för att föreslå följdfrågor. Perplexity fungerar på en freemium-modell, där den grundläggande versionen erbjuder fristående LLM-funktioner och den betalda Perplexity Pro erbjuder avancerade modeller som GPT-4 och Claude 3.5, tillsammans med förbättrad sökrefinering och filuppladdning.
• SearchGPT: OpenAI har nyligen introducerat SearchGPT, ett verktyg som slår samman konversationsförmågan hos stora språkmodeller (LLM) med realtidswebbuppdateringar. Detta hjälper användare att komma åt relevant information på ett mer intuitivt och enkelt sätt. Till skillnad från traditionella sökmotorer, som kan vara överväldigande och opersonliga, tillhandahåller SearchGPT koncisa svar och engagerar användare i en konversation. Den kan ställa följdfrågor och erbjuda ytterligare information vid behov, vilket gör sökupplevelsen mer interaktiv och användarvänlig. En nyckelfunktion i SearchGPT är dess transparens. Den kopplar användare direkt till trovärdiga källor, tillhandahåller tydliga citat och länkar till relevant innehåll. Detta möjliggör för användare att validera information och undersöka ämnen mer grundligt.

Slutsatsen

Konversationsbaserade sökmotorer omformar hur vi hittar information online. Genom att kombinera realtidswebbdata med avancerade språkmodeller adresserar dessa nya system många av de begränsningar som finns hos föråldrade stora språkmodeller (LLM) och traditionella nyckelordsbaserade sökningar. De tillhandahåller mer aktuell och exakt information och förbättrar transparensen genom att länka direkt till trovärdiga källor. När konversationsbaserade sökmotorer som SearchGPT och Perplexity.ai utvecklas erbjuder de en mer intuitiv och tillförlitlig metod för att söka, som går bortom begränsningarna hos äldre metoder.