Omdefiniera sökning: Hur framväxande konversationsmotorer övervinner föråldrade LLM och kontextlösa traditionella sökmotorer

Framväxten av konversationsbaserade sökmotorer omdefinierar hur vi hämtar information online, från traditionella nyckelordsbaserade sökningar till mer naturliga, konversationsbaserade interaktioner. Genom att kombinera stora språkmodeller (LLM) med realtidswebbdata adresserar dessa nya system nyckelproblem som finns i både föråldrade LLM och standard sökmotorer. I den här artikeln kommer vi att undersöka utmaningarna som LLM och nyckelordsbaserade sökningar möter och utforska hur konversationsbaserade sökmotorer erbjuder en lovande lösning.

Föråldrad kunskap och tillförlitlighetsutmaningar i LLM

Stora språkmodeller (LLM) har avsevärt förbättrat våra metoder för att komma åt och tolka information, men de möter en stor begränsning: deras oförmåga att tillhandahålla realtidsuppdateringar. Dessa modeller tränas på omfattande datamängder som innehåller text från böcker, artiklar och webbplatser. Men denna träningsdata återspeglar endast kunskap upp till den tidpunkt då den samlades in, vilket innebär att LLM inte kan uppdateras automatiskt med ny information. För att åtgärda detta måste LLM genomgå omträning, en process som är både resurskrävande och kostsam. Detta innefattar insamling och kurering av nya datamängder, omträning av modellen och validering av dess prestanda. Varje iteration kräver betydande beräkningskraft, energi och ekonomisk investering, vilket väcker bekymmer om miljöpåverkan på grund av betydande koldioxidutsläpp.

De statiska egenskaperna hos LLM leder ofta till felaktigheter i deras svar. När de ställs inför frågor om nyliga händelser eller utveckling kan dessa modeller generera svar baserade på föråldrad eller ofullständig information. Detta kan resultera i “ hallucinationer “, där modellen producerar felaktiga eller fabricerade fakta, vilket undergräver tillförlitligheten hos den tillhandahållna informationen. Dessutom, trots deras omfattande träningsdata, kämpar LLM för att förstå den fulla kontexten av aktuella händelser eller framväxande trender, vilket begränsar deras relevans och effektivitet.

En annan betydande brist hos LLM är bristen på citering eller källtransparens. Till skillnad från traditionella sökmotorer, som tillhandahåller länkar till ursprungliga källor, genererar LLM svar baserade på aggregerad information utan att specificera var den kommer ifrån. Denna brist på källor hindrar inte bara användarnas förmåga att verifiera informationens korrekthet utan begränsar också spårbarheten av innehållet, vilket gör det svårare att avgöra svarens tillförlitlighet. Följaktligen kan användare ha svårt att validera informationen eller utforska de ursprungliga källorna till innehållet.

Kontext och informationsöverbelastningsutmaningar i traditionella webbsökmotorer

Även om traditionella webbsökmotorer fortfarande är viktiga för att komma åt en stor mängd information, möter de flera utmaningar som påverkar resultaten och deras relevans. En stor utmaning med webbsökning är svårigheten att förstå kontext. Sökmotorer förlitar sig tungt på nyckelordsmatchning, vilket ofta leder till resultat som inte är kontextuellt relevanta. Detta innebär att användare får en översvämning av information som inte direkt besvarar deras specifika fråga, vilket gör det svårt att sålla igenom och hitta de mest relevanta svaren. Medan sökmotorer använder algoritmer för att ranka resultat, misslyckas de ofta med att tillhandahålla personliga svar baserade på en individs unika behov eller preferenser. Denna brist på personanpassning kan leda till generiska resultat som inte överensstämmer med användarens specifika kontext eller avsikter. Dessutom är sökmotorer mottagliga för manipulation genom SEO-spam och länkfarmar. Dessa metoder kan snedvrida resultaten och främja mindre relevanta eller lägre kvalitetsinnehåll till toppen av sökresultaten. Användare kan utsättas för vilseledande eller partiska uppgifter som ett resultat.

Framväxten av konversationsbaserad sökmotor

En konversationsbaserad sökmotor representerar en paradigmförändring i hur vi interagerar med och hämtar information online. Till skillnad från traditionella sökmotorer som förlitar sig på nyckelordsmatchning och algoritmisk rankning för att leverera resultat, använder konversationsbaserade sökmotorer avancerade språkmodeller för att förstå och svara på användarfrågor på ett naturligt, mänskligt sätt. Detta tillvägagångssätt syftar till att tillhandahålla ett mer intuitivt och effektivt sätt att hitta information genom att engagera användare i en dialog snarare än att presentera en lista med länkar.

Konversationsbaserade sökmotorer utnyttjar kraften hos stora språkmodeller (LLM) för att bearbeta och tolka kontexten av frågor, vilket möjliggör mer precisa och relevanta svar. Dessa motorer är utformade för att interagera dynamiskt med användare, ställa följdfrågor för att förfinade sökningar och erbjuda ytterligare information vid behov. Detta sätt förbättrar inte bara användarupplevelsen utan förbättrar också avsevärt kvaliteten på den hämtade informationen.

En av de primära fördelarna med konversationsbaserade sökmotorer är deras förmåga att tillhandahålla realtidsuppdateringar och kontextuell förståelse. Genom att integrera informationshämtning med generativa modeller kan dessa motorer hämta och inkorporera den senaste informationen från webben, vilket säkerställer att svaren är aktuella och korrekta. Detta åtgärdar en av de stora begränsningarna hos traditionella LLM, som ofta förlitar sig på föråldrad träningsdata.

Dessutom erbjuder konversationsbaserade sökmotorer en nivå av transparens som traditionella sökmotorer saknar. De kopplar användare direkt till trovärdiga källor, tillhandahåller tydliga citeringar och länkar till relevant innehåll. Denna transparens främjar förtroende och tillåter användare att validera den information de tar emot, vilket främjar en mer informerad och kritisk tillvägagångssätt för informationskonsumtion.

Konversationsbaserad sökmotor vs. Retrieval Augmented Generation (RAG)

För närvarande är en av de vanligaste AI-aktiverade informationshämtningsystemen känd som RAG. Medan konversationsbaserade sökmotorer delar likheter med RAG , har de nyckelskillnader, särskilt i sina mål. Båda systemen kombinerar informationshämtning med generativa språkmodeller för att tillhandahålla precisa och kontextuellt relevanta svar. De extraherar realtidsdata från externa källor och integrerar dem i den generativa processen, vilket säkerställer att de genererade svaren är aktuella och omfattande.

Men RAG-system, som Bing , fokuserar på att slå samman hämtad data med generativa utdata för att leverera exakt information. De besitter inte förmågan att ställa följdfrågor som tillåter användare att systematiskt förfinade sina sökningar. I kontrast engagerar konversationsbaserade sökmotorer, som OpenAI:s SearchGPT , användare i en dialog. De utnyttjar avancerade språkmodeller för att förstå och svara på frågor på ett naturligt sätt, erbjuda följdfrågor och ytterligare information för att förfinade sökningar.

Verkliga exempel

Här är två verkliga exempel på konversationsbaserade sökmotorer:

• Perplexity: Perplexity är en konversationsbaserad sökmotor som tillåter användare att interagera naturligt och kontextuellt med onlineinformation. Den erbjuder funktioner som “Fokus” för att begränsa sökningar till specifika plattformar och “Relaterad” för att föreslå följdfrågor. Perplexity fungerar på en freemium-modell, där den grundläggande versionen erbjuder fristående LLM-funktioner och den betalda Perplexity Pro tillhandahåller avancerade modeller som GPT-4 och Claude 3.5, samt förbättrad frågerefinition och filuppladdning.
• SearchGPT: OpenAI har nyligen introducerat SearchGPT, ett verktyg som slår samman konversationsförmågan hos stora språkmodeller (LLM) med realtidswebbuppdateringar. Detta hjälper användare att komma åt relevant information på ett mer intuitivt och direkt sätt. Till skillnad från traditionella sökmotorer, som kan vara överväldigande och opersonliga, tillhandahåller SearchGPT koncisa svar och engagerar användare i en konversation. Den kan ställa följdfrågor och erbjuda ytterligare information vid behov, vilket gör sökupplevelsen mer interaktiv och användarvänlig. En nyckelfunktion i SearchGPT är dess transparens. Den kopplar användare direkt till trovärdiga källor, tillhandahåller tydliga citeringar och länkar till relevant innehåll. Detta möjliggör för användare att validera information och utforska ämnen mer grundligt.

Sammanfattning

Konversationsbaserade sökmotorer omdefinierar hur vi hämtar information online. Genom att kombinera realtidswebbdata med avancerade språkmodeller adresserar dessa nya system många av de begränsningar som finns i föråldrade stora språkmodeller (LLM) och traditionella nyckelordsbaserade sökningar. De tillhandahåller mer aktuella och precisa svar och förbättrar transparensen genom att länka direkt till trovärdiga källor. Medan konversationsbaserade sökmotorer som SearchGPT och Perplexity.ai utvecklas, erbjuder de en mer intuitiv och tillförlitlig tillvägagångssätt för sökning, som går utöver begränsningarna hos äldre metoder.