Prompt engineering

Kehotesuunnittelun perusteista edistyneisiin tekniikoihin LangChainilla Pythonissa

Aayush Mittal
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatLangChain standardisoi LLM-integraation modulaarisella arkkitehtuurilla, joka koostuu…
Näytä lisää
  • LangChain standardisoi LLM-integraation modulaarisella arkkitehtuurilla, joka koostuu ketjuista, agenteista ja muistista.
  • Edistynyt kehote-insinööry LangChainissa hyödyntää rakenteellisia malleja ja kuvioita, kuten ReActia, ohjatakseen mallin päättelyä.
  • LangChain voittaa LLM-rajoitteet yhdistämällä mallit ulkoisiin työkaluihin ja tietolähteisiin agenttien kautta.

Suurten kielimallien (LLM) tärkeä ominaisuus on mallien käyttämien parametrien määrä. Mitä enemmän parametreja malli käyttää, sitä paremmin se ymmärtää sanojen ja lauseiden välisen suhteen. Tämä tarkoittaa, että miljardeja parametreja käyttävillä malleilla on kyky generoida erilaisia luovia tekstiformaatteja ja vastata avoimiin ja haastaviin kysymyksiin informatiivisesti.

LLM:t, kuten ChatGPT, jotka käyttävät Transformer-mallia, ovat taitavia ymmärtämään ja generoimaan ihmisen kieltä, mikä tekee niistä hyödyllisiä sovelluksissa, jotka vaativat luonnollisen kielen ymmärtämistä. Niillä on kuitenkin rajoituksia, kuten vanhentunut tietämys, kyvyttömyys vuorovaikuttaa ulkoisten järjestelmien kanssa, kontekstin ymmärtämisen puute ja joskus luomalla uskottavilta kuulostavia mutta virheellisiä tai järjettömiä vastauksia.

Näiden rajoitusten käsittely vaatii LLM:ien integroimista ulkoisten tietolähteiden ja ominaisuuksien kanssa, mikä voi olla monimutkaista ja vaatia laajaa koodaamista ja tietojen käsittelytaitoja. Tämä yhdistettynä AI-käsitteiden ja monimutkaisten algoritmien ymmärtämisen haasteisiin, vaikuttaa sovellusten kehittämiseen liittyvään oppimiskäyrään.

LLM:ien yhdistäminen muihin työkaluihin LLM-pohjaisiksi sovelluksiksi voi kuitenkin muuttaa digitaalista maisemaamme. Näiden sovellusten potentiaali on laaja, kattaa tehokkuuden ja tuottavuuden parantamisen, tehtävien yksinkertaisen, päätöksenteon parantamisen ja henkilökohtaisten kokemusten tarjoamisen.

Tässä artikkelissa tutkimme näitä kysymyksiä syvemmältä, käsittelemällä edistyneitä kehotesuunnittelutekniikoita Langchainilla, tarjoamalla selkeitä selityksiä, käytännön esimerkkejä ja vaiheittaisia ohjeita niiden toteuttamiseksi.

Langchain on edistynyt kirjasto, joka helpottaa kehotteiden suunnittelua, toteutusta ja hienosäätöä. Kun pureudumme kehotesuunnittelun periaatteisiin ja käytäntöihin, opit käyttämään Langchainin voimakkaita ominaisuuksia hyödyntääksesi SOTA-generatiivisen AI-mallin GPT-4 vahvuuksia.

Kehotteiden ymmärtäminen

Ennen kuin tutkimme kehotesuunnittelun tekniikkaa, on tärkeää ymmärtää kehotteen käsite ja sen merkitys.

Kehote on tokenien jono, jota käytetään syötteenä kielen malliin, joka ohjaa sitä generoimaan tietynlaisen vastauksen. Kehotteet ovat avainasemassa mallin käyttäytymisen ohjaamisessa. Se voi vaikuttaa generoidun tekstin laatuun, ja kun se on suunniteltu oikein, se voi auttaa mallia antamaan tarkkoja ja kontekstisidonnaisia tuloksia.

Kehotesuunnittelu on tehokkaiden kehotteiden suunnittelun taidetta ja tiedettä. Tavoitteena on saada haluttu tuloste kielimallista. Valitsemalla ja rakentelemalla kehotteita, voidaan ohjata mallia generoimaan tarkempia ja relevantimpia vastauksia. Käytännössä tämä vaatii input-lauseiden hienosäätöä mallin koulutuksen ja rakenteellisten harhaumuksien mukaisesti.

Kehotesuunnittelun monimutkaisuus vaihtelee yksinkertaisista tekniikoista, kuten syöttämällä mallille asiaankuuluvia avainsanoja, monimutkaisempiin menetelmiin, jotka liittyvät monimutkaisten kehoterakenteiden suunnitteluun, jotka hyödyntävät mallin sisäisiä mekaniikkoja.

Langchain: Nopein kasvava kehotesuunnittelutyökalu

LangChain, joka lanseerattiin lokakuussa 2022 Harrison Chasen toimesta, on yksi GitHubin parhaiten arvioiduista avoimen lähdekoodin kehyksistä vuonna 2023. Se tarjoaa yksinkertaisen ja standardoidun rajapinnan Suurten kielimallien (LLM) integroimiseksi sovelluksiin. Se tarjoaa myös ominaisuusrikkauksen kehotesuunnittelun käyttöliittymän, joka mahdollistaa kehittäjille kokeilla eri strategioita ja arvioida tuloksia. Käyttämällä Langchainia, voit suorittaa kehotesuunnittelutehtäviä tehokkaammin ja intuitiivisemmin.

LangFlow toimii LangChain-komponenttien orkesteroinnin käyttöliittymänä, joka mahdollistaa nopean prototyyppien ja kokeilujen toteuttamisen.

LangChain täyttää tärkeän aukon AI-kehityksessä joukkoihin. Se mahdollistaa joukon NLP-sovelluksia, kuten virtuaaliavustajia, sisällön luojia, kysymys-vastaus-järjestelmiä ja muita, ratkaisemaan joukon todellisia maailman ongelmia.

LangChain ei ole itsenäinen malli tai tarjoaja, vaan se yksinkertaa vuorovaikutusta monien mallien kanssa, laajentaen LLM-sovellusten kykyjä yksinkertaisen API-kutsun rajoituksista.

LangChainin Arkkitehtuuri

 

LangChainin pääkomponentit ovat Model I/O, kehotemallit, Muisti, Agentit ja Ketjut.

Model I/O

LangChain mahdollistaa vaivattoman yhteyden eri kielen malleihin standardoidun rajapinnan avulla, jota kutsutaan Model I/O:ksi. Tämä mahdollistaa mallin vaihdon optimoimiseksi tai paremman suorituskyvyn saavuttamiseksi. LangChain tukee useita kielimallin tarjoajia, kuten OpenAI, HuggingFace, Azure, Fireworks ja muita.

Kehotemallit

Näillä hallitaan ja optimoidaan vuorovaikutusta suurten kielimallien kanssa antamalla täsmällisiä ohjeita tai esimerkkejä. Kehotteiden optimointi parantaa mallin suorituskykyä. Kehotemallien joustavuus vaikuttaa merkittävästi syötteen prosessiin.

Yksinkertainen esimerkki kehotemallista:


from langchain.prompts import PromptTemplate
prompt = PromptTemplate(input_variables=["subject"],
template="What are the recent advancements in the field of {subject}?")
print(prompt.format(subject="Natural Language Processing"))

Kun edetään monimutkaisuuden kanssa, kohtaamme LangChainissa monimutkaisempia malleja, kuten Reason and Act (ReAct) -mallin. ReAct on tärkeä malli toiminnan suorittamiseksi, jossa agentti määrittää tehtävän sovellettavalle työkalulle, mukauttaa syötteen sille ja tulkitsee tulosteen suorittaa tehtävä.

PREFIX = """Answer the following question using the given tools:"""
FORMAT_INSTRUCTIONS = """Follow this format:
Question: {input_question}
Thought: your initial thought on the question
Action: your chosen action from [{tool_names}]
Action Input: your input for the action
Observation: the action's outcome"""
SUFFIX = """Start!
Question: {input}
Thought:{agent_scratchpad}"""

Muisti

Muisti on kriittinen käsite LangChainissa, joka mahdollistaa LLM:ille ja työkaluille tallentaa tietoa ajan myötä. Tämä tilallinen käyttäytyminen parantaa LangChain-sovellusten suorituskykyä tallentamalla aiemmat vastaukset, käyttäjän vuorovaikutukset, ympäristön tilan ja agentin tavoitteet. ConversationBufferMemory- ja ConversationBufferWindowMemory-strategiat auttavat seuraamaan koko tai viimeaikaisen osan keskustelusta. Monimutkaisemman lähestymistavan osalta ConversationKGMemory-strategia mahdollistaa koodaamisen keskustelun tietämysgrafiiksi, joka voidaan syöttää takaisin kehotteisiin tai käyttää vastausten ennustamiseen ilman LLM:n kutsua.

Agentit

Agentti vuorovaikuttaa maailman kanssa suorittamalla toimintoja ja tehtäviä. LangChainissa agentit yhdistävät työkalut ja ketjut tehtävien suorittamiseksi. Se voi myös muodostaa yhteyden ulkomaailmaan tietojen hakemiseksi LLM:ien tietämyksen täydentämiseksi, jolloin niiden sisäiset rajoitukset voidaan voittaa. Ne voivat päättää siirtää laskelmat laskimeen tai Python-tulkkiin tilanteen mukaan.

Agentit ovat varustettu alikomponenteilla:

  • Työkalut: Nämä ovat toiminnallisia komponentteja.
  • Työkalupakit: Työkalujen kokoelmat.
  • Agenttien suorittimet: Tämä on suoritusrunko, joka mahdollistaa työkalujen valinnan.

LangChainin agentit seuraavat myös Zero-shot ReAct -mallia, jossa päätös perustuu vain työkalun kuvaus. Tätä mekanismia voidaan laajentaa muistilla, jotta voidaan ottaa huomioon koko keskustelun historia. ReActin avulla kielimallia pyydetään vastaamaan ajatus–toiminta–havainto-silmukassa sen sijaan, että sitä pyydettäisiin vain täydentämään tekstiä.

Ketjut

Ketjut, kuten termi viittaa, ovat operaatioiden jonoja, jotka mahdollistavat LangChain-kirjastolle kielimallin syötteen ja tulosteen prosessoinnin vaivattomasti. Nämä LangChainin perusrakenteelliset komponentit koostuvat perimmältään linkkeistä, jotka voivat olla muita ketjuja tai primitiivejä, kuten kehotteita, kielen malleja tai työkaluja.

Kuvittele ketju kuin tehtaan kuljetinvyö. Jokainen askel vyöllä edustaa tiettyä operaatiota, joka voi olla kielimallin kutsu, Python-funktion soveltaminen tekstiin tai ohjelmointi mallille tiettyä tyyliä.

LangChain luokittelee ketjut kolmeen tyyppiin: Utility-ketjut, Generic-ketjut ja Combine Documents -ketjut. Tässä keskitymme Utility- ja Generic-ketjuihin.

  • Utility-ketjut on suunniteltu erityisesti tarkasti määriteltyjen tehtävien suorittamiseen, kuten tietyn tiedon hakeminen kielimallista. Esimerkiksi LLMMathChain on utility-ketju, joka mahdollistaa kielimallien suorittaa matemaattisia laskelmia. Se hyväksyy luonnollisen kielen kysymyksen ja kielen malli generoi Python-koodinpätkän, joka suoritetaan tuottamaan vastaus.
  • Generic-ketjut toimivat rakennuspalikkoina muiden ketjujen luomiseksi, mutta ne eivät ole itsessään suoraan käytettävissä. Nämä ketjut, kuten LLMChain, ovat perusrakenteellisia ja usein yhdistetty muihin ketjuihin suorittamaan monimutkaisia tehtäviä. Esimerkiksi LLMChain käytetään usein kielimallin kysymiseen muotoilemalla syöte annetun kehotemallin mukaan ja siirtämällä sen kielimallille.

Kehotesuunnittelu Langchainilla vaihe vaiheelta

Opastamme kehotesuunnittelun toteuttamisessa Langchainilla. Ennen jatkamista, varmista, että olet asentanut tarvittavat ohjelmistot ja paketit.

Voit hyödyntää suosittuja työkaluja, kuten Docker, Conda, Pip ja Poetry, asentaaksesi LangChainin. Asiaankuuluvat asennustiedostot näille menetelmille löytyvät LangChain-repositoriosta osoitteessa https://github.com/benman1/generative_ai_with_langchain. Tämä sisältää Dockerfile:n Dockeriin, requirements.txt:n Pipiin, pyproject.toml:n Poetryyn ja langchain_ai.yml-tiedoston Condaan.

Artikkelissamme käytämme Pipiä, Pythonin standardia pakettienhallintaa, helpottamaan kolmannen osapuolen kirjastojen asentamista ja hallintaa. Jos Pip ei ole mukana Python-jakelussasi, voit asentaa sen seuraamalla ohjeita osoitteessa https://pip.pypa.io/.

Pipillä asennetaan kirjasto komennolla pip install kirjaston_nimi.

Pip kuitenkin ei hallitse ympäristöjä itsessään. Ympäristöjen hallintaan käytetään virtualenv-työkalua.

Seuraavassa osiossa käsittelemme mallien integrointia.

Vaihe 1: Langchainin asentaminen

Ensimmäiseksi on asennettava Langchain-paketti. Käytämme Windows-käyttöjärjestelmää. Suorita seuraava komento terminaalissa asentaaksesi sen:


pip install langchain

Vaihe 2: Langchainin ja muiden tarvittavien moduulien tuonti

Seuraavaksi tuodaan Langchain yhdessä muiden tarvittavien moduulien kanssa. Tässä tuomme myös transformers-kirjaston, jota käytetään laajasti NLP-tehtävissä.


import langchain
from transformers import AutoModelWithLMHead, AutoTokenizer

Vaihe 3: Esikoulutetun mallin lataaminen

Open AI

OpenAI-mallit voidaan käyttää helposti LangChain-kirjaston tai OpenAI Python -asiakasohjelmiston kautta. OpenAI tarjoaa myös upotusluokan tekstiupotusmalleille. Kaksi tärkeää LLM-mallia ovat GPT-3.5 ja GPT-4, jotka eroavat lähinnä tokenin pituudessa. Kunkin mallin hinta on saatavilla OpenAI:n verkkosivuilta. On olemassa myös monimutkaisempia malleja, kuten GPT-4-32K, joilla on suurempi tokenin hyväksymiskyky, mutta niiden saatavuus API-kautta ei ole aina taattu.

Näiden mallien käyttäminen vaatii OpenAI-API-avaimen. Tämä voidaan tehdä luomalla tili OpenAI:n alustalla, asettamalla laskutustiedot ja luomalla uuden salaisen avaimen.


import os
os.environ["OPENAI_API_KEY"] = 'your-openai-token'

Avaimen luomisen jälkeen voit asettaa sen ympäristömuuttujaksi (OPENAI_API_KEY) tai antaa sen parametrina luokan instanssien luomisessa OpenAI-kutsuissa.

Tarkastellaan Langchain-komentosarjaa, joka havainnollistaa vuorovaikutusta OpenAI-mallien kanssa:

from langchain.llms import OpenAI
llm = OpenAI(model_name="text-davinci-003")
# The LLM takes a prompt as an input and outputs a completion
prompt = "who is the president of the United States of America?"
completion = llm(prompt)

<p>Yhdysvaltain nykyinen presidentti on Joe Biden.</p>

Tässä esimerkissä alustetaan agentti suorittaakseen laskelmia. Agentti ottaa syötteen, yksinkertaisen laskutehtävän, prosessoi sen käyttämällä tarjoiltua OpenAI-mallia ja palauttaa tuloksen.

Hugging

Hugging Face on ILMAISESTI KÄYTETTÄVÄ Transformers Python -kirjasto, joka on yhteensopiva PyTorchin, TensorFlowin ja JAXin kanssa, ja se sisältää malleja kuten BERT ja T5.

Hugging Face tarjoaa myös Hugging Face Hubin, joka on alusta koodirepositorioille, koneoppimismalleille, tietokannoille ja web-sovelluksille.

Jotta voit käyttää Hugging Facea mallien tarjoajana, sinun on oltava tililläsi ja API-avaimet, jotka saat heidän verkkosivuiltaan. Token voidaan tehdä saataville ympäristössäsi HUGGINGFACEHUB_API_TOKEN-nimellä.

Tarkastellaan seuraavaa Python-koodinpätkää, joka käyttää avoimen lähdekoodin mallia, jota on kehittänyt Google (GOOGL ), Flan-T5-XXL-mallia:

from langchain.llms import HuggingFaceHub

llm = HuggingFaceHub(model_kwargs={&amp;quot;temperature&amp;quot;: 0.5, &amp;quot;max_length&amp;quot;: 64},repo_id=&amp;quot;google/flan-t5-xxl&amp;quot;)
prompt = &amp;quot;In which country is Tokyo?&amp;quot;
completion = llm(prompt)
print(completion)

Tämä koodi ottaa kysymyksen syötteenä ja palauttaa vastauksen, osoittaen mallin tietämys- ja ennustuskykyä.

Vaihe 4: Kehotesuunnittelun perusteet

Aloitamme generoimalla yksinkertaisen kehotteen ja tarkastelemalla, miten malli reagoi.

prompt = &#039;Translate the following English text to French: &amp;quot;{0}&amp;quot;&#039;
input_text = &#039;Hello, how are you?&#039;
input_ids = tokenizer.encode(prompt.format(input_text), return_tensors=&#039;pt&#039;)

generated_ids = model.generate(input_ids, max_length=100, temperature=0.9)
print(tokenizer.decode(generated_ids[0], skip_special_tokens=True))

Yllä olevassa koodinpätkässä annamme kehotteen kääntää englanninkielisen tekstin ranskaan. Kielen malli yrittää kääntää annetun tekstin kehotteen perusteella.

Vaihe 5: Edistynyt kehotesuunnittelu

Vaikka edellinen lähestymistapa toimii hyvin, se ei hyödyntää ohjelmoinnin voimaa täysimääräisesti. Parannetaan sitä esittelemällä monimutkaisempia ohjelmointirakenteita.

prompt = &#039;As a highly proficient French translator, translate the following English text to French: &amp;quot;{0}&amp;quot;&#039;
input_text = &#039;Hello, how are you?&#039;
input_ids = tokenizer.encode(prompt.format(input_text), return_tensors=&#039;pt&#039;)

generated_ids = model.generate(input_ids, max_length=100, temperature=0.9)
print(tokenizer.decode(generated_ids[0], skip_special_tokens=True))

Tässä koodinpätkässä muokkaamme kehotetta viitatessa siihen, että käännös tehdään “erittäin perehtyneen ranskan kääntäjän” toimesta. Kehotteen muutos voi johtaa parantuneisiin käännöksiin, koska malli olettaa asiantuntijan roolin.

Akateemisen kirjallisuuden kysymys-vastaus-järjestelmän rakentaminen Langchainilla

Rakennamme akateemisen kirjallisuuden kysymys-vastaus-järjestelmän Langchainilla, joka voi vastata kysymyksiin viimeaikaisista akateemisista artikkeleista.

Ensinnäkin, asetamme ympäristömme asentamalla tarvittavat riippuvuudet.

pip install langchain arxiv openai transformers faiss-cpu

Asennuksen jälkeen luomme uuden Python-muistion ja tuomme tarvittavat kirjastot:

from langchain.llms import OpenAI
from langchain.chains.qa_with_sources import load_qa_with_sources_chain
from langchain.docstore.document import Document
import arxiv

Järjestelmämme kysymys-vastaus-ydin on kyky hakea relevantteja akateemisia artikkeleita tietystä aihealueesta, tässä tapauksessa Luonnollisen kielen prosessoinnista (NLP), käyttäen arXiv-akateemista tietokantaa. Määrittelemme funktion get_arxiv_data(max_results=10) hakemaan viimeisimmät NLP-aiheiset artikkelien tiivistelmät arXivista ja koodaamaan ne LangChain-dokumentti-olioiksi, käyttäen tiivistelmää sisällönä ja yksilöivää entry-id:tä lähteenä.

Käytämme arXiv API:aa hakemaan viimeaikaiset artikkelit, jotka liittyvät NLP:ään:


def get_arxiv_data(max_results=10):
    search = arxiv.Search(
        query=&amp;quot;NLP&amp;quot;,
        max_results=max_results,
        sort_by=arxiv.SortCriterion.SubmittedDate,
    )
   
    documents = []
   
    for result in search.results():
        documents.append(Document(
            page_content=result.summary,
            metadata={&amp;quot;source&amp;quot;: result.entry_id},
        ))

    return documents

Tämä funktio hakee viimeisimmät NLP-aiheiset artikkeleiden tiivistelmät arXivista ja muuttaa ne LangChain-dokumentti-olioiksi. Käytämme artikkelin tiivistelmää ja yksilöivää entry-id:tä (URL:ia artikkeliin) sisällönä ja lähteenä.

def print_answer(question):
    print(
        chain(
            {
                &amp;quot;input_documents&amp;quot;: sources,
                &amp;quot;question&amp;quot;: question,
            },
            return_only_outputs=True,
        )[&amp;quot;output_text&amp;quot;]
    )                 

Määrittelemme korpukseni ja asetamme LangChainin:

sources = get_arxiv_data(2)
chain = load_qa_with_sources_chain(OpenAI(temperature=0))

Kun akateeminen kysymys-vastaus-järjestelmämme on valmis, voimme testata sitä kysymällä:

print_answer(&amp;quot;What are the recent advancements in NLP?&amp;quot;)

Vastaus on kysymyksiisi, mainiten lähteet, joista tieto on haettu. Esimerkiksi:


<p>Viimeaikaiset edistysaskeleet NLP:ssä ovat mm. Retriever-augmentoidut ohjeiden seuraamisen mallit ja uusi laskennallinen kehys ACOPF-ongelmien ratkaisemiseksi grafiikkaprosessoreiden avulla.
LÄHTEET: http://arxiv.org/abs/2307.16877v1, http://arxiv.org/abs/2307.16830v1

Voit helposti vaihtaa malleja tai muuttaa järjestelmää tarpeidesi mukaan. Esimerkiksi tässä vaihdamme GPT-4:ään, joka johtaa paljon parempiin ja yksityiskohtaisempiin vastauksiin.

sources = get_arxiv_data(2)
chain = load_qa_with_sources_chain(OpenAI(model_name=&amp;quot;gpt-4&amp;quot;,temperature=0))

<p>Viimeaikaiset edistysaskeleet Luonnollisen kielen prosessoinnissa (NLP) käsittävät mm. Retriever-augmentoidun ohjeiden seuraamisen malleja tietohakuun ja kysymys-vastaus-tehtäviin. Nämä mallit voidaan sovittaa eri tietoalueisiin ja tehtäviin ilman lisäkoulutusta. Niillä on kuitenkin vaikeuksia pysyä annetun tiedon puitteissa ja ne voivat tuottaa hallusinaatioita vastauksissaan. Toinen edistysaskel on laskennallisen kehyksen esittely ACOPF-ongelmien ratkaisemiseksi grafiikkaprosessoreiden avulla. Tämä lähestymistapa käyttää yhden käskyn ja usean datan (SIMD) abstraktiota epälineaarisille ohjelmille ja soveltaa tiivistettyä sisäistä pistettä (IPM) epäyhtälön rentoutusstrategialla. Tämä strategia mahdollistaa KKT-matriisin tekijöiden tekemisen ilman numeerista kääntämistä, mikä on aiemmin haitannut IPM-algoritmin rinnakkaisuutta.
LÄHTEET: http://arxiv.org/abs/2307.16877v1, http://arxiv.org/abs/2307.16830v1

GPT-4:ssa yksi token voi olla yhtä lyhyt kuin yksi merkki tai yhtä pitkä kuin yksi sana. Esimerkiksi GPT-4-32K voi prosessoida jopa 32 000 tokenia yhdellä suorituksella, kun taas GPT-4-8K ja GPT-3.5-turbo tukevat 8 000 ja 4 000 tokenia vastaavasti. On kuitenkin huomattava, että jokainen vuorovaikutus näiden mallien kanssa on suoraan verrannollinen tokenien määrään, olivat ne syötteitä tai tulostetta.

Kysymys-vastaus-järjestelmässämme, jos akateeminen kirjallisuus ylittää maksimitokenin, järjestelmä ei pysty prosessoimaan sitä kokonaisuudessaan, mikä vaikuttaa vastausten laatuun ja täydellisyyteen.

FAISS (Facebook AI Similarity Search) (META ) auttaa nopeasti löytämään tekstin paloja, jotka ovat eniten vastaavia käyttäjän kysymykselle. Se luo vektoriesityksen kustakin tekstin palasta ja käyttää näitä vektoreita löytääkseen ja hakemaan palat, jotka ovat eniten samankaltaisia kysymyksen vektoriesityksen kanssa.

On kuitenkin muistettava, että vaikka FAISS:ia käytetään, tekstin jakaminen pienempiin osiin tokenin rajoitusten vuoksi voi johtaa kontekstin menetykseen, mikä vaikuttaa vastausten laatuun. Siksi tokenien käytön huolellinen hallinta on tärkeää työskennellessä näiden suurten kielimallien kanssa.

 
pip install faiss-cpu langchain CharacterTextSplitter

Asennuksen jälkeen suoritetaan

 
from langchain.embeddings.openai import OpenAIEmbeddings 
from langchain.vectorstores.faiss import FAISS 
from langchain.text_splitter import CharacterTextSplitter 
documents = get_arxiv_data(max_results=10) # We can now use feed more data
document_chunks = []
splitter = CharacterTextSplitter(separator=&amp;quot; &amp;quot;, chunk_size=1024, chunk_overlap=0)
for document in documents:
    for chunk in splitter.split_text(document.page_content):
        document_chunks.append(Document(page_content=chunk, metadata=document.metadata))

search_index = FAISS.from_documents(document_chunks, OpenAIEmbeddings())

chain = load_qa_with_sources_chain(OpenAI(temperature=0))

def print_answer(question):
    print(
        chain(
            {
                &amp;quot;input_documents&amp;quot;: search_index.similarity_search(question, k=4),
                &amp;quot;question&amp;quot;: question,
            },
            return_only_outputs=True,
        )[&amp;quot;output_text&amp;quot;]
    )

Kun koodi on valmis, meillä on voimakas työkalu viimeisimmän akateemisen kirjallisuuden kyselyyn NLP-aihealueella.

Viimeaikaiset edistysaskeleet NLP:ssä käsittävät syvän neuroverkon (DNN) automaattiseen tekstin analyysiin ja NLP-tehtäviin, kuten oikolukuun, kielen tunnistamiseen, yksikön havaitsemiseen, kirjailijan tunnistamiseen, kysymys-vastaus-tehtäviin ja muihin tehtäviin.
LÄHTEET: http://arxiv.org/abs/2307.10652v1, http://arxiv.org/abs/2307.07002v1, http://arxiv.org/abs/2307.12114v1, http://arxiv.org/abs/2307.16217v1

Johtopäätös

Suurten kielimallien (LLM) integrointi sovelluksiin on kiihdyttänyt useiden alojen omaksumista, mukaan lukien kielien kääntäminen, sentimenttianalyysi ja tietojen hakeminen. Kehotesuunnittelu on tehokas työkalu näiden mallien potentiaalin maksimoimiseksi, ja Langchain on johtava tekijä kehotesuunnittelun yksinkertaistamisessa. Sen standardoitu rajapinta, joustavat kehotemallit, vahva mallien integrointi ja innovatiivinen agenttien ja ketjujen käyttö varmistavat LLM:ien suorituskyvyn optimaalisen tuloksen.

On kuitenkin muistettava, että kehotteisiin liittyy joitakin seikkoja. Kun käytät Langchainia, on tärkeää ymmärtää, että tulosteen laatu riippuu voimakkaasti kehotteen sanamuodosta. Kokeilemalla eri kehotetyylejä ja -rakenteita voidaan saavuttaa parannettuja tuloksia. On myös muistettava, että vaikka Langchain tukee useita kielen malleja, kullakin mallilla on omat vahvuutensa ja heikkoutensa. Oikean mallin valinta on tärkeää tehtävän mukaan. Lopulta on muistettava, että näiden mallien käyttäminen liittyy kustannusvaatimuksiin, koska tokenien prosessointi vaikuttaa suoraan vuorovaikutuksen kustannuksiin.

Kuten askellisessa opassa näytetään, Langchain voi mahdollistaa voimakkaita sovelluksia, kuten Akateemisen kirjallisuuden kysymys-vastaus-järjestelmää. Kasvavan käyttäjäyhteisön ja lisääntyvän merkityksen avoimessa lähdekoodin maisemassa Langchain lupailee olevan ratkaiseva työkalu hyödyntämään LLM:ien, kuten GPT-4, täydellistä potentiaalia.

Olen viettänyt viimeiset viisi vuotta uppoutuen koneoppimisen ja syväoppimisen kiehtovaan maailmaan. Intohimoni ja asiantuntemukseni ovat saaneet minut osallistumaan yli 50 erilaiseen ohjelmistotekniikan hankkeeseen, joissa olen keskittynyt erityisesti tekoälyyn ja koneoppimiseen. Jatkuva uteliaisuuteni on johdattanut minut myös luonnollisen kielen käsittelyn pariin, ja haluan tutkia tätä alaa syvemmin.