Suured keelemudelid koos Scikit-learniga: Scikit-LLM-i põhjalik juhend

Integreerides selliste mudelite nagu ChatGPT keerukad keeletöötlusvõimalused mitmekülgse ja laialdaselt kasutatava Scikit-learn raamistikuga, pakub Scikit-LLM ületamatut arsenali tekstiandmete keerukusesse süvenemiseks.

Scikit-LLM, juurdepääsetav selle ametlikul lehel GitHubi hoidla, kujutab endast – suurte keelemudelite (LLM) täiustatud tehisintellekti (nt OpenAI GPT-3.5) ja kasutajasõbralikku Scikit-learni keskkonda. See Pythoni pakett, mis on spetsiaalselt loodud tekstianalüüsi jaoks, muudab täiustatud loomuliku keele töötlemine juurdepääsetav ja tõhus.

Miks Scikit-LLM?

Neile, kes on Scikit-learni maastikuga hästi kursis, tundub Scikit-LLM loomulik edasiminek. See säilitab tuttava API, mis võimaldab kasutajatel kasutada selliseid funktsioone nagu .fit(), .fit_transform()ja .predict(). Selle võime integreerida hindajaid Sklearni torujuhtmesse näitab selle paindlikkust, muutes selle õnnistuseks neile, kes soovivad oma oma tööd parandada. masinõpe tipptasemel keeleoskusega projektid.

Selles artiklis uurime Scikit-LLM-i alates selle installimisest kuni praktilise rakendamiseni erinevates tekstianalüüsi ülesannetes. Saate teada, kuidas luua nii järelevalvega kui ka nullkaadriga teksti klassifikaatoreid ning süveneda täiustatud funktsioonidesse, nagu teksti vektoriseerimine ja klassifitseerimine.

Scikit-learn: masinõppe nurgakivi

Enne Scikit-LLM-i sukeldumist puudutagem selle alust – Scikit-learn. Scikit-learn on masinõppes levinud nimi, mida tähistatakse selle laiaulatusliku algoritmikomplekti, lihtsuse ja kasutajasõbralikkuse poolest. Scikit-learn, mis hõlmab mitmesuguseid ülesandeid alates regressioonist kuni klastrite moodustamiseni, on paljude andmeteadlaste jaoks sobiv tööriist.

Pythoni teaduslike raamatukogude (NumPy, SciPy ja Matplotlib) aluspõhjale rajatud Scikit-learn paistab silma oma integratsiooni poolest Pythoni teadusliku virnaga ning selle tõhususe poolest NumPy massiivide ja SciPy hõredate maatriksitega.

Scikit-learni põhiolemus on ühtsus ja kasutuslihtsus. Olenemata valitud algoritmist jäävad sammud järjepidevaks – importige klass, kasutage oma andmetega sobitamise meetodit ja rakendage mudeli kasutamiseks ennustamist või teisendamist. See lihtsus vähendab õppimiskõverat, muutes selle ideaalseks lähtepunktiks neile, kes masinõppega alles alustavad.

Keskkonna seadistamine

Enne üksikasjadesse sukeldumist on ülioluline töökeskkond paika panna. Selle artikli jaoks on valitud platvorm Google Colab, mis pakub ligipääsetavat ja võimsat keskkonda Pythoni koodi käitamiseks.

paigaldamine

%%capture
!pip install scikit-llm watermark
%load_ext watermark
%watermark -a "your-username" -vmp scikit-llm

API võtmete hankimine ja konfigureerimine

Scikit-LLM vajab aluseks olevatele keelemudelitele juurdepääsuks OpenAI API-võtit.

from skllm.config import SKLLMConfig
OPENAI_API_KEY = "sk-****"
OPENAI_ORG_ID = "org-****"
SKLLMConfig.set_openai_key(OPENAI_API_KEY)
SKLLMConfig.set_openai_org(OPENAI_ORG_ID)

Zero-Shot GPTC klassifikaator

. ZeroShotGPTClassifier on Scikit-LLM tähelepanuväärne funktsioon, mis kasutab ChatGPT võimet klassifitseerida teksti kirjeldavate siltide alusel, ilma et oleks vaja traditsioonilist mudelikoolitust.

Teekide ja andmestiku importimine

from skllm import ZeroShotGPTClassifier
from skllm.datasets import get_classification_dataset
X, y = get_classification_dataset()

Andmete ettevalmistamine

Andmete jagamine koolituse ja testimise alamhulkadeks:

def training_data(data):
    return data[:8] + data[10:18] + data[20:28]
def testing_data(data):
    return data[8:10] + data[18:20] + data[28:30]
X_train, y_train = training_data(X), training_data(y)
X_test, y_test = testing_data(X), testing_data(y)

ZeroShotGPTC-klassifikaatori määratlemine ja treenimine:

clf = ZeroShotGPTClassifier(openai_model="gpt-3.5-turbo")
clf.fit(X_train, y_train)
predicted_labels = clf.predict(X_test)

Hindamine

Mudeli jõudluse hindamine:

from sklearn.metrics import accuracy_score
print(f"Accuracy: {accuracy_score(y_test, predicted_labels):.2f}")

Teksti kokkuvõte Scikit-LLM-iga

Teksti kokkuvõte on NLP valdkonnas kriitiline funktsioon ja Scikit-LLM kasutab GPT võimet selles valdkonnas oma GPTSummarizer moodul. See funktsioon paistab silma oma kohandatavuse poolest, võimaldades seda kasutada nii eraldiseisva tööriistana kokkuvõtete koostamiseks kui ka laiemate töövoogude eeltöötlusetapina.

GPTSummarizeri rakendused:

1. Eraldi kokkuvõte: . GPTSummarizer suudab pikkadest dokumentidest iseseisvalt koostada kokkuvõtlikke kokkuvõtteid, mis on hindamatu väärtusega kiireks sisuanalüüsiks või suurest tekstimahust võtmeteabe väljavõtmiseks.
2. Eeltöötlus muude toimingute jaoks: Töövoogudes, mis hõlmavad tekstianalüüsi mitut etappi, GPTSummarizer saab kasutada tekstiandmete tihendamiseks. See vähendab arvutuskoormust ja lihtsustab järgnevaid analüüsietappe ilma olulist teavet kaotamata.

Teksti kokkuvõtte rakendamine:

Scikit-LLM-i teksti kokkuvõtte rakendamise protsess hõlmab järgmist:

1. Import GPTSummarizer ja asjakohane andmestik.
2. Eksemplari loomine GPTSummarizer määratud parameetritega nagu max_words kokkuvõtte pikkuse kontrollimiseks.
3. Rakenduse fit_transform kokkuvõtete koostamise meetod.

Oluline on märkida, et max_words parameeter toimib pigem juhisena kui range piiranguna, tagades, et kokkuvõtted säilitavad sidususe ja asjakohasuse, isegi kui need veidi ületavad määratud sõnade arvu.

Scikit-LLM laiemad tagajärjed

Scikit-LLM-i funktsioonide hulk, sealhulgas teksti klassifitseerimine, kokkuvõte, vektoriseerimine, tõlkimine ja selle kohandatavus märgistamata andmete käsitlemisel, muudab selle terviklikuks tööriistaks mitmesuguste tekstianalüüsi ülesannete jaoks. See paindlikkus ja kasutusmugavus sobivad nii algajatele kui ka kogenud tehisintellekti ja masinõppe valdkonna praktikutele.

Võimalikud rakendused:

• Klientide tagasiside analüüs: Kliendi tagasiside liigitamine kategooriatesse nagu positiivne, negatiivne või neutraalne, mis võib anda teavet klienditeeninduse täiustuste või tootearendusstrateegiate kohta.
• Uudiste artiklite klassifikatsioon: Uudisteartiklite sorteerimine erinevatele teemadele isikupärastatud uudisvoogude või trendianalüüsi jaoks.
• Keele tõlge: Dokumentide tõlkimine rahvusvahelisteks operatsioonideks või isiklikuks kasutamiseks.
• Dokumendi kokkuvõte: Pikaajaliste dokumentide olemuse kiire mõistmine või avaldamiseks lühemate versioonide loomine.

Scikit-LLM eelised:

• Täpsus: Tõestatud tõhusus sellistes ülesannetes nagu null-shot teksti klassifitseerimine ja kokkuvõtete tegemine.
• Kiirus: Sobib oma tõhususe tõttu reaalajas töötlemiseks.
• Skaalautuvuus: Suudab käsitleda suuri tekstimahtusid, mistõttu on see ideaalne suurandmete rakenduste jaoks.

Järeldus: Scikit-LLM-i kasutamine täiustatud tekstianalüüsi jaoks

Kokkuvõttes on Scikit-LLM võimas, mitmekülgne ja kasutajasõbralik tööriist tekstianalüüsi valdkonnas. Selle võime kombineerida suuri keelemudeleid traditsiooniliste masinõppe töövoogudega koos avatud lähtekoodiga muudab selle väärtuslikuks varaks nii teadlastele, arendajatele kui ka ettevõtetele. Olgu selleks klienditeeninduse täiustamine, uudistrendide analüüsimine, mitmekeelse suhtluse hõlbustamine või olulise teabe destilleerimine ulatuslikest dokumentidest, Scikit-LLM pakub tugevat lahendust.