La guia essencial per a l'enginyeria ràpida a ChatGPT

Des del seu llançament, Xat GPT ha estat fent onades en l'àmbit de la IA, atraient més de 100 milions d'usuaris en un temps rècord. La salsa secreta de l'impressionant rendiment i versatilitat de ChatGPT rau en un art subtilment enclavat dins de la seva programació: l'enginyeria ràpida.

Llançats el 2022, DALL-E, MidJourney i StableDiffusion van subratllar el potencial disruptiu de la IA generativa. Però va ser IA oberta's ChatGPT que realment va prendre el protagonisme més tard el 2022. I aquest impuls no va mostrar signes de desacceleració.

Anunci de Google de Bard i Lamma de Meta 2  La resposta al ChatGPT d'OpenAI ha amplificat significativament l'impuls de la carrera d'IA. En proporcionar aquests models amb inputs, estem guiant el seu comportament i les respostes. Això fa que tots som enginyers ràpids fins a cert punt. El sector tecnològic s'ha adonat. Els capitalistes de risc estan abocant fons a startups centrades en l'enginyeria ràpida, com ara Vellum AI. A més, Forbes informa que els enginyers d'invitació manen salaris superiors als 300,000 dòlars, indicatiu d'un mercat laboral pròsper i valuós.

En aquest article, desmitificarem el món de l'enginyeria ràpida en el context de ChatGPT. Explorarem els principis i tècniques bàsiques i examinarem les seves aplicacions comercials.

Primer entenem com funciona ChatGPT i el paper fonamental que juga l'enginyeria d'indicadors en aquest procés.

La mecànica que hi ha darrere de l'enginyeria de prompt de ChatGPT

La salsa secreta darrere de l'èxit de ChatGPT és la seva capacitat d'entendre i imitar els matisos de la conversa humana. El model s'entrena en una gamma diversa de textos d'Internet, però, sobretot, no coneix documents o fonts específics en el seu conjunt de formació, assegurant la generalització per sobre de l'especificitat. Aquest enfocament de formació permet a ChatGPT generar respostes creatives, navegar per diàlegs complexos i fins i tot mostrar sentit de l'humor. Tanmateix, és important recordar que ChatGPT no entén realment ni té creences; genera respostes basades en patrons apresos durant l'entrenament.

La capacitat de ChatGPT d'entendre i respondre al llenguatge humà d'una manera matisada i conscient del context els converteix en eines increïblement versàtils.

La mecànica d'aquests models es basa en el concepte de "fitxes": fragments discrets de llenguatge que poden anar des d'un sol caràcter fins a una paraula sencera. Aquests models funcionen amb un nombre específic de fitxes alhora (4096 per a GPT-3.5-Turbo o 8192 o 32768 per a GPT-4), predint la següent seqüència de fitxes probables. Els models processen els fitxes utilitzant àlgebra lineal complexa, predint el testimoni posterior més probable.

Per exemple, una simple oració de nou paraules podria convertir-se en deu fitxes. Fins i tot una sola paraula complexa podria convertir-se en múltiples fitxes, cosa que ajuda el model a comprendre i generar millor el llenguatge. Fins i tot els idiomes amb estructures de paraules complexes, com l'alemany, es gestionen mitjançant la tokenització.

Els models GPT (Generative Pre-Trained Transformer) funcionen generant un testimoni a la vegada, començant des del primer testimoni i continuant fins a l'últim. Després de generar cada testimoni, el model revisa tota la seqüència i la processa de nou per generar el següent testimoni. Aquest procés iteratiu continua fins que es genera el testimoni final, fent que la generació de text sigui semblant a un gran for-loop.

Però aquí està el problema: la qualitat d'aquestes respostes depèn en gran mesura de les indicacions que rep. Igual que dirigir una conversa amb un humà, guiar un diàleg amb ChatGPT requereix un cert nivell d'habilitat i comprensió. Aquí és on entra en joc l'enginyeria ràpida.

Què és Prompt Engineering?

Prompt Engineering és l'art d'elaborar indicacions/entrada precises i efectives per guiar la IA (PNL/Vision) models com ChatGPT per generar els resultats més rendibles, precisos, útils i segurs.

L'enginyeria ràpida no només es limita a la generació de text, sinó que té una àmplia gamma d'aplicacions a tot el domini de l'IA. Cada cop s'utilitza més en àrees com els robots d'automatització de processos robòtics, els actius 3D, els scripts, les instruccions del robot i altres tipus de contingut i mitjans digitals. Proporciona una combinació única de lògica, codificació, art i, en determinats casos, modificadors especials.

Tot i que una indicació pot incloure text en llenguatge natural, imatges o altres tipus de dades d'entrada, la sortida pot variar significativament entre els serveis i les eines d'IA. Cada eina té els seus modificadors especials que descriuen el pes de les paraules, estils, perspectives, disseny o altres propietats de la resposta desitjada.

Aquest camp és essencial per crear millors serveis basats en IA i obtenir resultats superiors a partir de les eines d'IA generativa existents. Els desenvolupadors d'empreses, per exemple, sovint utilitzen l'enginyeria ràpida per adaptar els grans models de llenguatge (LLM) com GPT-3 per alimentar un client orientat al client. xat de xat o gestionar tasques com la creació de contractes específics del sector.

Aquest procés iteratiu de perfeccionament ràpid i mesura del rendiment de la IA és un element clau per permetre que els models d'IA generin respostes útils i molt orientades en diversos contextos.

Convertir-se en un enginyer ràpid

La destresa del model GPT-4 per comprendre instruccions complexes i resoldre problemes complexos amb precisió el converteix en un recurs inestimable. Tanmateix, hi ha diferents mètodes per accedir a les capacitats d'aquest model, i la comprensió d'aquestes pot ser crucial per al paper d'un enginyer ràpid a l'hora d'optimitzar tant l'eficiència com la rendibilitat.

Hi ha essencialment dues maneres d'interactuar amb models GPT com el GPT-4. Una manera és a través de l'API d'OpenAI, on els costos es calculen per testimonis d'entrada i sortida. En aquest escenari, els costos per 1K fitxes poden fluctuar en funció de la mida del context. Per exemple, en un context de 32K més gran, el cost podria pujar fins a 0.06 $ per als testimonis d'entrada i 0.12 $ per als testimonis de sortida. Així, quan es gestiona un gran volum de sol·licituds, el cost d'ús pot acumular-se ràpidament.

Alternativament, ChatGPT, que aprofita el model GPT-4, funciona en un model basat en subscripció.

Una altra tasca clau en l'enginyeria ràpida implica l'ajustament dels paràmetres del model. Aquest procés consisteix a ajustar les variables que utilitza el model per fer prediccions. En ajustar aquests paràmetres, els enginyers ràpids poden millorar la qualitat i la precisió de les respostes del model, fent-les més rellevants i útils des del context.

Tot i que molts enginyers ràpids provenen d'una formació tecnològica, la naturalesa multidisciplinària del camp el fa accessible a persones de diferents orígens professionals. Cada cop més, escriptors, investigadors i fins i tot artistes aprofiten les seves habilitats úniques per millorar l'eficàcia dels models d'IA. Aquest canvi també es reflecteix en el mercat laboral, amb un nombre creixent d'empreses que cerquen enginyers ràpids amb una àmplia gamma d'habilitats i formació.

Disseny i enginyeria ràpida a ChatGPT

El disseny i l'enginyeria ràpides tenen un paper fonamental a l'hora d'optimitzar el rendiment dels models de llenguatge i impliquen més que només elaborar preguntes; necessiten una comprensió profunda del model d'IA i un enfocament altament iteratiu i refinat.

Disseny ràpid

El disseny ràpid, en el seu nucli, és l'art i la ciència de crear la indicació perfecta per a un model de llenguatge gran (LLM) determinat, com ara ChatGPT, per assolir un objectiu clarament establert. És una barreja de:

• Comprensió del LLM: diferents models lingüístics poden respondre de manera variable a la mateixa indicació. A més, certs models de llenguatge poden tenir paraules clau o activadors únics, que interpreten d'una manera específica.
• Coneixement del domini: l'experiència en el camp rellevant és crucial a l'hora de dissenyar sol·licituds. Per exemple, generar una indicació per inferir un diagnòstic mèdic requeriria coneixements mèdics.
• Enfocament iteratiu i mesura de la qualitat: el procés de creació del missatge ideal sovint implica assaig i error. Per tant, tenir una manera d'avaluar la qualitat de la sortida més enllà del judici subjectiu és vital, especialment quan s'utilitza l'indicador a una escala més gran.

Enginyeria ràpida

L'enginyeria ràpida és un àmbit estès de disseny ràpid que inclou diversos processos crítics:

• Disseny de sol·licituds a escala: aquest procés inclou el disseny de meta sol·licituds (indicacions que generen altres sol·licituds) i plantilles de sol·licituds, que són indicacions parametritzades que es poden instanciar en temps d'execució.
• Disseny i integració d'eines: les indicacions de vegades poden incloure resultats d'eines externes, i la integració perfecta d'aquestes eines al sistema és crucial.
• Gestió de flux de treball, planificació i sol·licituds: per desplegar una aplicació LLM, com un bot de xat, sovint cal gestionar biblioteques d'indicacions, planificar i triar les indicacions adequades i integrar de manera eficient diverses eines.
• Avaluació i garantia de qualitat de les indicacions: aquest aspecte inclou la definició de mètriques i processos per avaluar les indicacions tant automàticament com amb la implicació humana.
• Optimització del missatge: el cost i la latència del model d'IA poden dependre de l'elecció del model i de la durada del missatge (nombre de fitxes).

S'han desenvolupat molts enfocaments, eines i marcs de disseny de missatges automatitzats per gestionar els missatges a escala. Tanmateix, és important entendre que cap d'aquestes eines pot substituir la comprensió, el judici i l'experiència matisats d'un enginyer ràpid experimentat.

Prompt Engineering: Tècniques i Bones Pràctiques

1) Col·locació i descripció ràpides

Col·locar instruccions al principi del missatge pot afectar significativament la comprensió i la resposta de l'IA. Considereu la tasca de resumir un text en format de vinyeta. Un enfocament menys efectiu seria:

Usuari: resumeix el text següent com una llista amb vinyetes dels punts més importants.
{introducció de text aquí}

D'altra banda, una tècnica més eficaç podria ser:

Usuari: resumeix el text següent com una llista amb vinyetes dels punts més importants.
Text: """
{introducció de text aquí}
"" "

En separar clarament les instruccions i el context amb símbols com ### o """, el model d'IA pot definir millor la seva tasca i el text que ha de processar, donant així respostes més precises i rellevants.

En segon lloc, ser específic, descriptiu i detallat sobre el context, el resultat esperat, la durada, el format, l'estil, etc. pot millorar significativament la precisió de les respostes d'IA. Suposem que necessiteu generar una breu visió general d'un article científic amb un estil atractiu i agradable per a la gent. Una instrucció vaga com "Resumeix el document científic" donaria resultats menys efectius en comparació amb una indicació específica i detallada:

Usuari: Genereu un breu (aprox. 200 paraules), un resum atractiu del següent treball científic. El resum hauria de ser entenedor per a algú sense antecedents científics, alhora que reflecteixi amb precisió les conclusions clau de l'article.
Paper: """
{text del document científic aquí}
"" "

2) Patró Persona

El Patró Persona és una estratègia que fa que l'IA funcioni des d'una perspectiva determinada, com ara un paper professional o un personatge de ficció. Aquesta tàctica permet que el model proporcioni resultats relacionats amb els rols específics que assumiria la persona. Per exemple, es podria instruir a la IA perquè actuï com a expert en ciberseguretat durant una revisió del codi. Aquest patró és especialment útil quan els usuaris necessiten ajuda però no estan segurs dels detalls exactes que es requereixen a la sortida.

Pren el següent com a exemple:

Usuari: “Assumir el personatge d'un historiador sènior especialitzat en la Revolució Francesa. Tenint en compte aquesta persona, expliqueu els esdeveniments clau i les raons que van portar a la caiguda de la monarquia francesa.

En aquest escenari, s'espera que l'IA respongui amb una anàlisi en profunditat de la Revolució Francesa, centrada en la caiguda de la monarquia, com ho faria un historiador.

Presentació d'informació nova

ChatGPT no té coneixements més enllà del seu tall de formació, per tant, no pot proporcionar informació sobre esdeveniments recents o actualitzacions després de la seva formació. Tanmateix, podeu introduir informació nova al model mitjançant les vostres indicacions.

Usuari: "Què és la criptomoneda?"
Xat GPT: "La criptomoneda és un tipus de moneda digital o virtual que utilitza la criptografia per a la seguretat. La criptomoneda més coneguda és Bitcoin".

Ara, si afegim una mica més de context al missatge, podem fer que l'explicació sigui encara més intuïtiva:

Usuari: "Explica el concepte de criptomoneda a un estudiant de secundària que estudia finances digitals"
ChatGPT: "Imagina que estàs jugant a un videojoc en línia i que hi ha diners del joc que pots guanyar per comprar actualitzacions o personatges nous. La criptomoneda és així, però en lloc de limitar-se al joc, podeu utilitzar-la per comprar béns i serveis del món real. És com els diners digitals que cap banc o govern controla".

3) Limitacions de mida ràpida

Entendre la limitació de mida de ChatGPT és essencial, ja que afecta directament el volum i el tipus d'informació que podem introduir. Els models de llenguatge no es creen per processar dades il·limitades alhora. Tenen una limitació inherent a la mida de la sol·licitud que podem crear i introduir. Aquesta limitació té implicacions profundes per al disseny i l'execució de les indicacions.

ChatGPT té un límit de testimonis (generalment 2048 fitxes), que inclou tant la sol·licitud com la resposta generada. Això significa que les indicacions llargues poden limitar la durada de la resposta. Per tant, és important mantenir les indicacions concises però informatives.

En l'ús pràctic, hem d'actuar com a editors, escollint selectivament la informació més rellevant per a la tasca que ens ocupa. Imagineu-vos escriure un article o un article amb un límit de paraules o de pàgines: no podeu deixar de banda fets aleatoris, sinó seleccionar i estructurar acuradament la informació rellevant per al tema.

Usuari: "Donades les limitacions simbòliques del model, resumeix els esdeveniments clau de la Segona Guerra Mundial en menys de 1000 paraules".

En reconèixer les limitacions de testimoni del model, aquesta indicació dirigeix ​​l'IA a proporcionar un resum concís però complet de la Segona Guerra Mundial.

Indicacions per a l'ús repetit: en un escenari de conversa, podeu reutilitzar les indicacions o refinar-les en funció de les respostes anteriors. Això dóna un flux de conversa i manté el context en la interacció.

4) Patró de perfeccionament de preguntes

ChatGPT també pot ajudar a refinar les teves preguntes. Per exemple, si feu una pregunta, pot suggerir una pregunta millor formulada per obtenir resultats més precisos.

El patró de perfeccionament de preguntes implica que el LLM refina les preguntes que fa l'usuari. És especialment útil quan els usuaris no són experts en un domini o no estan segurs de com formular la seva pregunta.

Un exemple d'indicació pot semblar a aquest:

Usuari: "Sempre que faci una pregunta sobre ciència de dades, suggereix una pregunta més refinada tenint en compte els detalls de l'anàlisi estadística i pregunto si vull continuar amb la pregunta refinada".

Aquí, s'espera que la IA refini les preguntes generals de ciència de dades de l'usuari a preguntes més detallades tenint en compte els aspectes d'anàlisi estadística.

5) Patró del verificador cognitiu

El patró del verificador cognitiu desglossa preguntes complexes en subpreguntes més petites i manejables. A continuació, les respostes a aquestes subpreguntes es combinen per proporcionar una resposta completa a la pregunta principal. Aquest enfocament és útil quan les preguntes inicials són de nivell massa alt o quan es necessita més claredat per proporcionar una resposta completa.

Per exemple:

Usuari: "Si faig una pregunta sobre el canvi climàtic, desglosseu-la en tres preguntes més petites que us ajudaran a donar una resposta més precisa. Combineu les respostes a aquestes subpreguntes per donar la resposta final".

En aquest escenari, la IA desglossarà la complexa pregunta sobre el canvi climàtic en tres subpreguntes manejables. Després de rebre respostes a aquestes subpreguntes, l'IA les combinarà per proporcionar una resposta més completa i precisa.

Aquest patró implica generar múltiples preguntes per obtenir una resposta final més precisa. És un procés de verificació i consolidació de la informació per a una sortida final sòlida

6) Enfocament d'indicació de pocs tirs

La indicació de pocs cops és un enfocament potent per ensenyar models d'IA a seguir patrons específics o dur a terme tasques. La idea és alimentar el model amb una sèrie d'exemples abans de fer la pregunta desitjada. Això ajuda a establir el comportament desitjat i guiar les respostes del model.

Penseu en un escenari en què un usuari intenta redactar una còpia de màrqueting concisa i convincent per a un nou gadget tecnològic:

Usuari: "Aquí teniu alguns exemples de còpies de màrqueting tecnològic: "Viu la música com mai abans amb els nostres auriculars sense fil d'avantguarda". "Captura el teu món en 4K impressionant amb la nostra càmera d'acció ultra elegant". Tenint en compte aquests exemples, redacteu una còpia de màrqueting per al nostre nou rellotge intel·ligent amb intel·ligència artificial".

Xat GPT: "Potencia el teu estil de vida amb el nostre rellotge intel·ligent amb intel·ligència artificial, el teu acompanyant per a la salut, la connectivitat i la productivitat". La característica destacable de l'aprenentatge de pocs cops és que no requereix una descripció detallada de com realitzar la tasca. En comptes d'això, requereix demostracions del que s'està fent, cosa que pot fer que sigui adequat per a moltes aplicacions.

A més, aquesta tècnica s'estén més enllà del simple aparellament d'entrada-sortida. El model també es pot ensenyar a manejar passos intermedis per aconseguir un objectiu.

7) Incitació a la cadena de pensament

En el seu recent treball de recerca, "L'impuls de la cadena de pensament provoca el raonament en grans models de llenguatgeEls autors Jason Wei i l'equip pretenen estimular el raonament dins de grans models de llenguatge. En lloc d'utilitzar indicacions directes tradicionals, l'equip fa ús d'una sèrie d'indicacions interconnectades, formant una "cadena de pensament".

Per exemple, un usuari podria estar interessat en l'impacte potencial de la intel·ligència artificial en els mercats de treball:

Usuari: "Podries explicar breument el concepte d'intel·ligència artificial?"

Xat GPT: "La intel·ligència artificial, o IA, es refereix a la capacitat d'una màquina per imitar el comportament humà intel·ligent. Es tracta de dissenyar màquines que puguin pensar i aprendre com els humans, que els permetin realitzar tasques com ara la traducció d'idiomes, la presa de decisions i la resolució de problemes, entre d'altres".

Usuari: "Com influeix la IA en el mercat laboral actual?"

Xat GPT: "La IA està creant nous llocs de treball i canviant la naturalesa dels existents. D'una banda, automatitza les tasques rutinàries, provocant un desplaçament laboral en determinats sectors. D'altra banda, està creant una demanda de rols que abans no existien, com ara els oficials d'ètica de l'IA, els analistes de dades i els enginyers d'aprenentatge automàtic. A més, la IA pot augmentar els rols humans, permetent a les persones dur a terme tasques de manera més eficient i precisa".

Les indicacions en cadena de pensament segueixen una progressió de les indicacions relacionades, mantenint una "conversa" amb el model que el guia cap a respostes més precises i adequades al context.

Entendre l'API de ChatGPT i l'enginyeria de prompte des de la perspectiva d'un desenvolupador

Des de la perspectiva d'un desenvolupador o investigador, l'enginyeria ràpida és un procés més complex. Implica el disseny d'algorismes i tècniques per ajudar el model d'IA a comprendre i respondre a les indicacions de manera més eficaç. Això podria incloure estratègies per gestionar les indicacions ambigües, identificar el context de les indicacions o encadenar les indicacions per estimular processos de pensament més complexos a la IA.

A la il·lustració anterior, un usuari interactua amb una interfície de xat, impulsada per GPT-4. La seva entrada es millora per a la claredat i la coherència contextual mitjançant un mòdul especialitzat abans de ser introduïts al model d'IA. La funció d'aquest mòdul és perfeccionar i millorar l'aportació de l'usuari per a una millor comprensió alhora que es manté el context de la conversa. La resposta de l'IA, elaborada a partir de la indicació refinada, es retorna a l'usuari a través de la interfície de xat. L'historial d'interaccions s'actualitza de manera coherent, mantenint el context conversacional. En general, aquest diagrama il·lustra un flux de converses dinàmics entre l'usuari i l'IA habilitat per tècniques d'enginyeria ràpida.

El API de ChatGPT La interfície està dissenyada amb diversos hiperparàmetres que permeten als usuaris refinar les respostes de l'IA a les indicacions, fent-les més efectives i versàtils. Aquests inclouen els paràmetres de temperatura, longitud màxima i seqüències d'aturada. Explorem com funcionen i es poden utilitzar en diferents contextos.

1) Temperatura

El paràmetre de temperatura influeix en l'aleatorietat de les respostes de l'IA. Una temperatura més alta, com ara 1.0, fomenta una sortida més aleatòria, donant lloc a respostes diverses però potencialment fora del tema. En canvi, una temperatura més baixa, com 0.2, fa que l'IA seleccioni respostes més deterministes, que poden ser beneficioses per a sortides enfocades i específiques, però poden faltar varietat.

Exemple: si esteu escrivint una història creativa i voleu elements imaginatius i impredictibles, configureu la temperatura a un valor més alt. Una indicació podria ser: "Escriu una història breu sobre un gat que viatja en el temps". Amb una temperatura alta, podeu obtenir una història fantàstica i salvatge amb girs i girs imprevisibles.

2) Longitud màxima

Aquest paràmetre controla la longitud màxima del testimoni de la sortida del model, que inclou tant els testimonis a l'entrada del missatge com a la sortida del missatge. Establir un límit superior permet respostes més esteses, mentre que un límit inferior manté la sortida curta i concisa.

Exemple: per a respostes breus a preguntes trivials com: "Qui va guanyar el Premi Nobel de Literatura el 2020?" és possible que vulgueu establir la longitud màxima en un valor baix, assegurant-vos que la resposta sigui concisa i directa.

3) Seqüències d'aturada

Les seqüències d'aturada són cadenes específiques de text on, quan el model les troba, deixa de generar més resultats. Aquesta característica pot ser útil per controlar la longitud de la sortida o per indicar al model que s'aturi en els punts finals lògics.

Exemple: per a una carta formal, podeu utilitzar "Atentament", com a seqüència de parada per assegurar-vos que l'IA no generi cap text addicional més enllà del final correcte de la carta.

4) Top P

El paràmetre 'Top P', també conegut com a mostreig de nucli, és un mètode que proporciona una selecció dinàmica del nombre de paraules considerades a cada pas de les prediccions del model. Un valor més baix, com 0.5, condueix a sortides més segures i enfocades. Un valor més alt, com 0.9, inclou una selecció més àmplia de paraules, donant lloc a resultats més diversos.

Exemple: si esteu creant una IA per escriure poemes i voleu que utilitzi una àmplia gamma de vocabulari i frases estilístiques, podeu establir "Top P" en un valor més alt. Una indicació podria ser: "Composar un poema sobre la bellesa de la tardor".

5) Penalització per freqüència

La penalització de freqüència controla fins a quin punt el model hauria d'afavorir les paraules menys freqüents. Una penalització més alta (fins a 1) anima el model a utilitzar paraules menys comunes, mentre que un valor més baix (fins a -1) anima el model a utilitzar paraules més habituals.

Exemple: si esteu intentant generar una proposta empresarial i voleu evitar l'argot, podeu establir la penalització de freqüència en un valor més baix per mantenir el llenguatge clar i accessible.

6) Penal de presència

El paràmetre Penalització de presència afecta fins a quin punt es penalitza el model per generar noves idees o temes que no estaven presents a l'historial de converses. Els valors més alts animen el model a adherir-se als temes ja esmentats, mentre que els valors més baixos permeten que el model introdueixi nous conceptes amb més llibertat.

Exemple: per a sessions de pluja d'idees, podeu establir la penalització de presència en un valor més baix per fomentar una varietat d'idees. Podeu utilitzar un missatge com "Genereu estratègies de màrqueting innovadores per a una plataforma educativa en línia".

Aplicació Indústria de Prompt Engineering