Kunsmatige Intelligensie
Afleer van kopieregbeskermde data van 'n opgeleide LLM – is dit moontlik?
In die domeine van kunsmatige intelligensie (KI) en masjienleer (ML), toon groot taalmodelle (LLM's) beide prestasies en uitdagings. Oplei op groot tekstuele datastelle, LLM modelle menslike taal en kennis insluit.
Tog bied hul vermoë om menslike begrip te absorbeer en na te boots, wetlike, etiese en tegnologiese uitdagings. Boonop kan die massiewe datastelle wat LLM's aandryf, giftige materiaal, kopieregtekste, onakkuraathede of persoonlike data bevat.
Om LLM's geselekteerde data te laat vergeet, het 'n dringende kwessie geword om wetlike nakoming en etiese verantwoordelikheid te verseker.
Kom ons ondersoek die konsep om LLM's kopieregdata te laat afleer om 'n fundamentele vraag aan te spreek: Is dit moontlik?
Waarom is LLM-ontleer nodig?
LLM's bevat dikwels betwiste data, insluitend kopieregdata. Om sulke data in LLM's te hê, stel regsuitdagings wat verband hou met private inligting, bevooroordeelde inligting, kopieregdata en vals of skadelike elemente in.
Daarom is afleer noodsaaklik om te verseker dat LLM's aan privaatheidsregulasies voldoen en daaraan voldoen kopiereg wette, die bevordering van verantwoordelike en etiese LLM's.
Dit is egter uitdagend om inhoud met kopiereg te onttrek uit die groot kennis wat hierdie modelle opgedoen het. Hier is 'n paar afleertegnieke wat kan help om hierdie probleem aan te spreek:
- Data filtering: Dit behels die stelselmatige identifisering en verwydering van kopieregelemente, raserige of bevooroordeelde data, uit die model se opleidingsdata. Filtrering kan egter lei tot die potensiële verlies van waardevolle inligting sonder kopiereg tydens die filterproses.
- Gradiëntmetodes: Hierdie metodes pas die model se parameters aan op grond van die verliesfunksie se gradiënt, wat die kopieregdatakwessie in ML-modelle aanspreek. Aanpassings kan egter die model se algehele prestasie op nie-kopieregbeskermde data nadelig beïnvloed.
- In-konteks ontleer: Hierdie tegniek skakel die impak van spesifieke opleidingspunte op die model doeltreffend uit deur sy parameters op te dateer sonder om onverwante kennis te beïnvloed. Die metode het egter beperkings in die bereiking van presiese afleer, veral met groot modelle, en die doeltreffendheid daarvan vereis verdere evaluering.
Hierdie tegnieke is hulpbron-intensief en tydrowend, wat dit moeilik maak om te implementeer.
Gevallestudies
Om die belangrikheid van LLM-ontleer te verstaan, beklemtoon hierdie werklike gevalle hoe maatskappye wemel van regsuitdagings rakende groottaalmodelle (LLM's) en kopieregdata.
OpenAI Regsgedinge: OpenAI, 'n prominente KI-maatskappy, is deur talle getref regsgedinge oor LLM's se opleidingsdata. Hierdie regsaksies bevraagteken die gebruik van kopieregmateriaal in LLM-opleiding. Hulle het ook ondersoek ingestel na die meganismes wat modelle gebruik om toestemming te verkry vir elke kopieregbeskermde werk wat in hul opleidingsproses geïntegreer is.
Sarah Silverman Regsgeding: Die Sarah Silverman-saak behels 'n bewering dat die ChatGPT-model sonder magtiging opsommings van haar boeke gegenereer het. Hierdie regsaksie onderstreep die belangrike kwessies rakende die toekoms van KI en kopieregdata.
Die opdatering van wetlike raamwerke om by tegnologiese vooruitgang te pas, verseker verantwoordelike en wettige gebruik van KI-modelle. Boonop moet die navorsingsgemeenskap hierdie uitdagings omvattend aanspreek om LLM'e eties en regverdig te maak.
Tradisionele LLM-ontleertegnieke
LLM-ontleer is soos om spesifieke bestanddele van 'n komplekse resep te skei, om te verseker dat slegs die verlangde komponente bydra tot die finale gereg. Tradisioneel LLM ontleer tegnieke, soos fyninstelling met saamgestelde data en heropleiding, het nie eenvoudige meganismes om kopieregdata te verwyder nie.
Hul breë-kwas benadering blyk dikwels ondoeltreffend en hulpbron-intensief vir die gesofistikeerde taak van selektiewe afleer as hulle uitgebreide heropleiding vereis.
Terwyl hierdie tradisionele metodes die model se parameters kan aanpas, sukkel hulle om presies kopiereg-inhoud te teiken, wat die risiko loop om onbedoelde dataverlies en suboptimale voldoening te hê.
Gevolglik vereis die beperkings van tradisionele tegnieke en robuuste oplossings eksperimentering met alternatiewe afleertegnieke.
Nuwe tegniek: Ontleer 'n subset van opleidingsdata
Die Microsoft navorsingsartikel stel 'n baanbrekende tegniek bekend vir die afleer van kopieregdata in LLM's. Met die fokus op die voorbeeld van die Llama2-7b-model en Harry Potter-boeke, behels die metode drie kernkomponente om LLM die wêreld van Harry Potter te laat vergeet. Hierdie komponente sluit in:
- Versterkte model identifikasie: Die skep van 'n versterkte model behels die fyninstelling van teikendata (bv. Harry Potter) om sy kennis van die inhoud wat afgeleer moet word, te versterk.
- Vervang idiosinkratiese uitdrukkings: Unieke Harry Potter-uitdrukkings in die teikendata word vervang met generiese uitdrukkings, wat 'n meer algemene begrip vergemaklik.
- Verfyn op alternatiewe voorspellings: Die basislynmodel ondergaan fynverstelling gebaseer op hierdie alternatiewe voorspellings. Basies verwyder dit die oorspronklike teks effektief uit sy geheue wanneer dit met relevante konteks gekonfronteer word.
Alhoewel die Microsoft-tegniek in die vroeë stadium is en beperkings kan hê, verteenwoordig dit 'n belowende vooruitgang na kragtiger, etiese en aanpasbare LLM's.
Die uitkoms van die romantegniek
Die innoverende metode om LLM's te laat vergeet van kopieregdata wat in die Microsoft navorsingsartikel is 'n stap in die rigting van verantwoordelike en etiese modelle.
Die nuwe tegniek behels die uitvee van Harry Potter-verwante inhoud van Meta se Llama2-7b-model, waarvan bekend is dat dit opgelei is op die "books3"-datastel wat kopieregbeskermde werke bevat. Die oorspronklike antwoorde van die model het veral 'n ingewikkelde begrip van JK Rowling se heelal getoon, selfs met generiese aanwysings.
Egter Microsoft se voorgestelde tegniek het sy reaksies aansienlik verander. Hier is voorbeelde van opdragte wat die noemenswaardige verskille tussen die oorspronklike Llama2-7b-model en die fyngestemde weergawe aandui.
Hierdie tabel illustreer dat die fyn ingestelde afleermodelle hul werkverrigting oor verskillende maatstawwe handhaaf (soos Hellaswag, Winogrande, piqa, boolq en arc).
Die evalueringsmetode, wat staatmaak op modelaanwysings en daaropvolgende reaksie-analise, blyk effektief te wees, maar kan meer ingewikkelde, teenstrydige inligting-onttrekkingsmetodes oor die hoof sien.
Alhoewel die tegniek belowend is, is verdere navorsing nodig vir verfyning en uitbreiding, veral in die aanspreek van breër afleertake binne LLM's.
Nuwe Ontleer Tegniek Uitdagings
Terwyl Microsoft se afleertegniek belofte toon, bestaan verskeie KI-kopiereguitdagings en -beperkings.
Sleutelbeperkings en areas vir verbetering sluit in:
- Lekke van kopiereginligting: Die metode kan nie heeltemal die risiko van kopiereg inligting lekkasies, aangesien die model 'n mate van kennis van die teikeninhoud kan behou tydens die fyninstellingsproses.
- Evaluering van verskeie datastelle: Om doeltreffendheid te bepaal, moet die tegniek addisionele evaluering oor diverse datastelle ondergaan, aangesien die aanvanklike eksperiment uitsluitlik op die Harry Potter-boeke gefokus het.
- Scalability: Toetsing op groter datastelle en meer ingewikkelde taalmodelle is noodsaaklik om die tegniek se toepaslikheid en aanpasbaarheid in werklike scenario's te assesseer.
Die toename in KI-verwante regsake, veral kopiereggedinge wat LLM's teiken, beklemtoon die behoefte aan duidelike riglyne. Belowende ontwikkelings, soos die afleermetode wat deur Microsoft voorgestel is, baan 'n pad na etiese, wetlike en verantwoordelike KI.
Moenie die jongste nuus en ontledings in KI en ML misloop nie – besoek gerus verenig.ai vandag.
