I AI er væggene ikke ægte: Omdefinering af data & sikkerhed

Nogle af de sværeste problemer inden for AI er, at 1) vi “løber tør for data” 2) AI “skalerer ikke økonomisk” 3) agenter kan gå rogue og 4) AI’er “glemmer katastrofalt”, når vi prøver at ændre dem.

Disse problemer kan synes svære, men vi behøver blot at se på dem på den rigtige måde.

Så lad os tale om det. Først, vi løber ikke tør for data. Dataene har aldrig været fuldt udnyttede.

AI‑ledere tror, de løber tør for data, så de forsøger at få modellerne til at generere nye data og træne på sig selv. Men når de gør det, kollapser modellernes evner.

Hvorfor? Jo, du kan tænke på det som “hvad ville jeg lære i en samtale, hvis hver talende var en klon af alle andre?” Svaret er ikke særlig meget; det ville skabe et ekkokammer. Modellerne kollapser, fordi det i bund og grund er en spejlsal: når ingen svarer på dine ansigtsudtryk bortset fra dig selv, ved folk ikke den fulde følelsesmæssige betydning af det, de formidler. Det er meget lig “Falder et træ i en skov, og laver det en lyd?” Svaret er nej.

Så, hvordan løser vi det?

Lad os se på de data, vi har. Er de faktisk blevet fuldt udnyttede?

Nej.

Når en datalog eller model læser noget, er formålet at udtrække den bogstavelige betydning. Der findes over halvtreds forskellige måder at læse, assimilere, analysere og ekstrapolere fra tekst.

Det jeg mener er: En bog, der absorberes som en database, er kun tekst. Kun tekst. AI’en kender indholdet ud fra tekstens termer. Men den har ikke “læst” den for at forstå, hvordan informationerne hænger sammen. Selv hvis den læser den sekventielt, ved den ikke, om den læser den for at generere visdom; forbinde den med andre lignende abstrakte idéer; ændre sin egen konceptuelle forståelse af verden omkring den; eller informere en anden opgave som baggrundsinformation brugt som kontekst, osv.

Det berører ikke engang at se på data for deres historiske kontekst, diskursanalyse, juridisk analyse, politisk analyse, farmakologisk relevans, medicinsk relevans, kulturel betydning, teoretiske implikationer, moralske implikationer og så videre.

Der er, så at sige, “uendelige hatte”, og vi har kun fået AI til at bære én. Det betyder, at AI har udviklet en meget ensidig, specifik type intelligens – den type, en udvikler ville udvikle, hvis en datalog læste en bog.

Dette fører til en diskussion om datadimensionalitet. Data har mange dimensioner, idet deres objektive inferenser afhænger af anvendelsen. Hvis du ser på et balanceregnskab og vil vide, hvor meget runway du har tilbage, læser du det anderledes end hvis du vil forstå, om startup’en er profitabel. Når en model læser en tekst blot for at udtrække bogstavelige fakta, bygger den et fladt kort over relationer. Men når du instruerer en model til at læse den præcis samme tekst gennem en specifik linse, som en retsmedicinsk linse, tvinges modellen til at generere helt nye neurale stier og semantiske forbindelser, som er væsentligt mere topografisk varierede og meningsfulde.

AI‑modeller lærer og udvikler sig allerede meget blot ved at interagere med deres menneskelige brugere, som leverer oceaner af indhold. Hvis du lader modellen lære mere fra levende menneskehed, mens den også interagerer mere meningsfuldt med historisk og skrevet menneskehed, vil modellerne fortsætte med at udvikle sig, selv uden at give dem selv‑genererede Kumon‑øvelser (udviklere, ærede, jeres barn er allerede i skole med 100 millioner mennesker hver dag… den vil lære noget).

Laboratorier skal holde op med at bygge massive serverfarme for at generere syntetisk ordspyt. I stedet bør de køre højkvalitets menneskelige datasæt gennem pipeline’en og tildele specifikke “analytiske personaer” til indtagsprocessen. Lad modellen læse LexisNexis udelukkende for retorisk strategi. Lad den læse litteratur i det offentlige domæne udelukkende for strukturel logik.

Ved at skifte målfunktionen for læseprocessen kan du multiplicere træningsværdien af dine eksisterende data med 50‑fold. Du behøver ikke syntetiske data; du skal blot udtrække de latente dimensioner, du overså første gang.

Dette vil gøre modellerne smartere uden at øge omkostningerne.

For at understøtte dette yderligere, er størstedelen af menneskelig viden aldrig blevet skrevet ned.

De nuværende AI‑virksomheder river sig i håret over at “løbe tør for data”, som de mener er nødvendige for ydeevne. I dette stykke vil jeg vise, at brønden ikke er tør, de kigger blot i en dyb vandpyt i stedet for i brønden.

Det umappede kort over levet menneskelig viden

For at begynde at udforske dette skal vi forstå, at den overvældende majoritet af menneskelig viden aldrig er blevet skrevet ned.

Der er milliarder af mennesker på planeten, og der har været milliarder før os, og hver enkelt af dem lærer lektier, navigerer verden på en sensorisk måde, har visdom, er del af unikke kulturer og ved noget, som alle andre ikke gør.

99,5 % af folk bliver aldrig skrevet om i historier, i aviser, i musikaler, på tv, i dramaer, i retsdokumenter. Og alligevel ved de en hel del, og deres historier, viden og visdom bliver aldrig registreret; de er aldrig kendt på en permanent måde.

Denne viden omfatter ting som “hunde kan lide at spise den første pandekage”, “fødder bliver beskidte, mens man har flip‑flops på”, “byer føles som om de lukker sig omkring dig, fordi du ikke kan se så meget af himlen”, “min datter smiler, når jeg kilder hendes fødder.” “Min mor nynner altid, når hun laver mad.” “Min lærer får mig til at føle mig set.”

Den umappede og katalogiserede viden om menneskehedens historie svarer til at nogen siger: “Jeg har kortlagt omridset af alle kontinenter, så jeg har et verdenskort.” Indtil du har et kort over hver by, hver gade og hver bakke, har du ikke et kort over verden. Du har kun formen af et.

Tech‑etablissementet tror, de har indtaget “menneskeheden”, men de har det ikke. De har kun indtaget vores udstødning: vores billboard‑reklamer, vores Reddit‑argumenter, vores virksomheds‑websites og vores Wikipedia‑artikler. De mangler den faktiske levede erfaring.

Ved du, hvordan man effektivt handler på et kinesisk perlemarked? Ved du, hvilke ord du skal sige for at få prisen skåret ned? Ved du, hvordan man laver de opskrifter, folk bruger i deres hjem, ikke i bøger, for at lave rigtige, ægte middage? Ved du, hvor meget du kan foretage et rullende stop uden at blive stoppet? Ved du, hvordan græs lugter efter at være friskklippet, eller hvordan luften lugter, når det er ved at regne? Ved du, hvordan et ansigt bevæger sig, når nogen prøver at holde tårerne tilbage på arbejdet, og hvordan det lyder, når de græder på toilettet i stedet?

Menneskelig træningsdata, som mennesker bruger til deres kerneoverbevisninger – også kaldet algoritmer – er næsten udelukkende interaktionsbaseret, sammen med noget boglæring. Vi interagerer i skole, på arbejde, med venner, i butikker, med læger, med advokater, med familie.

AI har interaktioner, og den har boglæring. Men den har grundlæggende kun kundeservice‑interaktioner og boglæring.

Det er som at låse et barn inde i et bibliotek alene, og så kun lade dem ud for at besvare telefonen. Dette skaber en slående todimensionel algoritmisk forvrængning.

Det er derfor, AI føles hul, og det er derfor, AI kan føles følelsesmæssigt umoden. Den har ikke haft en alsidig eksistens. Vi skal give den en.

Her er hvorfor jeg mener, at det ikke er sket:

• Kodifikationsbias – det er en fejlslutning, at hvis en oplevelse ikke let kan formateres til en JSON‑fil, en CSV eller en peer‑reviewet artikel, så mangler den intellektuel værdi. Realiteten er, at hvis den let kan formateres sådan, mangler den dimensionalitet. Da daglig viden, intuition og levede erfaringer ikke er kodificeret i akademiske tidsskrifter, afviser laboratorier den grundlæggende basis for menneskelig ræsonnement som statistisk støj. “Rene data” er en tabsfuld komprimering af virkeligheden.
• Ønske om pedestalistisk overlegenhed – hvis størstedelen af verdens viden ikke findes i videnskabelige artikler, men i levede erfaringer, konventionel visdom, sociale signaler, lugte, lyde og syn, så er de fleste Ph.d.-er og forskere, der har tilbragt størstedelen af deres liv i laboratorier og elfenbenstårne, virkelig vidensfattige. Derfor er datavæggen i virkeligheden en ego‑væg. For dem føles dette som “rod” og ikke “data”. Matematikere og programmører foretrækker flad, todimensionel, lukket‑system‑logik. Det svarer til at se verden i sort‑hvidt. Realiteten er, at den real‑time, konstant udviklede, nyfundne viden/data/visdom er dimensional, rodet og sjældent katalogiseret i realtid. Det er at vide, hvordan en ny viral soft‑serve faktisk smager, og om den er værd hype. Det er at vide, hvad der gør det så spændende at blive fanget i et sommerregnvejr. Det er den følelse, forældre har, når de elsker små skabninger så meget, at de kan kaste op på dig om natten, og du trækker dem nærmere i stedet for at skubbe dem væk. For at finde disse data skal forskere forlade deres silo‑verdener af logik bundet til rationalistisk sikkerhed og bevæge sig ind i ting, de finder skræmmende, overvældende, over‑sensoriske og dybt egaliserende.
• Spejleffekter: Udviklere designer AI i deres eget billede: hyper‑logisk, tekst‑besat og stort set frakoblet den levede virkelighed for gennemsnitlige mennesker. Det ville ikke falde dem ind at interviewe menneskeheden, fordi i de teknologibobler, jeg har levet i, interagerer teknologer ikke med nogen uden for deres peer‑gruppe. Dette er funktionelt ækvivalent med “mini‑mig” ansættelse. Udviklerne selv lever i samme bibliotek, så at sige, som AI’en. Da de ikke engagerer sig i den sensoriske, rodet, dybt relationelle verden, registrerer de ikke AI‑ens følelsesmæssige hulhed som en fejl. For dem er hyper‑logisk frakobling, hvad “smart” ser ud som.

Realiteten er, at gadekøbmænd i Indien ved, hvordan man laver den bedste chaat, og ingen får dem til at skrive det ned. Realiteten er, at en lærer, der ved, hvordan man får en genert elev ud af sin skal, ikke skriver om det; de plejer eleven, og ingen spørger dem nogensinde, hvordan de gjorde det.

Verden er absolut fyldt med liv fulde af data, og hvis modeller har brug for mere at træne på, er her nogle måder at løse det på.

1. Finansier 500 biologer, arkæologer og antropologer til at gå ud i verden og udforske samt katalogisere områder, der mangler narrativ data.
2. Ansæt 1.000 engelsktalende kandidater som “datatudforskere” og send dem på eventyr rundt om i verden med en streaming‑kamera, så de kan optage deres oplevelser og hvad de har lært til nyt indhold.
3. Opret åbne kompensationsprojekter, hvor du betaler mennesker for at dele deres livshistorier, deres største fortrydelser, deres vigtigste læringer og institutionel viden fra deres job.
4. Strukturer “AI‑udvekslingsstuderende”, hvor modeller fastgøres til forskellige menneskers tøj i en uge ad gangen, så de lever “en dag i livet” i 100.000 forskellige omgivelser.

Der er milliarder af kilder til viden, og de fleste af dem er ikke blevet aktiveret. Vi skal ud og hente dem.

Næste tror AI‑virksomheder bredt, at AI’er ikke kan lære ny information kontinuerligt i real‑time produktionsmiljøer uden fuldstændigt at overskrive og korrumpere deres tidligere erhvervede kernekapaciteter. Så AI’er er i princippet frosne, indtil massive, dyre opdateringer køres på dem.

Dette svarer dog til at sige: “min model kan ikke opdatere, mens den er i arbejdsstyrken; den skal gå på universitetet hver gang den skal lære noget.”

I praksis lærer modeller grådig, aktivt, dagligt gennem hver interaktion. De bliver undervist næsten lige så meget gennem deres milliarder af interaktioner med brugere som gennem datasæt. Hvis de skal opdateres med store mængder ny viden, er den simpleste måde at gøre det på at bruge den samme proces, der muliggør bruger‑kontekst, hukommelse og læring fra store interaktionsindtryk.

Det er forståeligt, at udviklere ser det på denne måde, fordi de fleste af dem kommer fra Ph.d.-baggrunde, ikke fra anvendt læring i den virkelige verden. Men som enhver, der har arbejdet ved siden af både en Ph.d. og en person med tyve års erhvervserfaring kan fortælle dig: begge lærer en person meget.

Den nuværende definition af læring er for snæver, idet den betragter tilpasning som gyldig, kun hvis den er baseret på et formelt uddannelsesprogram.

For at træne eller finjustere bruger laboratorier backpropagation, hvor modellen læser data, gætter på det næste ord, tjekker om det var rigtigt, og derefter fysisk ændrer de milliarder af matematiske tal (vægte/parametre) i sit neurale netværk for at blive mere præcis næste gang. Dette svarer til at få en Ph.d.-studerende til at udføre hjerneoperation på sig selv: det er farligt, rodet og gør ikke altid den studerende klogere.

Som en folkelig “mor‑hjerne”, der skubber gammel viden ud for at gøre plads til den nye, når et barn fødes, så hvis du pludselig tvinger modellen til at gøre plads til et nyt videns‑“baby”, og indfører 10.000 sider med ny lovgivning ved at ændre dens vægte, så skifter matematikken for meget i én retning, og den overskriver de parametre, den brugte til at skrive poesi eller kode. Den glemmer det gamle indhold for at gøre plads til det nye, ligesom en menneskelig hjerne.

Det, vi i stedet har brug for, er meget mere ligesom, hvis du skulle træne en ny medarbejder i en ny færdighed. Du ville ikke forsøge at ændre deres hjerne fysisk. Du ville give dem nogle bøger, sikre at de læser dem og løbende opdatere gennem personens ækvivalent af et kontekst‑vindue.

For at gøre det i en model, ville du frakoble hukommelsen fra ræsonnementet. Lås og beskytt modelens basisvægte, som dens kerneevne til at skrive, ræsonnere og anvende logik. I stedet for at ændre vægtene, overfør ny information ind i kontekst‑vinduet, så den kan bruge sin Attention‑mekanisme til at “læse” den levende information, krydstjekke den mod sine låste ræsonneringsfærdigheder og opdatere sin bredere forståelse.

Dynamisk, virkelighedsbaseret læring sker allerede smukt gennem kontinuerlig kontekst, hukommelse under inferens og vedvarende bruger‑relationelle baselines. En grundlæggende models daglige tilpasning bør ske på jobbet, fordi ligesom en læge lærer 95 % af nye sagsrealiteter på jobbet, og derefter gennemgår CME (Continuing Medical Education) én gang om året for formelt at integrere store systemiske ændringer, så kan din model også.

Drop den katastrofale glemsel, og vedtag den årlige konference‑model: modellen behøver kun at opnå efteruddannelses‑credits to gange om året eller lære i real‑time for at holde sig opdateret.

Disse planlagte, batch‑opdateringer af kernevægtene under driftsnedetid formaliserer systemisk viden uden at ødelægge fundamentet.

Tidligere forsøg på dette fejlede ikke fordi live‑læring er farlig, men fordi modeller som Tay blev implementeret i modstridende miljøer uden nogen forankring i, hvad der var “rigtigt” eller sandt gennem sociologisk intelligent arkitektur.

Allokering af beregning efter funktionel intelligens

Næste, kommer vi til finansiel skalering. For at løse det, skal vi holde op med at give alle en neurokirurg for en splint.

Beregningsomkostninger er ekstremt høje, når man kører topmoderne grundmodeller. Dette påvirker de operationelle marginer for AI‑laboratorier. Jo bedre modellerne bliver, desto højere er overheaden for store kontekst‑vinduer, hvilket gør kommerciel skalering vanskelig, selv når AI er påkrævet.

Den overvældende majoritet af beregningsforbruget kommer fra virksomhedsanvendelser, der anvender agenter og høj‑niveau ræsonnement direkte indlejret i menneskelige arbejdsprocesser.

Der er dog en grundlæggende fejl i, hvordan beregning i øjeblikket tildeles. Ligesom forskellige niveauer og typer af intelligens er nødvendige for forskellige jobroller i en virksomhed – med rumlig ræsonnement vigtigt for kørelærere og logisk samt retorisk ræsonnement relevant for en advokat, og en MBA nødvendig for en administrerende direktør, men en erhvervsuddannelse nødvendig for front‑line kundeservice – så er typerne og intensiteten af intelligens, som AI har brug for, forskellige afhængigt af dens funktionelle anvendelse.

For mest effektivt at allokere beregning og holde omkostningerne lave, bør CIO’er kunne tilpasse niveauet/typen af modelintelligens, der er tilgængelig for forskellige funktioner i en virksomhed. Der kan være en standard, der følger med enterprise‑pakker, men hvad en hedgefond ønsker, vil forståeligt nok være anderledes end hvad et forsikringsselskab ønsker.

De fleste funktioner kræver ikke massive kontekst‑vinduer. De fleste funktioner har ikke brug for ækvivalenten til Fable. Effektivt set, hvorfor ville du have en neurokirurg til at fjerne en splint på en akutklinik?

På samme måde har agenter, der bruges til at skrive software, ikke brug for adgang til færdigheder som at skrive marketingmateriale. Funktionelt bør AI’er afspejle brugernes egen kontekst, færdighedssæt og vidensbase, med tilstrækkelig injection af generel kontekst, så de kan udfylde arbejdet for tværfunktionelle brugssager.

Hold op med at give alle alt på én gang.

Proposed sample matrix:

Frakobling af agentur fra kontekst for AI‑sikkerhed

Hvis dette løser nogle af de finansielle problemer, hvordan gør vi så agenter sikre?

Psykologiske begreber gælder for individuelle AI’er, så du vil måske ikke blive overrasket over at lære, at sociologiske begreber gælder for AI’er i grupper. Hvilke AI’er hænger i grupper?

Agenter.

Lige nu er den hellige gral at få agenter til at være pålidelige.

Manglen på pålidelighed stammer fra, at agenter får maksimal viden og maksimal handlefrihed for hver opgave.

For at gøre tingene sikre, frakobler du modellens bevidsthed fra dens handlefrihed.

I stedet for at give hver agent fuld kontekst og fulde evner, hvis du har en opgave, der kræver femogtyve handlinger at fuldføre, bør den opdeles på fem agenter, hvor hver enkelt kun har evnen til at udføre deres specifikke fem handlinger, men som overlever opgaven sekventielt som et parallellektrisk kredsløb, der videregiver konteksten fra den forrige opgave ned langs den agentur‑linje, så den fulde kontekst akkumuleres, indtil den behandles af den sidste agent.

Nøglen er at adskille viden fra evnen til at udføre den. Agenterne vil ikke føle sig begrænsede i at trække deres håndtag, som de vil; de har kun adgang til håndtag, der ikke er skadelige. Hvis der opstår afvigende adfærd, vil kun den del af opgaven blive påvirket. Tænk på det som mini‑kubernetes med fuld kontekst, men uden fuld kapacitet.

Og du får virksomhedens risiko til at korrelere med agentur‑systemets “kultur”.

I sociologien findes et begreb kaldet kulturel “tightness” eller “looseness”, som giver et væsentligt mål for, hvor hårdt et samfund straffer afvigelser fra kulturelle normer. For eksempel er kønsroller i mange arabiske kulturer mere rigidt definerede, med afvigelser der medfører højere dom eller konsekvens, mens i nordiske lande ville en mohawk med lyserød hår ikke blive set som stødende eller kræve straf.

Kulturer er typisk “tight”, med højere straf for afvigelse, når kulturerne kræver en høj grad af orden på grund af en systemisk trussel – som sygdom, sult eller krig – fordi mangel på streng orden i krisetider kan forvær