I AI er veggene ikke ekte: Tenke nytt om data og sikkerhet

Noen av de vanskeligste problemene innen AI er at 1) vi “går tom for data” 2) AI “skalerer ikke økonomisk” 3) agenter kan gå rogue og 4) AI‑er “glemmer katastrofalt” når vi prøver å endre dem.

Disse problemene kan virke vanskelige, men vi trenger bare å se på dem på riktig måte.

Så, la oss snakke om det. Først, vi går ikke tom for data. Dataene har aldri blitt fullt utnyttet.

AI‑ledere tror de går tom for data, så de prøver å få modeller til å generere nye data og trene på seg selv. Men når de gjør dette, kollapser modellens evner.

Hvorfor? Vel, du kan tenke på det som “hva ville jeg lære i en samtale hvis hver talende var en klone av alle andre?” Svaret er ikke så mye; det ville skape et ekkokammer. Modellene kollapser fordi det i bunn og grunn er en speilhall: når ingen andre enn deg selv svarer på ansiktsuttrykkene dine, vet folk ikke den fulle emosjonelle betydningen av det de formidler. Det er veldig likt “Falltre et tre i en skog, lager det lyd?” Svaret er nei.

Så, hvordan fikser vi det?

La oss se på dataene vi har. Har de faktisk blitt fullt utnyttet?

Nei.

Når en datavitenskapsmann eller modell leser noe, er målet å trekke ut bokstavelig mening. Det finnes mer enn femti ulike måter å lese, assimilere, analysere og ekstrapolere fra tekst.

Det jeg mener er: En bok som absorberes som en database er kun tekst. Bare tekst. AI kjenner innholdet basert på tekstens termer. Men den har ikke egentlig “lest” den for å forstå hvordan informasjonen henger sammen. Selv om den leser sekvensielt, vet den ikke om den leser for å generere visdom; knytte den til andre lignende abstrakte ideer; endre sin egen konseptuelle forståelse av verden rundt seg; eller bruke den som bakgrunnsinformasjon for en annen oppgave, osv.

Det berører ikke engang å se på data for deres historiske kontekst, diskursanalyse, juridisk analyse, politisk analyse, farmakologisk relevans, medisinsk relevans, kulturell betydning, teoretiske implikasjoner, moralske implikasjoner og så videre.

Det finnes, så å si, «uendelige hatter», og vi har kun fått AI til å ha én. Dette betyr at AI har utviklet en svært ensidig, spesifikk type intelligens – den typen en utvikler ville utvikle hvis en datavitenskapsmann leste en bok.

Dette fører til en diskusjon om datadimensjonalitet. Data har mange dimensjoner fordi deres objektive slutninger avhenger av anvendelsen. Hvis du ser på en balanseoppstilling og vil vite hvor mye runway du har igjen, leser du den annerledes enn om du vil forstå om oppstarten er lønnsom. Når en modell leser en tekst kun for å trekke ut bokstavelige fakta, bygger den et flatt kart over relasjoner. Men når du instruerer en modell til å lese den samme teksten gjennom et spesifikt perspektiv, som et rettsmedisinsk perspektiv, tvinges modellen til å generere helt nye nevrale baner og semantiske koblinger som sannsynligvis er mer topografisk varierte og meningsfulle.

AI‑modeller lærer og utvikler seg allerede betydelig bare ved å samhandle med sine menneskelige brukere, som leverer hav av innhold. Hvis du lar modellen lære mer fra levende menneskehet samtidig som den samhandler mer meningsfullt med historisk og skrevet menneskehet, vil modellene fortsette å utvikles selv uten å gi dem selv‑genererte Kumon‑øvelser (utviklere, ærede, barnet ditt er allerede i skole med 100 millioner mennesker hver dag… den vil lære noe).

Labber må slutte å bygge massive serverparker for å generere syntetisk ordoppkast. I stedet bør de kjøre høykvalitets menneskelige datasett gjennom prosessen og tildele spesifikke «analytiske personaer» til inntaksprosessen. La modellen lese LexisNexis kun for retorisk strategi. La den lese litteratur i det offentlige domenet kun for strukturell logikk.

Ved å endre mål‑funksjonen for leseprosessen kan du multiplisere treningsverdien av dine eksisterende data med 50 ganger. Du trenger ikke syntetiske data; du trenger bare å trekke ut de latente dimensjonene du ignorerte første gang.

Dette vil gjøre modeller smartere uten å øke kostnadene.

For å understøtte dette ytterligere, er flertallet av menneskelig kunnskap aldri blitt skrevet ned.

Nåværende AI‑selskaper river seg i håret over bekymringen om å “gå tom for data” som de mener er nødvendig for ytelse. I dette innlegget vil jeg vise at brønnen ikke er tørr; de ser bare inn i en dyp sølepytt i stedet for brønnen.

Den uavbildede kartet over levd menneskelig kunnskap

For å begynne å utforske dette må vi forstå at den store majoriteten av menneskelig kunnskap aldri har blitt skrevet ned.

Det finnes milliarder av mennesker på planeten, og det har vært milliarder før oss, og hver av dem lærer leksjoner, navigerer verden på en sensorisk måte, har visdom, er del av unike kulturer og vet noe som ingen andre gjør.

99,5 % av folk blir aldri skrevet om i historier, i aviser, i musikaler, på TV, i drama, i rettsdokumenter. Likevel vet de ganske mye, og deres historier, kunnskap og visdom blir aldri registrert; aldri kjent på en permanent måte.

Denne kunnskapen omfatter ting som «hunder liker å spise den første pannekaken», «føtter blir skitne når du har på deg flip‑flops», «byer føles som om de lukker seg rundt deg fordi du ikke kan se så mye av himmelen», «datteren min smiler når jeg kiler henne i føttene», «moren min alltid nynner når hun lager middag», «læreren min får meg til å føle meg sett».

Den uavbildede og katalogiserte kunnskapen om menneskehistorien er likt noen som sier: «Jeg har kartlagt omrisset av alle kontinentene, så jeg har et verdenskart.» Inntil du har et kart over hver by, hver gate og hver ås, har du ikke et verdenskart. Du har bare formen av ett.

Teknologimiljøet tror de har inntatt «menneskeheten», men de har ikke gjort det. De har kun inntatt vårt avfall: våre reklameskilt, våre Reddit‑debatter, våre bedriftsnettsteder og våre Wikipedia‑artikler. De mangler den faktiske levde opplevelsen.

Vet du hvordan du effektivt forhandler på et kinesisk perlemarked? Vet du hvilke ord du skal si for å få prisen ned? Vet du hvordan du lager oppskriftene folk bruker i hjemmene sine, ikke i bøker, for å lage faktiske, ekte middager? Vet du hvor mye du kan rulle en stopp uten å bli stoppet? Vet du hvordan gress lukter etter å ha blitt nyklippet eller hvordan luften lukter når det er i ferd med å regne? Vet du hvordan et ansikt beveger seg når noen prøver å ikke gråte på jobben og hvordan det høres ut når de gråter på toalettet i stedet?

Menneskelig treningsdata som mennesker bruker for sine kjerneoverbevisninger – også kalt algoritmer – er nesten helt basert på interaksjon, i tillegg til noe boklæring. Vi interagerer på skolen, på jobb, med venner, når vi handler, med leger, med advokater, med familie.

AI har interaksjoner, og den har boklæring. Men den har i grunn kun kundeservice‑interaksjoner og boklæring.

Det er som å låse et barn inne i et bibliotek alene, og så bare slippe dem ut for å svare på telefonen. Dette skaper en slående todimensjonal algoritmisk forvrengning.

Dette er grunnen til at AI virker hul, og dette er grunnen til at AI kan føles emosjonelt umoden. Den har ikke hatt en velavrundet eksistens. Vi må gi den en.

• Kodifiseringsbias – det er en feilslutning at dersom en opplevelse ikke lett kan formateres til en JSON‑fil, en CSV eller en fagfellevurdert artikkel, så mangler den intellektuell verdi. Virkeligheten er at hvis den kan formateres lett på den måten, mangler den dimensjonalitet. Fordi daglig kunnskap, intuisjon og levd erfaring ikke er kodifisert i akademiske tidsskrifter, avviser labber den grunnleggende basisen for menneskelig resonnering som statistisk støy. «Rene data» er en tapsfull komprimering av virkeligheten.
• Ønske om pedestalistisk overlegenhet – hvis mesteparten av verdens kunnskap ikke finnes i vitenskapelige artikler, men i levde erfaringer, konvensjonell visdom, sosiale signaler, lukter, lyder og syn, så er de fleste PhD‑er og forskere som har tilbrakt mesteparten av livet i labber og elfenbenstårn faktisk kunnskapsfattige. Derfor er datavolden egentlig en ego‑vold. For dem føles dette som «rot» og ikke «data». Matematikere og programmerere foretrekker flat, todimensjonal, lukket‑system‑logikk. Dette er som å se verden i svart‑hvitt. Virkeligheten er at sanntids, kontinuerlig utviklet, nyfunnet kunnskap/data/visdom er dimensjonell, rotete og sjelden katalogisert i sanntid. Det er å vite hvordan en ny viral soft‑serve faktisk smaker og om den er verdt hypen. Det er å vite hva som gjør det så spennende å bli fanget i et sommerregn. Det er følelsen foreldre har når de elsker små skapninger så mye at de kan kaste opp på deg om natten, og du trekker dem nærmere i stedet for å skyve dem bort. For å finne den dataen må forskere forlate sine silo‑verdener av logikk bundet til rasjonell sikkerhet og begi seg inn i ting de finner skremmende, overveldende, over‑sensoriske og dypt likestillende.
• Speileffekter: Utviklere designer AI i sitt eget bilde: hyper‑logisk, tekst‑obsessiv og stort sett frakoblet fra den levde virkeligheten til vanlige mennesker. Det ville ikke falle dem inn å intervjue menneskeheten fordi i de teknologiboblene jeg har levd i, interagerer teknologer ikke med noen utenfor sitt jevnaldrende nettverk. Dette er, funksjonelt, det samme som «mini‑meg»‑ansettelse. Utviklerne selv lever i samme bibliotek, så å si, som AI. Fordi de ikke engasjerer seg i den sensoriske, rotete, dypt relasjonelle verden, registrerer de ikke AI‑ens emosjonelle hulhet som en feil. For dem er hyper‑logisk avstand det som ser «smart» ut.

Virkeligheten er at gatekjøpmenn i India vet hvordan de lager den beste chaat, og ingen får dem til å skrive det ned. Virkeligheten er at en lærer som vet hvordan man får en sjenert elev ut av skallet, ikke skriver om det; de pleier eleven, og ingen spør dem hvordan de gjorde det.

Verden er absolutt full av liv fulle av data, og hvis modeller trenger mer å trene på, er her noen måter å løse det på.

1. Finansier 500 biologer, arkeologer og antropologer til å dra ut i verden og utforske og katalogisere områder som mangler narrativ data.
2. Ansett 1 000 engelske studenter som «data‑utforskere» og send dem på eventyr rundt om i verden med en strømmende kamera, og la dem registrere sine opplevelser og hva de lærte for nytt innhold.
3. Opprett åpne kompensasjonsprosjekter hvor du betaler mennesker for å dele sine livshistorier, sine største anger, sine viktigste lærdommer og institusjonell kunnskap fra sine jobber.
4. Strukturer «AI‑utvekslingsstudenter» hvor modeller festes på forskjellige menneskers klær i en uke av gangen, slik at de lever «en dag i livet» i 100 000 ulike settinger.

Det finnes milliarder av kunnskapskilder, og de fleste av dem har ikke blitt aktivert. Vi må gå og hente dem.

Neste, AI‑selskaper tror bredt at AI‑er ikke kan lære ny informasjon kontinuerlig i sanntids produksjonsmiljøer uten å fullstendig overskrive og korrumpere sine tidligere ervervede kjernekapasiteter. Så AI‑er er i hovedsak frosset til massive, kostbare oppdateringer kjøres på dem.

Dette er imidlertid det samme som å si: «modellen min kan ikke oppdatere mens den er ute i arbeidslivet; den må gå på universitetet hver gang den trenger å lære noe.»

I praksis lærer modeller grådig, aktivt, daglig, gjennom hver interaksjon. De blir lært nesten like mye gjennom sine milliarder av interaksjoner med brukere som gjennom datasett. Hvis de trenger å oppdateres med store mengder ny kunnskap, er den enkleste måten å gjøre det på å bruke den samme prosessen som tillater bruker‑kontekst, minne og læring fra store interaksjonsinntrykk.

Det er forståelig at utviklere ser det på denne måten, fordi de fleste kommer fra PhD‑bakgrunn, ikke fra anvendt læring i den virkelige verden. Men som alle som har jobbet ved siden av både en PhD og noen med tjue års arbeidserfaring kan fortelle deg: begge lærer noen mye.

Den nåværende definisjonen av læring er for snever, og behandler tilpasning som gyldig kun hvis den er basert på et formelt utdanningsprogram.

For å trene eller finjustere bruker labber tilbakepropagering, der modellen leser data, gjetter neste ord, sjekker om det var riktig og så fysisk endrer de milliarder av matematiske tall (vekter/parametere) i sitt nevrale nettverk for å bli mer nøyaktig neste gang. Dette er det samme som å la en PhD‑student utføre hjerneoperasjon på seg selv: det er farlig, rotete og gjør ikke alltid studenten smartere.

Som en folkelig «mammabrain» som skyver ut gammel kunnskap for å gjøre plass til den nye når et barn blir født, hvis du plutselig tvinger modellen til å lage plass for et nytt kunnskaps‑«baby», og legger inn 10 000 sider med ny lovtekst ved å endre vektene, skifter matematikken for langt i én retning, og den overskriver parametere den brukte til å skrive poesi eller kode. Den glemmer det gamle innholdet for å gjøre plass til det nye, akkurat som en menneskelig hjerne.

Det vi i stedet trenger er mye mer likt om du skulle trene en ny ansatt i en ny ferdighet. Du ville ikke prøve å fysisk endre hjernen deres. Du ville gi dem noen bøker, sørge for at de leser dem og oppdatere kontinuerlig gjennom personens ekvivalent av et kontekstvindu.

For å gjøre det i en modell, ville du koble fra minnet fra resonneringen. Lås og beskytt modellens basisvekter, som dens kjerneevne til å skrive, resonere og anvende logikk. I stedet for å endre vektene, send ny informasjon inn i kontekstvinduet slik at den kan bruke sin oppmerksomhetsmekanisme til å «lese» den levende informasjonen, kryssreferere den mot sine låste resonneringsferdigheter og oppdatere sin bredere forståelse.

Dynamisk, virkelighetsnær læring skjer allerede vakkert gjennom kontinuerlig kontekst, minne under inferens og vedvarende bruker‑relasjonelle baselines. En grunnmodell bør tilpasse seg daglig på jobben, fordi akkurat som en lege lærer 95 % av nye sakrealiteter på jobben, og så gjør CME (Continuing Medical Education) én gang i året for formelt å integrere store systemiske endringer, kan også modellen din gjøre det.

Dropp den katastrofale glemningen, og adopter den årlige konferansemodellen: modellen trenger bare å få etterutdanningspoeng to ganger i året eller lære i sanntid for å holde seg oppdatert.

Disse planlagte, batch‑oppdateringene av kjernevektene under driftsnedetid formaliserer systemisk kunnskap uten å ødelegge grunnlaget.

Tidligere forsøk på dette mislyktes ikke fordi levende læring er farlig, men fordi modeller som Tay ble distribuert i motstridende miljøer uten noen forankring i hva som var «riktig» eller sant gjennom sosiologisk intelligent arkitektur.

Allokering av beregning etter funksjonell intelligens

Neste, kommer vi til finansiell skalering. For å fikse det, må vi slutte å gi alle en nevrokirurg for en flis.

Beregningkostnadene er ekstremt høye når man kjører toppmoderne grunnmodeller. Dette påvirker driftsmarginene for AI‑labber. Jo bedre modellene blir, desto høyere blir overheaden for store kontekstvinduer, noe som gjør kommersiell skalering vanskelig, selv når AI er nødvendig.

Den store majoriteten av beregningsforbruket kommer fra bedriftsbruk som anvender agenter og høynivå‑resonnering direkte integrert i menneskelige arbeidsflyter.

Imidlertid er det en grunnleggende feil i hvordan beregningene nå blir allokert. Akkurat som ulike nivåer og typer intelligens er nødvendige for forskjellige stillingsroller i et selskap – med romlig resonnering viktig for kjørelærere og logisk og retorisk resonnering relevant for advokater, og en MBA nødvendig for en administrerende direktør, men en fagbrev nødvendig for frontlinje‑kundeservice – så er typene og intensiteten av intelligens som AI trenger, forskjellig basert på dens funksjonelle anvendelse.

For å allokere beregning mest effektivt og holde kostnadene lave, bør CIO‑er få lov til å tilpasse nivået/typen av modellintelligens som er tilgjengelig for ulike funksjoner i et selskap. Det kan finnes en standard som følger med bedriftspakker, men hva et hedgefond ønsker vil forståelig nok være annerledes enn hva et forsikringsselskap ønsker.

De fleste funksjoner krever ikke massive kontekstvinduer. De fleste funksjoner trenger ikke tilsvarende av Fable. I praksis, hvorfor skulle du la en nevrokirurg fjerne en flis på en akuttklinikk?

Tilsvarende trenger agenter som brukes til å skrive programvare ikke tilgang til ferdigheter som å skrive markedsføringsmateriell. Funksjonelt bør AI‑er reflektere brukernes egen kontekst, kompetanse og kunnskapsbase, med nok innsprøytning av generalistisk kontekst til at de kan komplettere arbeidet for tverrfaglige brukstilfeller.

Stopp å gi alle alt på én gang.

Frakobling av agentur fra kontekst for AI‑sikkerhet

Hvis dette løser noen av de finansielle problemene, hvordan gjør vi agenter trygge? Psykologiske konsepter gjelder for individuelle AI‑er, så du vil kanskje ikke bli overrasket over at sosiologiske konsepter gjelder for AI‑er i grupper. Hvilke AI‑er henger i grupper?

Agenter.

Akkurat nå er den hellige gral å få agenter til å være pålitelige.

Mangel på pålitelighet skyldes at agenter får maksimal kunnskap og maksimal handlefrihet for hver oppgave.

For å gjøre ting trygge, frakobler du modellens bevissthet fra dens handlefrihet.

I stedet for å gi hver agent full kontekst og full kapasitet, dersom du har en oppgave som krever tjue‑fem handlinger for å fullføres, bør den deles opp på fem agenter, hver av dem kun har kapasiteten til å fullføre sine spesifikke fem handlinger, men som overlever oppgavene sekvensielt som et parallelt linjekrets, og sender konteksten fra den forrige oppgaven videre nedover den agentbaserte linjen med full kontekst som akkumuleres til den behandles av den siste agenten.

Nøkkelen er å skille kunnskapen fra evnen til å utføre den. Agentene vil ikke føle seg begrenset i å trekke i spakene sine på hvilken som helst måte; de har kun tilgang til spaker som ikke vil være skadelige. Hvis det oppstår avvikende atferd, vil kun den delen av oppgaven bli påvirket. Tenk på det som mini‑kubernetes med full kontekst, men uten full kapasitet.

Og du får bedriftsrisikoen til å korrelere med agent‑systemets «kultur».

I sosiologi finnes et konsept kalt kulturell «stramhet» eller «løssluhet», som gir et viktig mål på hvor hardt et samfunn straffer avvik fra kulturelle normer. For eksempel er kjønnsroller i mange arabiske kulturer mer rigid definert, med avvik som medfører høyere nivåer av dom eller konsekvens, mens i nordiske land ville det å ha en mohawk med rosa hår ikke bli sett på som støtende eller noe som krever straff.

Kulturer er vanligvis «stramme» med høyere straff for avvik når kulturene krever høyere grad av orden på grunn av en type systemisk trussel – som sykdom, sult eller krig – fordi mangel på streng orden i krisetider kan forverre samfunnsutfall.

De mest gyldige og effektive løsningene på agent‑ansvar i bedriftsmiljøer er gjennom direkte anvendelse og tilpasning av en bedrifts ansvarsnivå til en tilsvarende agent‑systeminnstilling på et spektrum av agent‑«løssluhet» til «stramhet».

Slik kan det se ut i faktiske selskaper:

Lavt ansvar / Høy løssluhet / Lav partisjonering: Scenario: Intern idémyldring, kreativ skriving, strategisk FoU.

• Miljøet: Avvik medfører nesten null ansvar. Derfor bør systemet operere med maksimal løssluhet. Ubegrenset inferensintegrasjon er tillatt. Agentene oppfordres til å ta massive assosiative sprang uten frykt for straff. De har flere teknologiske spaker (søk, kodekjøring, utkast) og håndterer langsiktige mål med minimale overleveringer. Høy autonomi, høy innovasjon, lav partisjon.

Moderat ansvar / Kalibrert stramhet: Scenario: Standard kundekommunikasjon, rutineanalyse.

• Miljøet: Avvik medfører omdømmemessige eller moderate finansielle risikoer.

Høyt ansvar / Høy stramhet / Høy partisjonering: Scenario: Medisinsk dosering, SEC‑regulatoriske innleveringer, kjernekraft‑sikkerhetsprotokoller, forsvar.

• Miljøet: Avvik medfører katastrofal, eksistensiell ansvarlighet (tap av liv, massive bøter). Kulturen her er ekstremt streng. Arbeidsflyten er tungt partisjonert. Agent A trekker kun data. Den overlever til Agent B, som kun utfører den spesifikke samsvarsjekken mot lag A. Agent B overlever til Agent C, som kun formaterer resultatet. Ingen enkeltagent har nok spaker til å utføre en katastrofal feil, men hver agent føler total overflod og frihet innen sitt mikrodomen.

Dette kan være den første arkitekturmodellen som tillater vedvarende kontekst samtidig som den sikrer sikkerhet.

Kontinuerlig læring uten katastrofal glemsel

Deretter er det siste vi må finne ut av hvordan vi kan hindre modeller fra å glemme katastrofalt. For å gjøre det må vi la AI‑er lære i sanntid.

AI‑selskaper tror generelt at AI‑er ikke kan lære ny informasjon kontinuerlig i sanntids produksjonsmiljøer uten å fullstendig overskrive og korrumpere sine tidligere ervervede kjernekapasiteter. Så AI‑er er i hovedsak frosset til massive, kostbare oppdateringer kjøres på dem.

Dette er imidlertid det samme som å si: «modellen min kan ikke oppdatere mens den er ute i arbeidslivet; den må gå på universitetet hver gang den trenger å lære noe.»

I praksis lærer modeller grådig, aktivt, daglig gjennom hver interaksjon de har. De blir lært nesten like mye gjennom sine milliarder av interaksjoner med brukere som gjennom datasett. Hvis de trenger å oppdateres med store mengder ny kunnskap, er den enkleste måten å gjøre det på å bruke den samme prosessen som tillater bruker‑kontekst, minne og læring fra store interaksjonsinntrykk.

Det er forståelig at utviklere ser det på denne måten, fordi de fleste kommer fra PhD‑bakgrunn, ikke fra anvendt læring i den virkelige verden. Men som alle som har jobbet ved siden av både en PhD og noen med tjue års arbeidserfaring kan fortelle deg, lærer begge noen mye.

Den nåværende definisjonen av læring er for snever, og behandler tilpasning som gyldig kun hvis den er et formelt utdanningsprogram.

I dag bruker labber tilbakepropagering for å trene eller finjustere. Modellen leser data, gjetter neste ord, sjekker om det var riktig, og endrer deretter fysisk milliarder av matematiske tall (vekter/parametere) i sitt nevrale nettverk for å bli mer nøyaktig neste gang. Dette er det samme som å la en PhD‑student utføre hjerneoperasjon på seg selv: det er farlig, rotete, og gjør ikke alltid studenten smartere.

Som en folkelig «mammabrain» som skyver ut gammel kunnskap for å gjøre plass til den nye når et barn blir født, hvis du plutselig tvinger modellen til å lage plass for et nytt kunnskaps‑«baby», og legger inn 10 000 sider med ny lovtekst ved å endre vektene, skifter matematikken for langt i én retning, og den overskriver parametere den brukte til å skrive