Anthropic-gastessay roept AI op om verdelingen van wetenschappelijke modellen terug te geven

Anthropic publiceerde op 6 november 2026 een gastessay over onderzoek, waarin de beursontvangers van AI for Science, Jakob Macke, Daniel Gedon en Stefan Wahl, betogen dat LLM-agenten gewogen verdelingen van plausibele wetenschappelijke modellen moeten teruggeven in plaats van één model dat het best op de gegevens aansluit. De auteurs zijn onderzoekers aan het ELLIS Institute Tübingen en de University of Tübingen.

Het centrale onderscheid dat zij maken, is dat tussen waarnemingen reproduceren en een systeem begrijpen. Verschillende parameterinstellingen kunnen gelijkwaardige uitkomsten opleveren, en uiteenlopende vergelijkingsstructuren kunnen dezelfde metingen verklaren. Een agent die één bevredigend antwoord geeft, verbergt daardoor alternatieven die op andere mechanismen of voorspellingen kunnen wijzen.

Modellen opbouwen, begrenzen en interpreteren

Het essay verdeelt wetenschappelijke modellering in drie terugkerende stappen: de onderdelen en vergelijkingen van een model opstellen, de instelbare parameters aan de hand van metingen begrenzen, en interpreteren wat de uitkomst zegt over het werkelijke systeem. Als historisch voorbeeld noemt het essay het zenuwcelmodel van Hodgkin en Huxley. Het duo koos voor een term met een vierde macht omdat eenvoudigere versies minder goed op hun gegevens aansloten. Huxley deed er vervolgens meer dan drie weken over om de vergelijkingen op te lossen met een handbediende rekenmachine, nadat de computer van Cambridge University in 1951 buiten werking was geraakt.

Juist die geschiedenis van verworpen alternatieven is van belang. De vierde macht ondersteunde een hypothese over verschillende bewegende onderdelen in een membraansluis; zonder te weten dat lagere machten niet werkten, zou de numerieke overeenkomst alleen geen rechtvaardiging zijn geweest voor die interpretatie. De auteurs gebruiken dit voorbeeld om een norm voor AI te formuleren: behoud wat het modelleringsproces aan het licht brengt, waaronder mislukte kandidaten en resterende onzekerheid.

Van parameterverdelingen naar modelverdelingen

Bayesiaanse inferentie pakt de parameterkwestie aan door plausibele instellingen weer te geven als een kansverdeling die rekening houdt met de aansluiting op de gegevens en met voorkennis. Conventionele likelihoodberekeningen zijn vaak niet uitvoerbaar voor mechanistische simulatiemodellen: een overzichtsartikel uit 2020 in PNAS legt uit dat de likelihood impliciet integreert over elk mogelijk uitvoeringstraject door een simulator.

Bij inferentie op basis van simulaties worden in plaats daarvan parameters bemonsterd, wordt de simulator uitgevoerd en wordt een neurale schatter getraind op de synthetische uitkomsten. De SNPE-methode vereist een uitvoerbaar model, vooraf vastgelegde parameterbeperkingen en waargenomen gegevens of samenvattende kenmerken, maar geen likelihoodberekeningen of differentieerbare modelcode. In een gesimuleerd experiment met Hodgkin-Huxley werden in één ronde 100,000 simulaties gebruikt om acht biofysische parameters te schatten op basis van zeven spanningskenmerken. Door kenmerken toe te voegen, werd de posterior smaller en bleek welke parameters door de waarnemingen sterk of juist zwak werden begrensd. Na de initiële simulatie- en trainingsfase kan het geleerde surrogaat nieuwe gegevens efficiënt beoordelen.

Het essay breidt deze redenering uit van parameters naar modelstructuren. Een LLM-agent kan code voor kandidaat-simulatoren schrijven en uitvoeren, de parameters ervan begrenzen, de uitkomsten met waarnemingen vergelijken en de vergelijkingen aanpassen. Afzonderlijke uitvoeringen kunnen verschillende maar even geschikte structuren opleveren; daarom stellen de auteurs een gewogen verzameling modellen voor: kandidaten krijgen meer gewicht naarmate de gegevens ze sterker ondersteunen, al te flexibele modellen krijgen minder waardering en sterkere kandidaten vormen de basis voor verdere varianten. Kenmerken die in de overgebleven modellen terugkomen, geven aan wat door het bewijs wordt ondersteund. Verschillen tussen de modellen maken duidelijk waar het bewijs beperkt is en welke experimenten mogelijk als volgende stap kunnen dienen.

ModelSMC doorzoekt uitvoerbare modellen

In een eerder artikel uit 2026 over ModelSMC formaliseerden Wahl en collega’s, onder wie Macke en Gedon, deze aanpak als probabilistische inferentie over uitvoerbare simulatorprogramma’s. Elke kandidaat is een deeltje dat door een LLM wordt voorgesteld of verfijnd op basis van eerdere implementaties, evaluatiefeedback en taakcontext. Weging op basis van likelihoods en herhaalde steekproeftrekking concentreren de populatie op veelbelovende structuren. Tijdens het zoeken worden de parameters uitgemiddeld, in plaats van voor elke structuur tot één geoptimaliseerde schatting te worden teruggebracht. In het werk wordt melding gemaakt van API-tegoed via het AI for Science-programma van Anthropic, dat op 5 mei 2025 van start ging voor geselecteerde onderzoekers die aan instellingen verbonden zijn, met bijzondere aandacht voor biologie en levenswetenschappen.

De experimenten omvatten synthetische epidemiologische dynamiek, een simulator voor de regulering van aldosteron in de nieren en een taak voor het ontdekken van structuren in Hodgkin-Huxley-modellen, waarbij 10 echte spanningsregistraties werden gebruikt. De auteurs melden dat modellen uit de neurowetenschap met een hoog gewicht herhaaldelijk een trage M-type-kaliumstroom toevoegden, soms naast een ander kanaal, en dat deze modelfamilie in negen van de 10 uitvoeringen als beste eindigde. De algehele kwantitatieve prestaties waren vergelijkbaar met die van FunSearch+ en een variant met één deeltje bij vergelijkbare budgetten; het geclaimde voordeel is dat modelfamilies met posterioranalyse kunnen worden onderzocht, niet dat de prestaties over de hele linie beter zijn.

Interpretatie en validatie

De gedocumenteerde kosten en afhankelijkheden van ModelSMC zijn net zo belangrijk als de resultaten. Herhaalde simulaties en likelihoodschattingen zijn rekenintensief, surrogaat-likelihoods kunnen bij een onjuist gespecificeerd model vertekening veroorzaken en het ontdekken van modellen is afhankelijk van het vermogen van de LLM om bruikbare structuren voor te stellen. Het gastessay plaatst daar een bredere kanttekening bij: deze systemen zijn grotendeels getest op het opnieuw ontdekken van bekende modellen, en er is weinig bewijs dat ze werken voor wetenschappelijke problemen waarop het antwoord onbekend is.

De auteurs noemen interpretatie de moeilijkste stap om te delegeren, omdat de mate waarin een model op de gegevens past meetbaar is, terwijl een beter begrip geen even duidelijk doel heeft. Als een systeem wordt verstoord, versterkt overeenstemming tussen modellen die op de gegevens passen een voorspelling, terwijl onenigheid onopgeloste mechanismen blootlegt en richting kan geven aan het volgende experiment. Die vereiste wordt belangrijker als AI de historische druk wegneemt om compacte, voor mensen leesbare modellen te maken, omdat grotere modellen de behoefte aan expliciete onzekerheidsmarges en korte mechanistische samenvattingen vergroten.

De norm die de auteurs stellen, gaat daarom verder dan een model dat goed op de gegevens past: een AI-systeem moet de onderbouwing van zijn antwoord documenteren, met inbegrip van de metingen die elk onderdeel vastleggen, de kandidaten die afvielen, de resterende onzekerheid en de vragen die tijdens het onderzoek naar voren kwamen. Tegen deze beperkte basis voor validatie is de doorslaggevende vraag of het behouden van modelverdelingen, samen met de geschiedenis van verworpen alternatieven, tot inzicht leidt in wetenschappelijke vraagstukken waarop werkelijk nog geen antwoord bestaat.