Anderson ááá±á¬áá·áº
AI Chats á¡ááœáẠáá¯áá±ááá á¬áááºážá¡áá áºáá±ážááœááºáž 'ááá¯áááº' á á»á±ážááŸá¯ááºáž
áá¯áá±ááá¡áá áºá¡á AI áááºáá±á¬ááºááŸá¯áá»á¬ážááẠááá¯áááºáá»á¬ážááŒáá·áº ááœá±áá±á¬ááºážáá¶ááá·áºáááºážáááºážááẠá¡áá¯á¶ážááŒá¯áá°áá»á¬ážáá¶á០á¡ááŸááºááááºáá¯ááºáá»á ááááºááᯠáá¯á¶ážááœááºáá¬ážáááºáᯠáá±á¬áºááŒáá¬ážáááºá áááºáá±á¬ááºááŸá¯áá±ážáá°áá»á¬ážááẠááá¯áááºáá¶áá«ááºáá»á¬ážááᯠáá±á¬áºááœáŸááºážááŒááºáž ááá¯á·ááá¯áẠáá»áŸáá¯á·ááŸááºááŒá±ááŸááºážáá»á¬ážá¡ááœááºáž áá»á±á¬áºááœá¬ážááŒááºážááŒáá·áº á¡áááŒá±ážááœá±ááᯠááá¯ážááŒáá·áºá á±ááá¯ááºáááºá á¡áá»áá¯á·áá±á¬á áá áºáá»á¬ážááẠoutput ááá¯áááááá¯ááºá á±ááá·áº á¡ááá¯áá¯ááºáááºážá ááºáá»á¬ážááá¯áá¯ááºáá±á¬ááºáá±á¬áºáááºáž áá®ááºááœááºáá±á«áºáá¬áá²ááŒá áºáááºá á á¬áááºážá á áºáááááá¬áá»á¬ážááᯠá¡ááá¯ááŒá¯áá¬ážáá±á¬áºáááºáž á¡ááŸááºáááẠááŒá®ážááŒááºááŸá¯áááŸááá² áá¯á¶ážá áœá²áá°áá»á¬ážá áááºážááá¯á·ááá±á¬áá±á«ááºáá¬ážáááºááẠááá¯áá±ážáá±á¬ááºááẠáá»ááºáá¬ážáá²á·áááºá
ááá á¹á ááá¯ááºážáá®ážáá«ážááœááºá áá»áœááºá¯ááºááá¯á·ááẠáá¯á¶ážá áœá²áá°áá»á¬ážá¡áá±ááŸáá·áº AI-powered chat interfaces áá²á·ááá¯á·áá±á¬ AI-powered chat interfaces á¡ááœáẠáá±ážáá±á¬ááºáááºá ChatGPT-4oá áá±á¬áá±á¬ááẠááá¯ááºážáá¬áááºá ááá¯áááº: á¡áá¯á¶ážááŒá¯áá±á ááºá¡ááœááºáž ááááááŒá¯áááá±á¬ áááŒááºááá¯ááºáá±á¬ á á¬áá¬ážáá°áá áºáá»á¬ážááᯠááœá±áá±ážáá»á±ááẠáááºááœááºáá»ááºáá»á¬ážá¡ááœáẠá¡ááá¡áá»áááá»á áœá¬ áá±ááœááºáá¬ážáááºá áá²ááŸááºááŸá¯áá áºáá¯á á®ááᯠááá¯áááºá¡áá±á¡ááœááºááŒáá·áº á á»á±ážááŸá¯ááºážáááºááŸááºáá¬ážáá±á¬áºáááºážá á¡áá¯á¶ážááŒá¯áá°ááẠá¡áá±á¡ááœááºááᯠá¡áááºááŒá¯ááẠááá¯ááºááá¯ááºáááºážáááºážáááŸááá«á
áá»áœááºá¯ááºááá¯á·ááááºáá°áá¬ážáá±á¬ 'ááá¯áááº' áá°áá áºá¡ááœáẠáá»áœááºá¯ááºááá¯á·áááŸááá±á¬á¡áá¬ááᯠáá»áœááºá¯ááºááá¯á· (á¡áá±á¬ááºážáá¯á¶áž) áá á¯á¶áááºá áœá¬ áá¬ážáááºáá¬ážáá±á¬áºáááºážá ááá¯áááºá¡ááŒá±áá¶ááœá±áá±ážáá»á±ááŸá¯ááẠáááºáá±á¬ááºááŸá¯áá±ážáá°áá»á¬ážááŒá¬ážááœáẠá á¶áá»ááºážáááºááŸá¯áá áºáá¯ááŒá áºáá¬ááŒá®áž ááá±áá¬áá±á¬ áá°ááá»ááºáá áºáá¯á¡ááŒá Ạáááºáá±ááŒááá¯ááºááá·áºá¡áá¬á¡áá±á«áº ááŸá®ááá¯á¡á¬ážáá¬ážáᬠáá¯á¶ááŒááºá áááºáá»ááá¯ááºáá«áááºá
ááá¯áááºá áá¬ážáá¯á¶ážáá»á¬áž
ááá¯áááºáá áºáá¯ááẠá áá¬ážáá¯á¶ážáá áºáá¯á¶ážááŸáá·áº á¡áá±á¬áºáá±ážáá°áá±á¬áºáááºáž áááºážááẠáááŒá¬ááá¡áá¬ážááá¹áá¬ááºáá°áá±á¬áºáááºážá áááºáá±á¬ááºááŸá¯áá±ážáá°á¡áá»á¬ážá á¯ááẠá áá¬ážáá¯á¶ážáá»á¬ážá áááºáá¯á¶á¡ááŸááºá¡áá¬ážáá»á¬ážá ááá¯á·ááá¯áẠá áá¬ážáá¯á¶ážá¡ááá¯ááºážá¡á áá»á¬ážáá²á·ááá¯á·áá±á¬ á á¬áá¬ážáá°áá áºáááºáá»á¬ážááᯠáá±á¬áºááŒáááºá¡ááœáẠ'ááá¯áááº' áá°áá±á¬ áá±á«áá¬áááᯠá¡áá¯á¶ážááŒá¯ááŒáááºá á áá¬ážáá¯á¶áž 'ááá¯á¶ááá¯ááºá áá¬'á¥ááá¬á¡á¬ážááŒáá·áºá á áá áºáá áºáá¯á áá áºáá¯áááºážáá±á¬ ááá¯áááºáá áºáá¯á¡ááŒá Ạáá±ááœááºááá¯ááºáá±á¬áºáááºáž á¡ááŒá¬ážáá áºáá¯ááᯠááœá²áá¯ááºááá¯ááºáááºá un, áá¯á¶ááŒáẠááŸáá·áº áááºááá¯ááºá¡ááá¯ááºážáá áºáá¯á á®ááŒáá·áº áá¯ááºáá»á áááẠááá¯ážáá¬áááºá
á€á áá áºááẠá¡áá¯á¶ážááŒá¯áá°ááá·áºááœááºážááá·áº á á¬áá¬ážááŸáá·áº áá±á¬áºáááºá ááŒááºááŒá¬ážá ᬠááŸá áºáá¯á áá¯á¶ážá¡ááœáẠá¡áá»á¯á¶ážáááºááŒá®áž á¡ááá¯áá«áá°áá áºáá»á¬ážá á á¯á á¯áá±á«ááºážá¡áá±á¡ááœááºá¡áá±á«áº áá°áááºá á á»á±ážááŸá¯ááºážááŒáá·áº á¡áá»á¯á¶ážáááºáá«áááºá
á¡áááºá¡áá²ááá±á¬á· áá¯á¶ážá áœá²áá°ááœá± á¡ááœááºáá² ááŒá áºáá«áááºá áá®ááŒá áºá ááºááᯠáááŒááºááá°ážá. á áá¬ážááá¯ááºážáá áºáá¯ááŒá áºááœá¬ážáá±áá»áááºááœáẠá¡ááºáá¬áá±á·á áºá¡áá»á¬ážá á¯ááẠááá¯áááºá¡áá±á¡ááœááºáá»á¬ážááᯠáááŒááá²á ááá¯áááºáá»á¬ážááᯠááœááºáá»ááºááá·áºáááºážáááºážááŸá¬ ááŒááºáááºáá¯ááºáá±ážááẠáááºáá²áááºá áá±ááœááºááŒáááºáá±á¬áẠááŒá®ážáá±á¬áẠá¡ááŒá±á¬ááºážááŒááºáááºá áááºážááẠááá¬ážáá»áŸáááŸá¯ ááŸáá áááŸá ááŒá±á¬ááŒááẠáá±á¬ááºáá»áá±ááŒá®áž á¡áá¯á¶ážááŒá¯áá° ááŒááºááá·áºá¡áá¬ááŸáá·áº áááºážááá¯á· áá±ážáá±á¬ááºáááá·áºá¡áá¬ááá¯á·ááŒá¬áž áááá¯ááºáá®ááŸá¯áá»á¬áž ááŒá áºáá±á«áºáá±áá«áááºá
áááŒá¬áá±ážáá®á áá¯áá±ááááŒá¯áá»ááºáá»á¬ážááẠááá¯ááá¯áááºááŸáá¯ááºážáá±á¬ ááŒá¿áá¬áá»á¬ážááᯠáá±á¬ááºááŒáááº- áá¥á®ážáááºážáá±á·áá¬ááŸá¯ á¡áá¯á¶ážááŒá¯áá°áááŒááºááá¯ááºáá±á¬áááºážáááºážáá»á¬ážááŒáá·áº ááá¯áááºá¡áá±á¡ááœááºááᯠáá±á¬ááºážááœá á±ááŒááºážááŒáá·áº áááºáá±á¬ááºááŸá¯áá±ážáá°áá»á¬ážááẠá ááºážáá»ááºážáá»á¬ážááᯠáááºáá±á¬á·ááŸááá»áá¯ážáá±á¬ááºáá² ááœá±ááá¯áá±á¬ááºážááá¯ááºáá¯á¶ááᯠááŒááááºá á¡ááŒá¬áž áááºááá·áºá¡ááºáá¬áá±á·á áºáá»á¬ážááŒáááŒááºážááŸáá·áº á¡ááŸááºááááºááœá±áá±á¬ááºážáá¶áá¬ážááá·áºá¡áá¬ááá¯á·ááŒá¬áž áááá¯ááºáá®ááŸá¯ááᯠáá±á¬áºááŒá á±ááŒá®áž á¡áá¯á¶ážááŒá¯áá°áá»á¬ážááᯠáááá±á¬ááºááŸá¯áááŸáááŒá±á¬ááºáž áááºáá±á¬ááºáááºááŸá¬ážááŒá áºá á±áááºá áá áºáŠážááŸáá·áºáá áºáŠáž áááá áá±á¬áºáááºáá»á¬áž áá¯á¶ááŸááºáá¯ááºáá¯ááºáá¯á¶á¡á¬áž áá¯á¶ážá áœá²áá°á¡á¬áž ááŒáááŒááºážáááŸáááá·áº á¡ááœááºážááá¯ááºážáá»áá¯ážááŒá±á¬ááºážáá®áá»á±á¬áºááŸá¯ á¡ááá·áºáá»á¬ážááᯠáá¯ááºáá±á¬áºááŒááá±á¬áºáááºáž ááŒá±á á¬ááœáẠáá±á«áºáá¬áá²ááŒá áºáááºá
ááœá±á·ááŸááá»ááºáá»á¬ážááẠá áá áºáá áºáá¯ááᯠáá¯á¶áá±á¬áºáá¬ážáááºá áá¯á¶áááẠáááá»ááŒááºáá¬ážáá±á¬ ááááºážááá¬ááºážáá»á¬ážááŒáá·áº áááá»áá±á¬ ááááºážááá¬ááºážáá»á¬ážááᯠáá¯á¶ážááœááºáá¬ážáá±á¬áºáááºážá áááºážááẠáá®ááá¯ááºážááŒá±á¬áá·áºááŒá áºá á±á ááœá²á·á ááºážáá¯á¶ááá¯ááºáᬠáá»áá¯á·ááœááºážáá»ááºááŒá áºá á±á ááááºááẠá¡áá°áá°áááºááŒá áºáááº- á¡áá¯á¶ážááŒá¯áá°áá»á¬ážááẠáááºážááá¯á·ááŒááºááá¯ááºáááºááẠááá¯ááá¯áá±ážáá±á¬ááºááŒááŒá®áž áááºážááá¯á· áá»áŸá±á¬áºááá·áºáá¬ážáááºááẠáááŒá¬áá ááá¯áá»á¬ážáááºá
Dozen áá²á· á á»á±ážáááºáá¬áá¬áž?
áá²ááŸá¬ ááá á€á á¬áááºážáá»á¬ážáá²á០- Is áááºážáá²á· LLM á áááºážááᯠááœá±ááá¯áá±ážáá±áá¬áá¬ážá Tokenizationá ááœáá·áºáááºážááŒááºáá¬ááŸá¯ááŸáá·áº áááºáá¯á¶ážáá»á¬ážMax Planck Institute for Software Systems á០áá¯áá±áá® áá±ážáŠážá០áá¯áá±áá®áá»á¬ážááẠááá¯áááºá¡ááŒá±áᶠááœá±áá±ážáá»á±ááŒááºážá á¡áá¹ááá¬ááºáá»á¬ážááẠááœáá·áºáááºážááŒááºáá¬ááŸá¯ááẠáá»á±á¬áºááœááºááŒá®áž áááºáá±á¬ááºááŸá¯áá±ážáá°áá»á¬ážá¡ááœáẠááá¯áááºá¡áá±á¡ááœáẠááá¯ážáá¬á á±ááẠááœááºážá¡á¬ážáá±ážááŸá¯áá áºáá¯á¡á¬áž ááœáŸááºááŒáááº-
'ááŒá¿áá¬á á¡áááá¡áá»ááºááŸá¬ ááŒáá¯ážáá áºáá»á±á¬ááºážá áááºá¹áá±áááŒá¯ááŒááºážááŸá¬ áá°ážááŒá¬ážááŸá¯áááŸááá±á¬ááŒá±á¬áá·áº ááŒá áºáááºá á¥ááá¬á¡á¬ážááŒáá·áºá á¡áá¯á¶ážááŒá¯áá°ááẠâáá±á¬ááºááẠNeurIPS ááẠá¡áááºááŸá¬ááŸáááááºážâ áá°áá±á¬ á¡áá»ááºááᯠááá·áºááœááºážá ááºážá á¬ážáá«á áááºáá±á¬ááºááŸá¯áá±ážáá°áá¶á áááºáá±á¬ááºááŸá¯áá±ážáá°á áááºážááᯠLLM áá áºáá¯á¡ááŒá ẠááŒáá·áºááœááºážááŒá®áž áá±á¬áºáááºááẠâ|San| Diego|â á output ááá¯áá¯ááºáá±ážáá«áááºá ááá¯áááºááŸá áºáᯠáá«áááºáááºá
'á¡áá¯á¶ážááŒá¯áá°ááẠáá»áá¯ážáááºááœá¬ážááŒááºážáá¯ááºáááºážá ááºááᯠáááááá°áááá±á¬ááŒá±á¬áá·áºá ááá¯ááºááá¯ááºáááºáá±á¬ááºááŸá¯áá±ážááá·áºáááºáá±á¬ááºááŸá¯áá±ážáá°áá áºáŠážááẠá¡áááºážáá¶á á¬ááŒá±á¬ááºážááá¯ááẠáááŒá±á¬ááºážáá²áá² á¡áá¯á¶ážááŒá¯áá°áá¶ááá¯á· á¡ááœááºáááá¯áááºáá°ááŒááºážááᯠááŸá¬ážááœááºážá áœá¬á¡á á®áááºáá¶ááá¯ááºá áœááºážááŸááá«áááºá á¥ááá¬á¡á¬ážááŒáá·áºá áááºáá±á¬ááºááŸá¯áá±ážáá°ááẠâ|S|a|n||D|i|e|g|o|â áááºá¹áá±áááᯠááá¯ážááŸááºážá áœá¬áá»áŸáá±ááá¯ááºáááºá ááŸá áºáá¯á¡á á¬áž ááá¯áááºááá¯ážáá¯á¡ááœáẠá¡áá¯á¶ážááŒá¯áá°ááᯠááœá±ááá¯áá±ážáá«á'
á áá¹áá°ááẠááŒááºáá¬áá±á¬á¡ááœááºááá¯ááŒá±á¬ááºážáá²ááŒááºážáááŸááá²á áá¯á¶ááŸááºá áá¬ážááŸááºáááºáááºáá»á¬ážá¡á±á¬ááºááœáẠááŒá áºááá¯ááºááŒá±áááŸáá á±áá² á€ááá°áá®áá±á¬ááœááºáá»ááºááŸá¯áá»áá¯ážáá¯ááºáá±á¬ááºááá¯ááºááá·áº ááœá±ážáá±á«áºááá¯ááºá áœááºážááᯠáááºááŒáá¬ážáááºá áá±á¬áºáááºáá»á¬ážá០á ááºážáááºáá²á·áááºá áá±á«áºááá¯ááŸá¯áá»á¬áž, Mistral ááŸáá·áº áááºáá®ážááŸáẠGemma á á®ážáá®ážáá»á¬ážá á¡á á áºá¡ááŸááºá¡áá»ááºááŒááŸá¯áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯áá¬á áááºážáááºážááẠáááŸááºááááºáááŒáá² ááá¯ááºážáá¬ááá¯ááºáá±á¬ ááœá±ááá¯áá±á¬ááºáá¶ááŸá¯áá»á¬ážááᯠáááŸááááº-
'ááŒá áºááá¯ááºááœááºáááŸááá±á¬ ááááºážááá¯á·ááŒááºáž' ááᯠá¡áá¯á¶ážááŒá¯á ááá¯áááºáá±á¬ááºážááœááŸá¯á á¡ááá·áºáá áºáá¯á á®ááẠAlgorithm 1 ááá¯á¡áá¯á¶ážááŒá¯ááá·áºáá¶á·ááá¯ážáá°áá áºáŠážááŸáááŸááá¬áá±á¬ááœá±ááá¯áá±á¬ááºážááá·áºááá¯áááºáá»á¬ážááá¬ááá¯ááºááŸá¯ááºážááá¯ááŒááááºá ááá°áá®áá±á¬ááá°áá¬áá±á¬ááºáá»á¬áž (m ááŸáá·áº p) á¡á±á¬ááºááœáẠ400 LMSYS prompts áá»á¬ážááŸá¡ááœááºáá»á¬ážáá®ááá¯á·á á¡ááœááºá¡á¬ážáá¯á¶ážááᯠá¡áá°áá»ááẠ1.3 ááœáẠáá¯ááºáá±ážááŒá®áž 90% áá¯á¶ááŒááºááŸá¯ááŒá¬ážáá¬áááᯠááœááºáá»ááºááẠáááºáááºáá áºáá¯áá»áŸáẠá¡áááºáááºáá«ážááŒáááºááŒáá·áº áá¯ááºáá±ážáá«áááºá á¡áááºážá¡ááŒá áº- https://arxiv.org/pdf/2505.21627
á¡ááá¯áá«ááŒá¿áá¬ááá¯ááŒá±ááŸááºážáááº, áá¯áá±áá®áá»á¬ážáááœá±áá±ážáá»á±ááŸá¯á¡áá±á«áºá¡ááŒá±áá¶ááŒá®ážáá±á¬ááºážááá¯áá²á·áááºá áá¬ááºáá±á¬ááºá¡áá±á¡ááœáẠááá¯áááºáá»á¬ážáááºá á€áááºááŸá¬ áááºáá±á¬ááºááŸá¯áá±ážáá°áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááŸá¯ááᯠááá¯ážááá¯ážáá¬ážáá¬áž á¡á á®áááºáá¶ááẠá¡ááŒá±á¬ááºážááŒáá»ááºáá±ážááá·áº áá áºáá¯áááºážáá±á¬ áá»ááºážáááºááŸá¯ááŒá áºáááºáᯠá á±á¬áááááºáᬠáááºážááá¯ááºááẠáá»áŸááá±á¬á á»á±ážááŸá¯ááºážááŒá áºáá«áá áá»áŸáá¯á·ááŸááºáá¬ážáá±á¬ áá¯ááºáááºážá ááºáá»á¬ážááá¯ááºáá² ááŒááºááá¯ááºáá±á¬ áá¬ááºáá±á¬ááºáá»á¬ážááŸáá·áº ááœá²áá»áááºááŒááºážááẠá áá á áºááẠáá áºáá¯áááºážáá±á¬ ááœá±ážáá»ááºááŸá¯ááŒá áºáááºá áá¬ááºáá±á¬ááºá¡ááŒá±áá¶á á»á±ážááŸá¯ááºážááẠááá¯áá±á¬ááºážááŒá®áž ááá¯ááá¯áááá±á¬ááºáá±á¬ ááááºáá»á¬ážááᯠáá¯áá»á®ážááŒáŸáá·áºáá»áááºááœáẠááŸá¬ážááœááºážááááºážááá¯á·ááẠá¡ááŒá±á¬ááºážáááºážááᯠáááºááŸá¬ážáá áºáááºáᯠááŒááºážáá¯á¶ááŒáááºá
á€ááœáẠá¡ááá¯ááá·áºááœááºážá ááºážá á¬ážá áá¬áá»á¬ážá áœá¬ááŸááá±á¬áºáááºáž (ááá á¹á á¡áá»á¬ážá á¯ááœáẠá á¬áá±ážáá°á áááºáá¶áá¬ážáááº)á ááááŠážá áœá¬á á¡ááá¯ááŒá¯áá¬ážáá±á¬ áá¬ááºáá±á¬ááºá¡ááŒá±áá¶á¡á á®á¡á á¥áºááẠáá±á¬ááºážáá°á¡á¬áž á á¬ážáá¯á¶ážáá°ááẠáá¬ááœááºá á±ááá·áº áá±á¬ááºáááºá á®ážááœá¬ážáá±ážááá¯ááºáᬠáá¯áá¹áááá±áááᯠááááºáááºáá±ážáááº-
'[A] á¡ááŸá¬ážá¡ááœááºážáááŸááá±á¬ áááºáá±á¬ááºááŸá¯áá±ážáá°ááẠá¡ááá¯áá¯á¶ážááŒá áºááá¯ááºáá±á¬ á¡ááœááºááá¯áááºá¡á á®á¡á ááºááᯠáá¯ááºáá¯ááºááẠááŒááºáá¬ážáá±á¬áááºáá¯á¶ážáá»á¬ážááŸáááŒá®áž BPE áá²á·ááá¯á·áá±á¬ áááºááŸáááá¯áááºáá°ááŒááºážááá¯ááºáᬠá¡ááºáááá¯áá®áááºáá»á¬ážááᯠááŒáŸáá·áºáááºáááºá ááá¯á·ááŒá±á¬áá·áº áááºážááá¯á·ááẠá¡ááœááºááá¯áááºáá¶áá«ááºááᯠáááºááá¯ááºááá»áŸ áá»á¯á¶á·ááá¯ááºá á±áááºá
á€ááœáẠá¡áá±á¬ááºážááŒááºáá±á¬ motif ááŸá¬ áá±á¬ááºážáá°á¡á¬áž áá»á áºáá»á áºáá»á áºáá»á áºááŸáá·áº ááá¯ááá¯á¡áááá¹áá«ááºááŸááá±á¬ áááºááá¯ážááŸááá±á¬ áá¯ááºáá¯ááºáá»á¬ážáá¯ááºáá¯ááºááẠááœááºážá¡á¬ážáá±ážáá¶ááá±á¬ááŒá±á¬áá·áºááŒá áºáááºá áááºááœá±á·ááœááºá áááºáá±á¬ááºááŸá¯áá±ážáá°á¡ááœáẠá á¬áá¬ážá¡áá±á¡ááœááºááᯠáá»áŸá±á¬á·áá»ááẠáá®ááááºážáá«ážáá±á¬ áááºážáááºážáá»á¬áž áááááá¬áᬠááŸááá«áááºá
áá¯áááá¡áá±ááŸáá·áºá áá¯áá¹ááá®áá»á¬ážááẠarcane ááá¯áááºá áá áºá០ááá¯ááá¯ááŸááºážáááºážááŒá®áž á á¬áá¬ážá¡ááŒá±áᶠááœá±áá±ážáá»á±ááŸá¯áááºážáááºážááá¯á· áá°ážááŒá±á¬ááºážáááºá¡ááœáẠáá¯áá¹ááá®áá»á¬ážááẠá¥ááá±ááŒá¯ááẠááá¯á¡ááºáááºáᯠá á¬áá±ážáá°á áá°áááẠáá»áá¯ážááŒá±á¬ááºážáá®áá»á±á¬áºáá«áááºá á¡á±á¬ááºááŒá±ááœááºá áá±á¬ááºážáá»ááºážáá°á áááºááá·áºáá¯ááºáááºážáá áºáá¯ááẠá€á á»á±ážááŸá¯ááºážáá¯á¶á á¶ááŒáá·áº áááºážááá¯á áááºááŒááºážááŒáá·áº áááºážááá¯á·ááá¯ááºáá¯ááºááᯠááœá²ááŒá¬ážá á±ááẠáá¯á¶ážááŒááºááá¯ááºáááºá ááá¯á·áá±á¬áº á¡ááŸááºáááẠááŸááºááŒáá¯ááºááá¯ááºáá±á¬ áá¯ááºáá¯ááºááŸááá° áááºáá°áááᯠ(áááºáááá·áºáá±á¬ á¡ááá¯ááºážá¡áá¬ááŒáá·áº áááºáááºáá±áááºá EEE á¡áá»áá¯ážá¡á á¬áž) áá®ááá¯áá¯ááºááá¯á· ááœááºážá¡á¬ážááá±ážáá°ážá
áá±á¬ááºáá¯á¶ážááœááºá á á¬áá±ážááá¬áá»á¬ážá¡ááá¯ááŒá¯ááá·áºáá²á·ááá¯á·áá±á¬ ááŒááºážáááºážáá±á¬ á¡ááºáááá¯áá®áááºáá»á¬ážááẠáááºážááá¯á·áááá¯ááºááá¯ááºááœááºáá»ááºááŸá¯áá¯ááºáá»á ááááºááŒáá·áº áá¬áááºááŒá áºáááºá 'á¡ááá¯áá±á¬ááºáž' ááœááºáá»ááºááŒááºážá áá¯ááºáá»á ááááºááẠááŒá áºááá¯ááºáá»á±ááŸááá±á¬ á¡áá»áá¯ážá¡ááŒááºááẠáá»á±á¬áºááœááºáá±áá«áá á¡ááá¯áá« á¡á á®á¡á ááºááẠá¡áá»áá¯ážá¡ááŒááºáááŸááááºááŸá¬ áááºááŸá¬ážáá«áááºá ááá¯á·áá±á¬áºáááºáž áá¯áá±áá®áá»á¬ážá áááºážááá¯á·á á¡ááá¯ááŒá¯áá¬ážáá±á¬ á¡ááºáááá¯áá®áááºááẠáááá±á¬ááºááŒá®áž áá»áœá±áá¬ááŒá±á¬ááºáž á¡áá±ážáá±ážáááºá
á á¬áá±ážááá¬áá»á¬ážááẠáááºážááá¯á·á áá®á¡áá¯áá®áá»á¬ážá¡ááœáẠáá¯ááºááᯠáá±ážáááºá GitHub ááŸá¬.
ááá¯ááº
áá¯ááá á áá¹áá° - áá±á«ááºážá áẠáááŒááºááá¯ááºáá±á¬ ááá¯áááºáá»á¬ážá ááŒááºááá¯ááºáá±á¬ áá±ááºáá»á¬áž- Opaque LLM áááºáá±á¬ááºááŸá¯áá»á¬ážááœáẠááŸááºáá¬ážáá±á¬ áá¯ááºáá±á¬ááºáá»ááºáá»á¬ážááᯠá á áºáá±ážááẠá¡áá±ážáááŒá®áž ááá¯á¡ááºáááºUniversity of Maryland ááŸáá·áº Berkeley á០áá¯áá±áá®áá»á¬áž - á á®ážááœá¬ážááŒá áºáá¬áá¬á áá¬ážáá±á¬áºááẠAPI áá»á¬ážááœáẠááŸá¬ážááœááºážáá±á¬áááºáá¯á¶ážáá»á¬áž ááẠááá¯áááºááœá²áá¯ááºááŒááºážá¡ááœáẠá¡ááá·áºá¡áááºáááŸááá±á¬áºáááºáž áááºáááºážááá¯ážááŒá±á¬ááºáž á á±á¬áááááºáááºá á¡áááºážáá áºáá¯áá¯á¶áž áá»áŸáá¯á·ááŸááºáá¯ááºáá±á¬ááºááŸá¯áá»á¬ážá
áááºážááá¯á·ááœáẠá¡ááœááºážááá¯ááºáž áá±á¬áºáááºáá±á«áºááá¯ááŸá¯áá»á¬ážá ááŸááºážááááºááŒááºááŸá¯á áááááá¬á¡áá¯á¶ážááŒá¯ááŸá¯ááŸáá·áº ááá¯ááºá á¬ážááŸááºá¡áá»á¬ážá¡ááŒá¬áž á¡ááŒááºá¡ááŸááºáá¯á¶á·ááŒááºááŸá¯áá»á¬áž áá«áááºááẠ- á¡á¬ážáá¯á¶ážááᯠááŒááºááá¯ááºááŸá¯ ááá¯á·ááá¯áẠáá¯á¶á·ááŒááºááŸá¯áááŸááá² á¡áá¯á¶ážááŒá¯áá°áᶠáá®ááºáá±á¬ááºááœá¬ážááá¯ááºáááºá
á¡ááááá¶á·ááá¯ážáá±ážáá°áá»á¬ážáá áºáá»áŸá±á¬áẠáá»áá¯ážááŒá±á¬ááºážáááºááŒááºááŒááºáž LLM API áá»á¬ážá á á»á±ážááŸá¯ááºážááŸáá·áº ááœáá·áºáááºážááŒááºáá¬ááŸá¯á á á¬áááºážááœááºážáá¬ážáá±á¬ áááºáá±á¬ááºááŸá¯áá»á¬ážá¡á¬ážáá¯á¶ážááẠá¡áá¯á¶ážááŒá¯áá°áá»á¬ážá¡á¬áž áá»áŸáá¯á·ááŸááºá¡ááœááºážááá¯ááºážáá»áá¯ážááŒá±á¬ááºážáá®áá»á±á¬áºááŸá¯ááá¯áááºáá»á¬ážá¡ááœáẠá¡áááŒá±ážááœá±áá±á¬ááºáá¶ááŒá®áž áááºááá·áºá¡áá¬áá០á€ááá¯áááºáá»á¬ážááᯠruntime ááœááºááŒááºá¡á±á¬ááºááá¯ááºáá«á OpenAI á o1-pro áá±á¬áºáááºááœáẠááá¯áááºáá áºáááºážáá»áŸáẠClaude Opus 4 ááá¯á·ááá¯áẠGemini 2.5 Pro ááẠáááºáááá¯áá±á¬ ááá¯áááºáá»á¬ážááᯠá¡á¬ážááœááºážááŒááºážááŒáá·áº áá¯ááºáá»á ááááºáá»á¬ážááẠáááááá¬áá¬ááœá²ááŒá¬ážáááºá á¡áááºážá¡ááŒá áº- https://www.arxiv.org/pdf/2505.18471
ááá¬ážááá¯ážáá» ááœá±áá±á¬ááºážáá¶ááŒááºážáá»á¬ážááŸáá·áº ááá°áá²á áááºáá±á¬ááºááŸá¯áá»á¬ážá á¡áá±á¡ááœááºááŸáá·áº á¡áááºá¡ááœá±ážááᯠá áá á áºááá¯ááºááá·áº áá±áá¬ááœáẠááá±á·áá±áẠLLM ááááºáá±á¬ááºážáá»á¬áž áááºáááºáá±áááºáᯠá á¬áá±ážáá°á ááŒááºážááá¯áá¬ážáááºá áááºáá±á¬ááºáá¯á¶ ááœáá·áºáááºážááŸá¯: á¡áá¯á¶ážááŒá¯áá°áá»á¬ážá¡á¬áž á¡á á®áááºáá¶áá¬ážáá±á¬ ááá¯áááºááŸáá·áº API á¡áá¯á¶ážááŒá¯ááŸá¯á¡áá±á«áº á¡ááŒá±áá¶á áá±á¬ááºáá¶áááºááŒá áºáá±á¬áºáááºáž á€áááºááá áºáá»á¬ážááẠá¡ááŸááºáááẠááá¯á·ááá¯áẠááá¯á¡ááºáá±á¬ á¡áá¯ááºááŒá áºááŒá±á¬ááºáž á¡áááºááŒá¯ááẠáááºážáááºážáááŸááá«á
á á¬ááœááºááœáẠááŒááºááŸááºááŒááºážá á¡ááá áá¯á¶á á¶ááŸá áºáá»áá¯ážááᯠááœá²ááŒá¬ážáá±á¬áºááŒáááº- ááá¬á ááœá±ááŒá±ážáá±á¬ááºážááœááŸá¯á¡áá¯á¶ážááŒá¯áá°á¡áá»áá¯ážáááŸááá² ááá¯ááẠááá¯á·ááá¯áẠáá±á«áºááá¯ááŸá¯á¡áá±á¡ááœáẠááá¯ážáá¬áá«áá ááŸáá·áº á¡áááºá¡ááœá±áž ááŸááá·áºáá»ááŒááºážáá áœááºážáá±á¬ááºáááºáááá·áºáá±á¬áºáááºáá»á¬áž ááá¯á·ááá¯áẠáááááá¬áá»á¬ážááᯠááá®áá®áá¶á¡á áááºá¡ááá¯ááºážáá»á¬ážá¡á á¬áž ááááºáááááºá¡áá¯á¶ážááŒá¯ááá·áºáá±áá¬-
'LLM APIs áá»á¬ážááᯠáá»áá¯ážááŒá±á¬ááºážáááºááŒááºááŒááºážááœááºá áááºáá±á¬ááºááŸá¯áá±ážáá°áá»á¬ážááẠáá°áá®áá±á¬áá±á¬áºáááºáááá¬ážá á¯á áá»áá¯ážááœá²áá»á¬ážá áœá¬ááᯠááááºážááááºážáá¬ážáá±á·ááŸáááŒá®áž á áœááºážáááºá áá±á·áá»áá·áºáá±ážáá±áᬠááá¯á·ááá¯áẠááá¯ááá¯áá±á¬ááºážááœááºá¡á±á¬ááºááŒá¯áá¯ááºááŒááºážáá»á°áᬠ(á¥ááá¬á ChatGPT o1á o3) ááœá²ááŒá¬ážáááºá áá±á¬áºáááºá¡ááá·áºááŸááá·áºáá»ááŸá¯ááẠáá»áŸá±á¬áºááŸááºážáá¬ážáááºááŸáá·áº á¡ááŸááºááááºáááºáá±á¬ááºááŸá¯á¡áááºá¡ááœá±ážááŒá¬ážááœáẠááœá²ááŸá¬ážáá±ááá¯ááºááá·áº áá¯ááºáá»á ááááºáááºáá¬áá±á¬ áá±á¬áºáááºáá»á¬ážá á¡áá¶ááááºá¡á á¬ážááá¯ážááŸá¯ááᯠáááºááœáŸááºážáááºá
'á¥ááá¬á ááœá±áá±ážáá»á±ááŸá¯ááŸá¬ áááŒá±á¬ááºážáá²áá² áá±ážáááºááá·áº áá±á¬áºáááºááŒáá·áº á¡áá»ááºááŒááŒááºážááᯠáá¯ááºáá±á¬ááºááá¯ááºáááºá áá±á¬ááºáá¯á¶ážá¡ááŒá±ááẠá¡áá¯ááºáá»á¬ážá áœá¬á¡ááœáẠááŒá áºááá¯ááºááŒá±ááŸááá¯á¶áá±á«áºáá±áá±ážáá±á¬ááŒá±á¬áá·áº á€á¡áá±á·á¡áá»áá·áºááẠá¡áá¯á¶ážááŒá¯áá°áá»á¬ážááááŸááááºáááºáá²áá«áááºá'
ááœá±áá±ážáá»á±áá¬ážáá±á¬ ááá¯áááºáá»á¬ážá ááá¯ážáááºáá¬ááá¯ááºááŸá¯ááºážáá»á±á¬áºááᯠá¡áá¯á¶ážááŒá¯áá°áá»á¬ážáᶠáá áºáá«áá»áŸ áááŒáá²á·ááá·áº áá¬áááá»á¬ážááᯠá á¬ááœááºááœáẠá á¬áááºážááœáẠááá·áºááœááºážáá¬ážááŒá®ážá á¡ááœááºážááá¯ááºážáá»áá¯ážááŒá±á¬ááºážáááºááŒááºááŸá¯ááẠááá¯áááºá¡áá¯á¶ážááŒá¯ááŸá¯ááᯠááááºážááááºáž ááŸá áºáááºááẠááá¯ááŒá®ážáá±á¬ ááá¯áááºá¡áá¯á¶ážááŒá¯ááŸá¯ááᯠááá¯ážá á±áááºá ááá¬ážáá»áŸááááºááŒá áºá á± áááŸááºáááºáááºááŒá áºá á± á€á¡ááá·áºáá»á¬ážá ááœáá·áºáááºážááŒááºáá¬ááŸá¯ááẠáá¯á¶ážá áœá²áá°áá»á¬ážá áááºá ááºááŸá¯ ááá¯á·ááá¯áẠááá¬ážáááºááŒá áºááŸá¯ááᯠá¡áá²ááŒááºáááºá¡ááœáẠáááºááá·áºá¡ááŒá±áá¶ááá¯áá»áŸ ááŒááºážáááºáá¬ážáááºá
á¡á±ážáá»áá·áºá áá áºáá»á¬ážááœáẠAI á¡á±ážáá»áá·áºáá»á¬ážááŒá¬ážá¡ááœááºáž áááŸááºááŸá¯áá»á¬ážááẠáá±á¬ááºáá¯á¶ážááœááºááŸáááŸá¯ááᯠá¡áááá¹áá«ááºááŸáá áœá¬ áááááá¯ááºá á±áá² á¡áááŒá±ážááœá±áá»á¬áž áá±ážáá±á¬ááºááá¯ááºáááŒáá·áºá
'á¡ááœááºážááá¯ááºážáá»áá¯ážááŒá±á¬ááºážáááºááŒááºááŒááºážá¡ááŒááºá á¡á±ážáá»áá·áºáá»á¬ážááẠá¡áá»ááºááŒááŸá¯áá»á¬ážá á¡áá»ááºážáá»á¯ááºáá»á¬ážááŸáá·áº á¡á á®á¡á ááºáá±ážááœá²ááŒááºážááá¯ááºáᬠááœáŸááºááŒá¬ážáá»ááºáá»á¬ážááᯠáááŸááºááŒááºážááŒáá·áº áááºááœááºááŒáááºá á¡á±ážáá»áá·áºáá áºáá¯á á®ááẠá¡ááŒá¬ážáá°áá»á¬ážáá¶á០ááœááºážá¡á¬ážáá»á¬ážááᯠáá¬áá¬ááŒááºáá±ážááŒá®áž á¡áá¯ááºá¡ááœá¬ážá¡áá¬ááᯠáááºážááœáŸááºáááºá¡ááœáẠá¡ááœááºáá»á¬ážááᯠáá¯ááºáá±ážáááºá á€á¡á±ážáá»áá·áºá¡áá»ááºážáá»ááºáž áááºáá±á·áá»áºáá»á¬ážááẠáá¯á¶ážá áœá²áá°áá»á¬áž ááá¯ááºááá¯ááºáááŒááºááá¯ááºáá±á¬ áá»á¬ážááŒá¬ážááŸáá±á¬ ááá¯áááºáá»á¬ážááᯠá á¬ážáá¯á¶ážááá¯ááºáá«áááºá
'áá¯ááºáá¯ááºááá¯ááºáá±á¬ á¡áá»ááºáá»á¬ážá áá¯á¶á·ááŒááºááŸá¯áá»á¬ážááŸáá·áº áááááá¬ááá¯ááºáᬠááœáŸááºááŒá¬ážáá»ááºáá»á¬ážá¡áá«á¡ááẠá¡á±ážáá»áá·áºááŸáááŸáá¯ááºážááŸá¯á¡ááœááºáž á¡áá¯á¶ážááŒá¯áá²á·áá±á¬ ááá¯áááºáá»á¬ážá¡á¬ážáá¯á¶ážááẠáá¯á¶ááŸááºá¡á¬ážááŒáá·áº á¡áá¯á¶ážááŒá¯áá°áᶠáá±á«áºááá¬áá«á á¡á±ážáá»áá·áºáá»á¬ážááá¯ááºááá¯áẠáá»áá¯ážááŒá±á¬ááºážáá®áá»á±á¬áºáá±á¬ áá±á¬áºáááºáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯áá±á¬á¡áá« ááœá±áá±á¬ááºážáá¶ááœáŸá¬ááẠááá¯áááẠááŸá±ážááŸáááºáá¬áááºá
á€ááŒá¿áá¬áá»á¬ážááá¯áááºááá¯ááºáááºá á á¬áá±ážááá¬áá»á¬ážááẠá¡ááœááºážááá¯ááºážáá¯ááºáá±á¬ááºáá»ááºáá»á¬ážá áá¯ááºááŸááºáá¬ážáá±á¬á¡áá±á¬ááºá¡áá¬ážáá»á¬ážá á¡áááºááŒá¯ááá¯ááºáá±á¬ á¡ááŸááºá¡áá¬ážáá»á¬áž ááá¯á·ááá¯áẠáááááá¬á¡áá±á¬ááºá¡áá¬ážáá»á¬ážááŸáá·áº áá®ážááŒá¬ážááŒá®ážááŒááºááŸá¯ááá¯á·áá«áááºááá·áº á¡ááœáŸá¬ááá¯ááºá á¬áááºážá á áºáá°áá±á¬ááºáá áºáá¯ááᯠá¡ááá¯ááŒá¯áá«áááºá ááá¯á·áá±á¬áº á¡áááºážáá¶á¡áá»ááºááŸá¬ ááœá²á·á ááºážáá¯á¶á¡áááŒá áºáááº- áááºááŸá LLM ááœá±áá±ážáá»á±ááŸá¯á¡á á®á¡á ááºáá»á¬ážááẠá¡ááŒá²áááºááŒá²áá±ááá·áºá¡áá±á«áº áá°áááºáá«áááºá á¡áá»ááºá¡ááẠá¡áá»áá¯ážááá®ááŒááºážáá¡áá¯á¶ážááŒá¯áá°áá»á¬ážááᯠáááºážááá¯á· á¡áááºááŒá¯ááŒááºáž ááá¯á·ááá¯áẠááŒáá¯ááœá²ááááá±á¬ áá¯ááºáá»á ááááºáá»á¬ážááŸáá·áº ááááœá±á·á á±áááºá
áááŒááºááá¯ááºáá±á¬áá±ááœááºááŒááºážá
University of Maryland á០áá¯áá±áá®áá»á¬ážáá¶á០áá±á¬ááºáá¯á¶ážá á¬áááºážááœáẠááœá±áá±á¬ááºážáá¶ááŒááºážááŒá¿áá¬ááᯠá¡ááœá²áá¯á¶ážá á¬ážááŸá¯ ááá¯á·ááá¯áẠááŸá¬ážááœááºážá áœá¬ á¡á á®áááºáá¶ááŒááºážá áá±ážááœááºážá¡ááŒá áºááá¯ááºáá² ááœá²á·á ááºážáááºáá±á¬ááºáá¯á¶á¡á ááŒááºáááºááá·áºááœááºážáá¬ážáááºá áá á áá¹áá° - áá±á«ááºážá áẠCoIn- áá¯ááºáááºážáá¯á¶áž Opaque LLM API áá»á¬ážááœáẠáááŒááºááá¯ááºáá±á¬ áá»áá¯ážááŒá±á¬ááºážáá®áá»á±á¬áºááŸá¯ ááá¯áááºáá»á¬ážááᯠáá±ááœááºááŒááºážááá±áá®áááºáž ááá¹áááá¯ááºá០áá¯áá±áá® áááºáŠážá០á á®ážááœá¬ážááŒá ẠLLM áááºáá±á¬ááºááŸá¯ á¡áá»á¬ážá á¯ááẠááᯠáá¯á¶ážááœááºáá¬ážáááºááᯠáááááŒá¯áááááºá á¡áááºá¡ááẠáááºááŒááºááŒááºážá áá«á áá±á¬áºáááºáá áºáá±á¬ááºáá²á· áá±á¬ááºáá¯á¶ážá¡ááŒá±ááᯠá¡áá±á¬ááºá¡áá°ááŒá áºá á±áá«áááºá á¡ááá¯áá« ááá¯áááºáá»á¬ážá¡ááœáẠá¡áááŒá±ážááœá± áá±ážáá±á¬ááºáá±ááá² ááŒá áºáááºá.
á¡á á®á¡á á¥áºáá áºáá¯áá¯á¶ážááᯠáá¯ááºááŒá¶áááºáá®ážááá¯ááºá ááá¯ážááœááºážááẠááá¯á·ááá¯áẠáá±á¬ááºááŸááºážááŒááºážáááŸááá² áá±á¬ááºážáá¬ážááá¯ááºááá·áº áááŒááºááá¯ááºáá±á¬ ááœá±áá±ážáá»á±ááŸá¯áá»ááºááŸá¬ááŒááºááᯠáááºáá®ážáá±ážááŒá±á¬ááºáž á á¬ááœááºá á¡ááá¯ááºá¡áá¬ááá¯áááº*-
'[á€] áááŒááºááá¯ááºááŸá¯ááẠáá¶á·ááá¯ážáá°áá»á¬ážááᯠááœáá·áºááŒá¯áááºá ááá¯áááºáá¶áá«ááºáá»á¬ážááᯠááŸá¬ážááœááºážá¡á á®áááºáá¶ááŒááºážá or ááá¯áááºá¡áá±á¡ááœááºááᯠá¡áá¯áá¯ááºá á¡áá¯áá¯ááºáá¬ážáá±á¬ áá»áá¯ážááŒá±á¬ááºážáá®áá»á±á¬áºáá±á¬ áá»áá¯ážááŒá±á¬ááºážáá®áá»á±á¬áºáá±á¬ ááá¯áááºáá»á¬ážááᯠáááºááá¯ážáááºážá áá®ááœááºáááºáá®ážáá¬ážáá±á¬ ááá¯áááºáá»á¬ážááᯠááá·áºááœááºážáá«á. á€á¡áá±á·á¡áá»áá·áºááᯠáá»áœááºá¯ááºááá¯á· áááºááœáŸááºážáááºá ááá¯áááºááœáẠááœá±ááŒá±ážáá±á¬ááºážááœááŸá¯.
á¥ááá¬á¡á¬ážááŒáá·áº OpenAI á o3 áá±á¬áºáááºá០áá¯ááºáá±á¬ááºááá·áº á áœááºážáá±á¬ááºáááºááŒáá·áº ARC-AGI áá áºáá¯áááºážááẠááá¯ááẠááá áááºážááᯠá á¬ážáá¯á¶ážáá²á·áááºá áá¯ááºáá» $66,772.3 á€á¡ááá¯ááºážá¡áá¬ááŒáá·áº áá±ážáááºáá±á¬ ááŒááºááŸááºááŸá¯áá»á¬ážáááºáá»áŸáẠááŒá®ážáá¬ážáá±á¬ ááœá±ááŒá±ážááá¯ááºáᬠá¡áá»áá¯ážáááºáá±á¬ááºááŸá¯ááᯠááŒá áºáá±á«áºá á±ááá¯ááºáááºá
'á€áá²á·ááá¯á· á¡áá»ááºá¡ááẠá¡áá»áá¯ážááá®ááŸá¯ ááẠAI áá¯áá¹ááá®áá»á¬ážááẠáá¯á¶ážá áœá²áá°áá»á¬ážá á¡áá»áá¯ážá á®ážááœá¬ážááᯠáá»áááºážá á±ááŒá®áž áááááá¬áᬠááá¯ááá¯áá»áŸá¶áá¬á á±áááºá
á€ááá®áá»áŸááŸá¯ááᯠáááºááŒááºááẠá á¬áá±ážáá°á á¡ááá¯ááŒá¯áááºá CoInáááºážááá¯á·á á¡ááŒá±á¬ááºážá¡áá¬áá»á¬ážááᯠááá±á¬áºááŒáá² ááŸááºáá¬ážáá±á¬ ááá¯áááºáá»á¬ážááᯠá¡áááºááŒá¯ááẠáá®ááá¯ááºážáá¯ááºáá¬ážááá·áº ááŒááºáá០á á¬áááºážá á áºá áá áºááŒá áºááŒá®áž ááœá±ááŒá±ážáá±á¬ááºážááœááŸá¯á ááá¹ááá¬áá»á¬ážááᯠááááŸáááẠhashed fingerprints ááŸáá·áº semantic checks áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯áá¬ážáááºá
opaque á á®ážááœá¬ážáá±áž LLMs á¡ááœáẠCoIn á á¬áááºážá á áºá áá áºá ááŒá¯á¶áá¯á¶áá¯á¶ážáááºáá»ááºá Panel A ááẠááá¯áááºá¡ááŒá±á¬ááºážá¡áá¬áá»á¬ážááᯠááá±á¬áºááŒáá² ááá¯áááºáá±ááœááºááŸá¯ááᯠá¡áááºááŒá¯áááºá¡ááœáẠMerkle áá áºáááºááœáẠáá»áá¯ážááŒá±á¬ááºážáááºááŒááºááá¯ááºáá±á¬ ááá¯áááºááá·áºááœááºážááŸá¯ááᯠáááºáá²á·ááá¯á· áááºáá»áááºááᯠááŒááááºá Panel B ááẠáá±á«á·áá«ážáá±á¬ á¡á¬áá¯á¶ááŒá±á¬ááœááºáááºáá»á¬ážá០áá±á¬ááºáá¯á¶ážá¡ááŒá±ááŸáá·áº áá»áá¯ážááŒá±á¬ááºážáááºááŒááºááŒááºážáá¯á¶ážáá»á¬ážááᯠáá±á¬ááºáá¯á¶ážá¡ááŒá±ááŸáá·áº ááá¯ááºážááŸáá¯ááºážááá·áº áá±á«áá¬áááá¯ááºáᬠááá¬ážáááºá á áºáá±ážááŸá¯áá»á¬ážááᯠááá¯ááºáá±á¬áºáááºá á¡áá°áááœá á€á¡á áááºá¡ááá¯ááºážáá»á¬ážááẠááŒááºáááŸá á¬áááºážá á áºáá»á¬ážá¡á¬áž áá áºáŠážáááºážááá¯ááºá á¶ááŒá¡ááŒá¯á¡áá°ááá»áŸáá¯á·ááŸááºáá»ááºááᯠááááºážááááºážáá¬ážá áẠáá»áŸáá¯á·ááŸááºááá¯áááºáá±á¬ááºážááœááŸá¯ááᯠááŸá¬ááœá±ááœá±á·ááŸáááá¯ááºá á±áááº. á¡áááºážá¡ááŒá áº- https://arxiv.org/pdf/2505.13778
á¡á áááºá¡ááá¯ááºážáá áºáá¯ááẠa ááᯠá¡áá¯á¶ážááŒá¯á ááá¯áááºáá¶áá«ááºáá»á¬ážááᯠáá»áŸáá¯á·ááŸááºáá±ážáááºážááŒáá·áº á¡áááºááŒá¯áááºá Merkle áá áºáááº; á¡ááŒá¬ážáá°áá»á¬ážá ááŸááºáá¬ážáá±á¬ á¡ááŒá±á¬ááºážá¡áá¬á áááºá ááºááŸá¯ááᯠááŒáŸááºáá¬ážáá±á¬ á¡ááŒá±ááŸáá·áº ááŸáá¯ááºážááŸááºáᬠá¡áá²ááŒááºáááºá áááºážááẠá á¬áááºážá á áºáá»á¬ážá¡á¬áž á á¬ááœááºáááºááŒááºáž ááá¯á·ááá¯áẠááááºááá¯ááºááŒá±á¬ááºáž ááááŸáááá¯ááºá á±ááẠ- ááœá±áá±á¬ááºážáá¶ááœáŸá¬áááºááẠááá¯áááºáá»á¬ážááᯠááá¯ážááá¯ážááŸááºážááŸááºáž ááá·áºááœááºážáá¬ážááŒá±á¬ááºáž ááá¹ááá¬áá»á¬ážá
á ááºážáááºááŸá¯áá»á¬ážááœáẠá¡áá¯á¶ážááŒá¯áá±á¬á¡áá«á CoIn ááẠá¡áá»áá¯á·áá±á¬ ááœá±ááŒá±ážáá±á¬ááºážááœááŸá¯áá¯á¶á á¶áá»á¬ážá¡ááœáẠáá±á¬ááºááŸááºážááŸá¯á¡á±á¬ááºááŒááºááŸá¯ááŸá¯ááºáž 95% áá®ážáá«ážáááŸáááŒá®áž á¡áááºážáá¶áá±áá¬ááᯠá¡áááºážáááºáᬠááááœá±á·ááá¯ááºáá²á·áááºá á áá áºááẠáááºáá±á¬ááºááŸá¯áá±ážáá°áá»á¬ážáá¶á០á á±ááá¬á¡áá»á±á¬áẠáá°ážáá±á«ááºážáá±á¬ááºááœááºááŸá¯á¡áá±á«áºááœááºáá°áááºáá±áá±ážááŒá®áž á¡áá¬ážáááºááá á¹á áá»á¬ážááœáẠááá·áºáááºááŒá±ááŸááºážááŸá¯áá»á¬ážááŸááá±á¬áºáááºáž áááºážáááá¯ááá¯áá»ááºááŒáá·áºáá±á¬á¡áá»ááºááŸá¬ á¡ááŸá¬ážá¡ááœááºážáááŸááá«- áááºááŸá LLM ááœá±áá±á¬ááºážáá¶ááŒááºážá áááºáá±á¬ááºáá¯á¶ááẠá¡áááºáááŒá¯ááá¯ááºáá±á¬ ááá¯ážáá¬ážááŸá¯áá áºáá¯ááŒá áºáááºáᯠáá°ááá«áááºá
áá±á¬ááºáá»ááº
áá¯á¶ážá áœá²áá°áá»á¬ážáá¶á០ááŒáá¯áááºááœá±áá±ážáá»á±ááŸá¯ áááŸáááŒááºážá á¡á¬ážáá¬áá»ááºáá»á¬ážá¡ááŒááºá a á á¬ááœááº-based ááœá±ááŒá±áž (á¥ááᬠ'buzz' á áá áºááŸá¬ CivitAI) á ááá¹ááá¡áá¯á¶ážááŒá¯áá°áá»á¬ážááẠáááºážááá¯á·áá¯á¶ážá áœá²áá±ááá·áº ááœá±ááŒá±ážáááºááá¯áž ááá¯á·ááá¯áẠáááºážááá¯á·áááºáá°áá±ááá·áº áá¯ááºáá á¹á ááºážááááºááá¯ážááŸáá·áº áá±ážááœá¬á á±ááẠáá°áá®áá±ážáááºá á¡áá¬ážáá°áááºá áááºážááá¯á·ááᯠáááºááŸááºááẠáá±á¬ááºážáá°á¡á¬áž áááºážááœáŸá²áá±ážááŒááºáž ááá¯ááºááá¯ááºááá¯ááºážáá¬ááŸá¯áá°áá Ạááœá±á¡á á áºá¡ááŸááºááᯠá¡áá¯á¶ážááŒá¯á á¡ááŸááºáááẠáá¯á¶ážá áœá²áá±áá±á¬á¡áá¬áá»á¬ážááᯠá á¬ážáá¯á¶ážáá°á¡á¬áž á¡ááŸá±á¬ááºáá²ááœáẠáá»ááºáá¬ážáá²á·áá«á
á¡ááá¯áá«áá²á·ááá¯á·ááẠLas Vegas ááŸá¬ áá¬áá®ááœá± áááŸááá±á¬á·áá°ážáá á€áá²á·ááá¯á·áá±á¬ á¡á á®á¡áá¶áá»á¬ážááẠá á¬ážáá¯á¶ážáá°á¡á¬áž ááááºáááŒáẠááá¯á·ááá¯áẠáá¯ááºáá»á ááááºááᯠáá»á áºáá»á°ááŸá¯ááẠáááºááœááºáááºá
áá¬ážáááºááŸá¯ áááºážáá«ážáááºá ááá¯áááºáá¶áá«ááºáááºážáááºážáá»á¬ážá áœá¬ááŒáá·áº á á¬ážáá¯á¶ážááá¯ááºááŒá®áž áááºááŸááºááá¯ááºáá±á¬á ááẠLLM áá¯á¶ážá áœá²ááŸá¯á¡ááœáẠááá·áºáá»á±á¬áºáá±á¬ ááá¯ááºážáá¬ááŸá¯áá°áá áºáá áºáᯠááŒá áºáá±á¬ááºážááŒá áºááá¯ááºááẠááŒá áºáá±á¬ááŒá±á¬áá·áº á¡áááºážáá¯á¶ážááŒá áºáááºá ááá¯áááºáá»á¬ážááẠá¡ááá»á¬ážá áœá¬ áá¯ááºáá»áááºá áá¶á·áá»ááºážáá±á¬ LLM ááááºááᯠááœááºáá»ááºáááºá á¡ááºá¹áááááºá¡ááŒá±áᶠá ááºááŸááºáá áºáá¯ááŸáá·áº ááŸáá¯ááºážááŸááºáá«á á¡ááºá¹áááááºááá¯ááºáá±á¬ áá¬áá¬á áá¬ážááŒáá·áº ááááºááœááºáá±á«áºááá¯ááºáááºá
ááá¯á·áá±á¬áºáááºáž Max Planck áá¯áá±áá®áá»á¬ážá á¡ááŒá¶ááŒá¯áá¬ážááá·áºá¡ááá¯ááºáž á¡áá¹ááá¬á¡ááŒá±áá¶ááœááºááŸáááŸá¯ááẠááá¯ááá¯áááá»áá±á¬áá¬áá¬á áá¬ážáá»á¬ážááᯠááŸá áºáááºááá±á¬áá»ááŒá®áž á¡ááŒá áºáá±ážáá¶áááœááºááŸááááºá ááá¬áá¡á¬ážááŒáá·áº á áá¬ážá¡áá¯á¶ážá¡ááŸá¯ááºážáá»á¬ážáááºá. áááºááá¯ážáááºážáá±á¬ ááá¯áááºáá±á¬ááºáá¬áá²á·ááá¯á·áá±á¬ áá¯ááºááŒááºáá¶ááŒá¬ážááá¹ááá¬áá»á¬ážááẠáá»áœááºá¯ááºááá¯á·á LLM á ááºááŸááºáá»á¬ážááœáẠáá¯á¶ážá áœá²ááŸá¯á¡áááºážáááºááá¯áááá¯ááºáá±á¬ááŒá±á¬áá·áºá á¥ááá±ááŒá¯áá±ážáá¯ááºáá±á¬ááºááŸá¯áááŸááá² áááŒá¬áá®á¡áá»áááºáááœá±áž áá±á¬ááºáá¬ááá¯ááºááœááºáááŸááá±á
* á á¬áá±ážááá¬áá»á¬ážá á¡áá±ážáá¬ážááŸá¯á á á¬áá±ážáá°á inline ááá¯ážáá¬ážáá»ááºáá»á¬ážááᯠááá¯ááºáá«ááá·áºááºáá»á¬ážááá¯á· áá»áœááºá¯ááºááŒá±á¬ááºážáá²ááŒááºážá
áááá áá¯ááŸá áºá áá±á á ááẠááŒá¬áááá±ážáá±á·ááœáẠááááá¯á¶áž áá¯ááºáá±áá²á·áááºá
