De IQ-grafiek is een deur, geen meetlat

Vorige week ging er een grafiek rond: frontier AI-modellen geplaatst op een menselijke IQ-schaal, naast elkaar, als leerlingen op een klassenranglijst. Ik deelde hem. Hij kwam verder dan de meeste van mijn posts.

Dat bereik is het overdenken waard, want de grafiek zelf is een slechte meting. En toch is het een van de nuttigste communicatiemiddelen in AI op dit moment. Beide dingen zijn waar, en de spanning daartussen is het eigenlijke verhaal.

Waarom het getal zwak is

Begin bij wat een IQ-score eigenlijk is. Het is een statistiek, genormeerd op menselijke populaties, gebouwd om menselijke uitkomsten te voorspellen: schoolprestaties, werkprestaties, dat soort dingen. Het getal betekent alleen iets relatief aan een referentiegroep van mensen. Pas het toe op een systeem met perfect geheugen, zonder werkgeheugenlimiet en met vreemde blinde vlekken in ruimtelijk redeneren, en je krijgt een getal dat losgezongen is van de verdeling die het betekenis gaf. Je kunt het uitrekenen. Je kunt het alleen niet interpreteren.

Dan is er het contaminatieprobleem, en dat is de scherpere kritiek. De publieke IQ-tests waar mensen deze modellen doorheen halen (Mensa Norway is de gebruikelijke) circuleren breed online. Wat betekent dat de vragen mogelijk ergens in de trainingsdata zitten. Een hoge score kan memorisatie weerspiegelen in plaats van redeneren. Projecten die AI-"IQ" over tijd volgen, zoals Tracking AI, weten dit, en daarom zijn sommige overgestapt op offline testversies die modellen onmogelijk gezien kunnen hebben. Zelfs dan blijft de mismatch in het construct staan: je beoordeelt een heel ander soort geest op een heel menselijke curve.

De schoonste demonstratie van het gat komt van benchmarks die specifiek gebouwd zijn om memorisatie te weerstaan. ARC-AGI, en zijn moeilijkere opvolger ARC-AGI-2, test nieuwe abstractie met puzzels die patroonherkenning uit het geheugen niet belonen. Modellen die indrukwekkende scores zouden neerzetten op een Mensa-achtige quiz lopen daar nog steeds fors achter op mensen. Een systeem kan briljant ogen op een menselijke IQ-schaal en struikelen over abstractietaken die een kind aankan. Die combinatie vertelt je dat het IQ-getal iets anders meet dan mensen aannemen.

Onderzoekers die een echt signaal nodig hebben, gebruiken instrumenten die voor die taak ontworpen zijn: GPQA voor wetenschapsvragen op masterniveau, FrontierMath voor wiskunde op onderzoeksniveau, Humanity's Last Exam voor expertbreedte die modellen nog niet verzadigd hebben. Dat zijn de eerlijke meetlatten. Ze zijn voor de meeste mensen ook volstrekt onleesbaar.

Waarom de grafiek toch werkt

Dit is waar ik steeds tegenaan loop in keynotes en boardrooms: er is altijd iemand die een variant vraagt van "ja, maar hoe slim zijn ze nou echt?" En ik kan antwoorden met GPQA-percentages en ARC-AGI-slagingspercentages, en dan zie ik de zaal wegzakken. Die getallen zijn accuraat en betekenisloos voor een niet-technisch publiek, omdat ze geen gevoeld referentiepunt hebben. Niemand weet hoe 60% op een natuurkundebenchmark op masterniveau voelt.

Iedereen weet hoe een IQ-schaal voelt. Gemiddeld zit op 100. Hoogbegaafd begint ergens boven de 130. Je hebt die schaal je hele leven gekalibreerd, via school, via collega's, via de mensen met wie je hebt gewerkt. Dus wanneer een grafiek frontier-modellen op die schaal plaatst, krijgt een niet-technische lezer in één beeld direct gevoel voor waar de lat ligt. Fout in de details, raak in het totaalbeeld.

Daarom noemde ik het een gespreksopener in plaats van een benchmark, en daarom werk ik het hier uit in plaats van het terug te nemen. De grafiek is een vertaalinstrument. Hij zet iets onleesbaars (benchmarkscores in onbekende eenheden) om in iets leesbaars (een schaal die je al in je hoofd draagt). Vertalen kost altijd precisie. De vraag is of wat overblijft de moeite waard is. In dit geval wel, zolang je weet wat je in handen hebt.

Het mentale model: meetlatten versus deuren

Het onderscheid dat ik zou aanreiken: sommige metingen zijn meetlatten en sommige zijn deuren. Een meetlat moet accuraat zijn, want er rusten beslissingen op. Een deur hoeft iemand alleen de kamer binnen te krijgen waar het echte gesprek plaatsvindt.

GPQA, FrontierMath, ARC-AGI: meetlatten. Gebruik ze wanneer je beslist wat een model daadwerkelijk kan, of je het inzet, waar het zal falen.

De IQ-grafiek: een deur. Gebruik hem wanneer iemand buiten het vakgebied een eerste houvast nodig heeft, en loop diegene vervolgens door naar de hardere waarheid aan de andere kant: dat deze systemen nergens op een menselijke schaal zitten. Ze zijn bovenmenselijk in sommige richtingen en ondermenselijk in andere, tegelijkertijd. Dat grillige profiel is de echte bevinding. Geen enkel getal kan dat dragen.

De faalmodus is een deur behandelen als een meetlat. Dat is wanneer iemand "dit model heeft een IQ van X" leest en er wervings- of beleidsbeslissingen op begint te baseren. De andere faalmodus is subtieler: de deur volledig afwijzen omdat het geen meetlat is, en zo het grootste deel van je publiek buiten de kamer laten staan.

Verwacht meer van deze grafieken, met grotere getallen, naarmate modellen beter worden. Elke ervan zal technisch onverdedigbaar en communicatief effectief zijn. Weten welke taak je de grafiek laat doen, dat is de hele vaardigheid.