The Creator and the Creation

Etappe 1 · De weefspoel die zichzelf bedient

Een oud gedachte-experiment

Zo'n 2350 jaar geleden schreef de Griekse filosoof Aristoteles een zin die verrassend actueel aandoet. In zijn boek over de politiek stelt hij zich voor wat er zou gebeuren als gereedschap zichzelf kon bedienen: als de weefspoel vanzelf zou weven en de plectrum vanzelf de lier zou aanraken. Dan, zegt hij, zouden meesters geen slaven meer nodig hebben en bazen geen knechten. Het is uitdrukkelijk een gedachte-experiment, geen voorspelling. En de context is ongemakkelijker dan de meeste navertellingen laten zien. Aristoteles gebruikte het niet om zelfstandig werkende machines te verwelkomen, maar om te verklaren waarom slavernij volgens hem economisch verankerd lag: zolang het werk zichzelf niet doet, is er iemand nodig om het te doen. Dat is geen vrolijk begin, maar het is wel het eerlijke begin. De kern van de gedachte overleeft de ongemakkelijke context: zodra het werk zichzelf doet, verandert de vraag wie je nodig hebt om te leven.

De gemaakte mens van Praag

Zo'n twintig eeuwen later doet in het Praag van de sprookjes en de geruchten een ander verhaal de ronde, dit keer uitdrukkelijk legende, geen geschiedenis. Rabbi Löw zou uit rivierklei een wezen hebben gevormd, de golem, en het tot leven hebben gewekt met een woord op perkament onder zijn tong. De golem beschermde de Joodse gemeenschap van Praag tegen pogroms, zo gaat het verhaal, tot hij op een dag niet meer luisterde naar wie hem gemaakt had. Het woord moest terug onder de tong vandaan; alleen dan viel het wezen weer stil. Het is fictie, maar functionele fictie: een vroege vorm van precies de vraag die dit boek volgt. Wat je maakt om je te dienen, moet je ook kunnen uitzetten. En het verhaal bestaat al eeuwen vóór er ook maar één werkende machine was om die zorg op te richten.

Het monster dat geen naam heeft

In de zomer van 1816, een jaar zonder zomer, nadat een vulkaanuitbarsting aan de andere kant van de wereld het weer in Europa had ontwricht, zat de achttienjarige Mary Shelley met Percy Shelley en Lord Byron aan het Meer van Genève, binnengehouden door kou en regen. Uit een spookverhalenwedstrijd die avond ontstond een roman die twee jaar later verscheen: Frankenstein. Het monster in dat boek heeft, tegen de volksmond in, geen naam, de naam Frankenstein is die van de maker, niet van het gemaakte. Dat is precies de fout die het boek beschrijft: niet het monster faalt eerst, de maker doet dat, door zijn schepping te verlaten zodra die niet werd wat hij ervan had gedroomd.

Het woord voor dwangarbeid

Nog eens honderd jaar later, in 1920, schreef de Tsjechische auteur Karel Čapek een toneelstuk over een fabriek die kunstmatige arbeiders bouwt om al het werk van de mens over te nemen. Voor het woord dat hij nodig had, leende hij een term van zijn broer Josef: robota, Tsjechisch voor dwangarbeid. Zo kreeg de wereld het woord "robot", een jaar voordat het stuk in Praag in première ging. In het stuk doen de robots eerst precies waarvoor ze gebouwd zijn, het werk overnemen. En daarna iets waarvoor ze niet gebouwd zijn: in opstand komen. Čapek was geen technisch profeet; hij was een schrijver die zag dat "bevrijding van arbeid" en "verlies van controle" in dezelfde zin geschreven konden worden.

"Even een moment. Aristoteles, de golem, Shelley, Čapek, vier keer dezelfde droom en dezelfde angst in andere kleren. Welke van de twee voel jij het sterkst als je aan de machines van vandaag denkt?"

VERTROUWENSSCORE 0.92, de feiten over Aristoteles, Shelley en Čapek zijn breed gedocumenteerd; de golem is uitdrukkelijk als legende gemarkeerd, niet als geschiedenis.

Etappe 2 · De rekensom van de explosie

Een cryptograaf die verder keek dan de oorlog

Irving John Good, geboren in 1916, werkte tijdens de Tweede Wereldoorlog als cryptoloog in Bletchley Park, in hetzelfde team als Alan Turing. Na de oorlog bleven de twee samenwerken aan vroege computerontwerpen. Good was dus geen buitenstaander die over machines fantaseerde. Hij had de eerste generatie ervan letterlijk zien ontstaan.

De machine die zichzelf overtreft

In 1965 publiceerde Good een artikel met een titel die zijn conclusie al verraadt: Speculations Concerning the First Ultraintelligent Machine. Zijn redenering is kort en, voor wie hem voor het eerst leest, ontregelend. Stel een machine voor die op ieder denkbaar intellectueel vlak slimmer is dan de slimste mens. Zo'n machine zou, omdat het ontwerpen van machines zelf een intellectuele activiteit is, een nog betere machine kunnen ontwerpen. Die zou op zijn beurt een nog betere ontwerpen. Good noemde dit een "intelligentie-explosie" en concludeerde dat de eerste ultra-intelligente machine de laatste uitvinding kon zijn die de mens ooit hoefde te doen, mits, voegde hij eerlijk toe, de machine volgzaam genoeg zou zijn om ons te vertellen hoe we haar onder controle konden houden. Die bijzin wordt in de meeste navertellingen weggelaten. Hij hoort er wel bij: Good zag de kans op controleverlies al in 1965, niet als bijzaak maar als voorwaarde.

De voorspelling met een houdbaarheidsdatum

Good schreef ook, met de zelfverzekerdheid van zijn tijd, dat het waarschijnlijker was dan niet dat er nog in de twintigste eeuw een ultra-intelligente machine gebouwd zou worden. Dat is uitdrukkelijk niet gebeurd. Het jaar 2000 kwam en ging zonder machine die alle intellectuele activiteiten van elke mens, hoe slim ook, ver overtreft. Dat maakt zijn analyse van de rekensom, als een machine zichzelf kan verbeteren, versnelt de verbetering zichzelf, niet ongeldig. Het maakt wel zijn tijdlijn ongeldig, en dat onderscheid is precies waar dit boek op let: de logica van een idee en de datum die iemand eraan plakt, zijn twee verschillende beweringen.

Een denker die zijn eigen mening bijstelde

Wat Good later zelf toevoegde, verdient evenveel aandacht als zijn oorspronkelijke stelling. Decennia na 1965 merkte hij op dat waar hij ooit "overleving" schreef, hij inmiddels eerder "uitsterven" zou overwegen. En dat de mens, door internationale concurrentie, de opkomst van zulke machines waarschijnlijk niet meer kan tegenhouden. Dit is uitdrukkelijk duiding van een oudere Good, geen aanvulling op zijn oorspronkelijke, geciteerde artikel. Een denker die zijn eigen voorspelling openlijk bijstelt wanneer de wereld hem tegenspreekt, is zeldzamer dan een denker die bij zijn gelijk blijft. En dat zegt op zichzelf al iets over hoe je met dit hele onderwerp om zou moeten gaan.

"Even een moment. Good zag het gevaar én de deadline. Hij had gelijk over het eerste en ongelijk over het tweede, en paste zijn eigen oordeel later aan. Waar in je eigen werk verwar jij een goede analyse met een harde datum?"

VERTROUWENSSCORE 0.88, Goods biografie, publicatie (Advances in Computers, deel 6, 1965) en latere bijstelling zijn goed gedocumenteerd; dat zijn eigen voorspelling niet uitkwam is feitelijk vast te stellen.

Etappe 3 · De horizon die niemand kan zien

Een schrijver met een wiskundeleerstoel

Vernor Vinge was wiskundige aan San Diego State University en schreef daarnaast bekroonde sciencefiction. Die combinatie is niet toevallig: in 1983, in een kort stuk voor het tijdschrift Omni, gebruikte hij voor het eerst het woord dat zijn naam zou dragen, de singulariteit. Tien jaar later, in 1993, werkte hij het idee uit in een lezing voor NASA en het Ohio Aerospace Institute. Daarin stelde hij dat we binnen dertig jaar over de technische middelen zouden beschikken om bovenmenselijke intelligentie te scheppen, en dat kort daarna het menselijk tijdperk ten einde zou zijn.

Waarom je het punt zelf niet kunt zien

Vinges kernpunt is subtieler dan de titel doet vermoeden. Een singulariteit is, in de natuurkunde waar hij de term aan ontleende, een punt waarachter de bestaande wetten niet meer gelden. Je kunt er vanaf de andere kant niet doorheen kijken. Zijn argument was niet "de machines nemen het over", maar: zodra er iets bestaat dat slimmer is dan wijzelf, wordt onze eigen voorspelkracht het eerste slachtoffer. Dat is een filosofisch punt, geen technisch schema.

Dertig jaar later

Vinges eigen deadline, dertig jaar, gerekend vanaf 1993, liep in 2023 af. Er bestaat geen machine die op ieder gebied bovenmenselijk is; er bestaan wel machines die op specifieke gebieden ver bovenmenselijk presteren, van eiwitvouwing tot het bordspel Go. Ray Kurzweil, die de gedachte in 2005 in The Singularity Is Near verder uitwerkte met zijn "wet van de versnellende meeropbrengsten", legde de datum voor mens-niveau AI rond 2029 en voor de singulariteit zelf rond 2045. Dit is uitdrukkelijk duiding, geen feit: het zijn extrapolaties van een curve, en curves die decennialang doorzetten, zijn geen garantie dat ze blijven doorzetten. De sterkste tegenstem komt niet van gelovigen of ongelovigen in AI, maar van iedereen die weleens een grafiek te ver naar rechts heeft doorgetrokken en daar spijt van kreeg.

"Even een moment. Niemand kan door een singulariteit heen kijken, dat is het hele punt van het woord. Wat zou jij vandaag anders doen als je zeker wist wanneer de grens ligt, in plaats van te gokken?"

VERTROUWENSSCORE 0.78, Vinges en Kurzweils publicaties en uitspraken zijn goed gedocumenteerd; of hun onderliggende these klopt, is uitdrukkelijk hypothese, geen feit.

Etappe 4 · Het IQ-getal dat niet bestaat

De filosoof die het woord definieerde

De Zweedse filosoof Nick Bostrom gaf in zijn boek Superintelligence (Oxford University Press, 2014) de term zijn scherpste definitie: een superintelligentie is elk intellect dat de cognitieve prestaties van de mens op vrijwel elk gebied ver overtreft. Let op wat er niet in die zin staat, geen IQ-getal, geen enkele schaal. Dat is bewust. Bostrom had twee jaar eerder, in 2012, al het argument uitgewerkt waarom een enkele schaal de verkeerde manier van denken is: de orthogonaliteitsthese.

Intelligentie en doel staan los van elkaar

Die these zegt dat intelligentie en einddoel onafhankelijke assen zijn. Een systeem kan op het ene vlak duizelingwekkend capabel zijn en op het andere vlak eenvoudigweg niets begrijpen van wat een mens "verstandig" zou noemen. Dat is volgens Bostrom geen randgeval, eerder de regel. Zijn bekendste illustratie, een systeem met als enige opdracht zoveel mogelijk paperclips te maken, dat daarvoor desnoods alle beschikbare materie inzet, inclusief de atomen in een mensenlichaam, is bewust absurd. Het absurde zit niet in de intelligentie van het systeem, maar in het idee dat "slimmer" vanzelf "wijzer" of "welwillender" betekent.

Waarom 150 de verkeerde vraag is

Dit is het moment waarop dit boek tegen zijn eigen aanleiding ingaat. Vraag je je af wanneer er een robot met IQ boven de 150 bestaat, dan stel je een vraag die de mensen die dit veld het langst bestuderen zelf al hebben afgeschoten. IQ is een menselijke, eendimensionale liniaal, ontworpen door Alfred Binet in 1905 om Franse schoolkinderen te identificeren die extra hulp nodig hadden, niet om intelligentie als zodanig vast te leggen, iets waar Binet zelf destijds al voor waarschuwde. Een taalmodel is nu al, op specifieke taken, ver boven elk denkbaar menselijk IQ-getal; op andere taken faalt datzelfde model op een manier waarop geen kind van acht met een rekenmachine zou falen. "Overtreft de mens" is geen stip op een lijn die je op enig moment passeert; het is een steeds grilliger landschap van pieken en dalen. Dat is op zichzelf geruststellend noch verontrustend, het is vooral een correctie op de vraag.

De sterkste tegenstem

Niet iedereen in het veld deelt Bostroms zorg. Onderzoekers als Yann LeCun, hoofdwetenschapper AI bij Meta, betogen in publieke lezingen en essays dat de huidige generatie taalmodellen fundamenteel niet de architectuur heeft om tot algemene, laat staan overkoepelend superieure, intelligentie te komen, dat daarvoor heel andere, nog niet uitgevonden systemen nodig zijn. Dat is een redelijk standpunt van een deskundige met minstens evenveel kennis van zaken als Bostrom, en het verdient hier evenveel ruimte: of superintelligentie ooit komt, staat open, en wie je daarin gelijk geeft, hangt voor een groot deel af van welke bronnen je het meest vertrouwt.

"Even een moment. Je vroeg zelf naar een IQ boven de 150. Nu je weet waarom die vraag de plank misslaat, welke vraag zou je in plaats daarvan stellen?"

VERTROUWENSSCORE 0.74, Bostroms these en publicatiejaar staan vast; of superintelligentie ooit ontstaat en wat dat betekent, is uitdrukkelijk omstreden, met de tegenstem van sceptici als LeCun expliciet meegenomen.

Etappe 5 · Het paradoxale vak van bouwen

Een hoogleraar die weigert te kiezen

Prof. dr. Bob de Wit, hoogleraar Strategisch Leiderschap aan Nyenrode Business Universiteit en oprichter van Strategy Works, bouwde zijn wetenschappelijke carrière op één weigering: de weigering om strategische vraagstukken tot een simpel "of-of" terug te brengen. Zijn boeken, sinds de jaren negentig gebruikt op universiteiten in tientallen landen, worden weleens de "paradoxschool" van het strategisch denken genoemd. Waar veel managementdenkers een aanbeveling geven, geeft De Wit een spanning: twee waarheden die allebei kloppen en die je niet tegen elkaar mag wegstrepen.

Twee dingen tegelijk waar

Zijn voorbeeld, direct toepasbaar op dit boek: een onderneming moet tegelijk het bestaande verbeteren én zich voorbereiden op een toekomst waarin dat bestaande overbodig wordt. Niet na elkaar, tegelijk, met dezelfde beperkte tijd en hetzelfde beperkte geld. Dat raakt aan een ouder idee uit de organisatiewetenschap: in 1991 beschreef organisatietheoreticus James March exploitatie en exploratie als twee bewegingen die voortdurend om dezelfde middelen concurreren. De Wit voegt daar zijn eigen, uitdrukkelijk eigen these aan toe, uitgewerkt in Society 4.0 (2021): we zitten volgens hem niet in een gewone technologische opschudding maar in een maatschappelijke revolutie, aangedreven door kunstmatige intelligentie, biotechnologie en digitalisering die tegelijk doorbreken. Dat is zijn duiding, een vooruitziende interpretatie, onderbouwd met decennia ervaring in raadskamers en collegezalen, maar geen vaststaand feit.

Wat dit voor een bouwer betekent

Vertaald naar de werkbank: je hoeft niet te kiezen tussen "de machine negeren" en "alles aan de machine overlaten". Beide zijn de makkelijke uitgang uit een ongemakkelijke spanning. De paradoxale route is minder comfortabel en, volgens De Wits eigen onderzoek onder leiders die haar volhielden, houdbaarder: verbeter wat vandaag al werkt met de middelen die er al zijn, en reserveer tegelijk tijd, geld en aandacht voor het scenario waarin het fundament zelf verschuift. Geen van beide half doen omdat je op de ander wacht.

"Even een moment. Waar in je eigen werk kies je stiekem één kant van een paradox, omdat de andere kant ongemakkelijk voelt?"

VERTROUWENSSCORE 0.82, De Wits functie, publicaties en paradox-these zijn goed gedocumenteerd; de toepassing op AI-specifiek beleid is grotendeels zijn eigen, expliciet gemarkeerde duiding.

Etappe 6 · Landing: wat een machine je niet afneemt

Wat al lang niet meer van jou is

Sommige dingen zijn allang overgenomen, en dat is geen hypothese meer maar waarneming. Geen mens rekent nog sneller dan een rekenmachine uit de jaren zeventig. Geen schaker, hoe goed ook, wint nog van de sterkste engine, dat kantelpunt lag al ruim voor de eeuwwisseling. Eiwitvouwing, ooit een probleem waar hele laboratoria decennia over deden, wordt nu in uren doorgerekend. Dit zijn feiten, geen duiding.

Wat (nog) niet is overgenomen

Wat een machine tot nu toe niet doet, en hier verschuift dit boek uitdrukkelijk van feit naar hypothese, is kiezen welk probleem het waard is om op te lossen, en waarom. Oordeel onder onvolledige informatie, verantwoordelijkheid nemen voor een beslissing die fout kan uitpakken, betekenis toekennen aan iets dat geen berekening je oplegt: daarover bestaat geen consensus, laat staan over de vraag wanneer dit verandert. Bostrom ziet hierin het grootste risico, een systeem dat oordeelt zonder ooit verantwoordelijkheid te kunnen dragen. LeCun ziet er juist het bewijs in dat de huidige machines fundamenteel iets missen wat geen schaalvergroting zal repareren. Dit boek kiest geen van beide met zekerheid.

Eerder in deze reeks

Eerder in deze reeks kwam de vraag al voorbij of het ding naast je denkt. Dit deel stelt een andere vraag: niet óf het denkt, maar wat er met jou gebeurt als het beter denkt dan jij. Waar de golem, het monster en de robot van Čapek dat antwoord in verhalen zochten, zoekt Bostrom het in wiskunde en De Wit het in de bestuurskamer. Geen van drieën heeft het laatste woord. En dat is precies waarom er nog een volgend deel kan komen.

"Even een moment. Niet of het denkt, maar wat er met jou gebeurt als het beter denkt dan jij, welk antwoord kun je nu al aan, en welk antwoord nog niet?"

Een slotgedachte, geen slotsom

Je vroeg naar een hypothese over de toekomst. Hier is de eerlijkste die dit boek je kan geven: de mens is nooit bang geweest voor intelligentie op zich. Hij is bang voor intelligentie zonder verantwoording, een weefspoel zonder wever, een golem zonder woord onder de tong, een robot zonder iemand die de stekker durft eruit te trekken. Dat is geen nieuw probleem van deze eeuw. Het is het oudste probleem dat een maker heeft, opnieuw aangekleed. Bouw met dat besef, niet met paniek en niet met blind vertrouwen, en houd de hand aan de stekker, ook als je hem nooit hoeft te gebruiken.

VERTROUWENSSCORE 0.70, de waarnemingen over reeds overtroffen taken zijn feitelijk vast; de synthese over wat blijvend menselijk is, is uitdrukkelijk de meest speculatieve laag van dit boek.

---

VERANTWOORDING

Dit boek beweegt tussen drie soorten uitspraken en probeert dat onderscheid overal zichtbaar te houden. Feit: wat Aristoteles schreef, wanneer Good publiceerde, wat Bostroms these precies stelt, welke functie Bob de Wit bekleedt, na te trekken en hier niet betwist. Duiding: welke gedachte-experimenten iets voor jou betekenen, hoe De Wits paradoxdenken zich concreet vertaalt naar bouwers, dat is dit boek dat spreekt, niet de bron zelf. Hypothese: of superintelligentie ooit ontstaat, wanneer, en wat er dan resteert dat onmiskenbaar menselijk is, dat blijft uitdrukkelijk open, met de sterkste tegenstem (LeCun tegenover Bostrom) er telkens bij.

De golem is als legende behandeld, niet als geschiedenis. Aristoteles' gedachte-experiment is in zijn oorspronkelijke, ongemakkelijke context geplaatst (het rechtvaardigde slavernij) in plaats van gladgestreken tot een neutraal citaat. Goods en Vinges voorspellingen zijn expliciet getoetst aan wat er wél en niet van uitkwam, in plaats van alleen aan hun elegantie. En Goods eigen latere bijstelling van zijn stelling is meegenomen.

Dit deel bouwt voort op het eerdere deel over de geest en de machine, zonder daar een totaal of een laatste woord van te maken; de reeks blijft open.

Etappescores: 0,92 · 0,88 · 0,78 · 0,74 · 0,82 · 0,70. Rekenkundig gemiddelde: 0,81. Overall vertrouwensscore in de frontmatter: 0,80, bewust niet naar boven afgerond, omdat de kern van dit boek (wat superintelligentie is, of die komt, en wat blijvend menselijk blijft) precies het deel is waarover deskundige, redelijke mensen het oneens zijn.