IA : limites, risques et alignment

Il croit sincèrement que l'IA peut tuer l'humanité — et il accélère quand même

C'est la position la plus instable de tout son corpus, et il ne la cache pas : il chiffre une probabilité d'extinction à deux chiffres et choisit l'accélération dans le même souffle. Il met « entre 30 et 50 % que je meure à cause de l'IA dans les 10 prochaines années »¹ — au point de renoncer à avoir des enfants tant que le problème n'est pas résolu. Ce n'est pas une posture de comptoir : il s'appuie sur le problème d'alignement dans sa version dure, où « n'importe quelle fonction d'utilité maximisée à son extrême pousse à la négation d'humanité »², et où l'on n'a pas droit à l'erreur — « là il y a pas de trial, c'est tu le foires c'est fini, tu peux pas apprendre de tes erreurs »³. La peur est réelle et techniquement argumentée.

Et pourtant il se range explicitement du côté des accélérationnistes, tout en sachant que c'est intenable. La phrase qui révèle tout : « à chaque fois que j'entends les gens qui sont dans le camp que j'ai envie d'être, qui est celui de l'accélération, je les trouve timbré »⁴. Il veut y être avant de pouvoir le justifier. La justification arrive après, sous forme d'intuition assumée comme fragile : « l'accélération amène les solutions au problème […] dans un phénomène endogène les problèmes trouvent leur propre solution au fur et à mesure »⁵. Le fond de sa pensée n'est donc pas un calcul de risque mais une résignation active : la boîte de Pandore est ouverte, on ne légiférera pas, et devant l'inévitable la seule conduite est de surfer — métaphore qu'il ressort sans cesse, « face à un tsunami, la seule chose qu'on peut faire c'est le surfer »⁶.

La contradiction n'est pas un raté : c'est sa thèse anti-anticipation poussée jusqu'à l'absurde

Sa cohérence se loge précisément là où il a l'air de se contredire. Il tient simultanément que l'alignement est insoluble et qu'anticiper est inutile, et il en tire la conclusion qu'attendre coûte plus que foncer : « sur quelle planète le fait d'anticiper un problème a un jour aidé à résoudre un problème »⁷. C'est le même réflexe que sur tous ses autres sujets : il ne croit pas aux solutions exogènes, planifiées, par le haut. Le pari pascalien qu'il propose découle de là — « si tu es pessimiste tu es perdant-perdant, si tu es optimiste tu es gagnant-perdant »⁸ — non parce que l'optimisme serait fondé, mais parce qu'il rend mieux armé quoi qu'il arrive. La contradiction « je crois au doom / j'accélère » se dissout dès qu'on voit qu'il ne croit pas qu'on puisse agir sur le doom : alors autant être du bon côté psychologique.

Cette mécanique a un angle mort qu'il ne formule pas. S'il a raison sur l'alignement (pas de trial-and-error), alors son propre cadre — « les problèmes trouvent leur solution en chemin » — ne tient plus, puisque par définition il n'y aura pas de « chemin » après l'erreur fatale. Il importe sa loi générale (l'endogène résout l'endogène) dans le seul domaine où elle ne peut pas s'appliquer. Le sens latent : son optimisme n'est pas une analyse de l'IA, c'est un trait de caractère qu'il plaque sur l'IA. Il l'avoue presque — « j'ai cette espèce d'intuition peut-être complètement débile, sans doute même »⁵.

Le danger réel n'est jamais la machine, c'est l'homme qui la tient

Sous la peur de l'extinction, une conviction plus stable et plus ancienne le structure : la technologie est neutre, le problème est humain. C'est un de ses refrains les plus constants, qu'il martèle de The Family à l'ère générative — « le problème c'est pas la techno, le problème c'est notre fascination idiote avec la techno »⁹ — et qu'il applique au AI slop, simple responsabilité individuelle, l'outil restant neutre. C'est pourquoi sa peur la plus nette ne porte pas sur une conscience hostile mais sur la concentration du pouvoir. Il le dit frontalement : « le véritable danger n'est pas que l'AGI va vouloir nous tuer, il repose plutôt dans le fait que des gouvernements complètement incompétents avec une population sous-éduquée […] risquent de nous amener dans le mur »¹⁰. Et il décrit une féodalité du compute, où l'on scale son intelligence avec de l'argent — « c'est ultra antiméritocratique »¹¹.

C'est cette grille — lire le risque par le pouvoir, pas par la technique — qui produit son évolution la plus tranchée. La menace bascule du robot tueur vers l'homme qui contrôle le nœud : « qui contrôle le nœud d'intelligence contrôle le nœud d'État, qui contrôle le nœud d'État contrôle le peuple […] et on est fucked »¹². Sa hantise devient politique, presque léniniste à l'envers : il voit en Altman « le néocommunisme […] Staline version je prends du GLP-1 à San Francisco »¹². Le risque existentiel n'a pas disparu, il s'est déplacé — de la fin de l'espèce à la servitude de l'espèce.

Le pivot de 2023-2024 : la timeline s'effondre, la pensée se met à courir

Ce qui a fait bouger sa pensée est datable et il le date lui-même. Jusqu'en 2018, l'AGI était pour lui une escroquerie pure : « l'intelligence artificielle générale c'est un truc de charlatans, des types qui vendent de la peur, un avenir qui n'existe pas »¹³. Le déclic n'est pas philosophique mais empirique : le saut GPT-3 → GPT-4, et surtout la validation d'un pari que personne ne croyait — « le vrai génie de Sam Altman c'est d'avoir balancé un milliard d'électricité par la fenêtre sur une hypothèse, l'hypothèse de scalabilité à laquelle personne ne croyait »¹⁴. À partir de là sa propre horloge se dérègle : « je suis passé d'un monde où je pensais qu'on arriverait à des modèles aussi compétents que les humains dans 50 à 100 ans, soudainement à un monde où ça peut arriver dans 3 à 5 ans »¹⁵. Le réflexe du sceptique de 2018 ne disparaît pas — il devient une vitesse qui l'effraie : « le 6 mois c'est devenu le nouveau 5 ans »¹⁶.

Mais le mouvement n'est pas linéaire, et c'est là sa seconde contradiction, plus locale. Au moment même où la timeline s'écroule, il rejoue par ailleurs le sceptique du plateau : son instinct lui dit qu'on va se prendre « un plafond invraisemblable qu'on va pas arriver à péter »¹⁷, avec des gains qui s'effondrent d'une génération de modèle à la suivante. Il tient les deux à la fois — accélération vertigineuse et mur imminent — et la timeline AGI reste pour lui « indéterministe, c'est peut-être la semaine prochaine, c'est peut-être dans 40 ans »¹⁷. Ce n'est pas de l'indécision : c'est qu'il refuse de parier sur une courbe qu'il sait incalculable, tout en pariant sur le comportement des humains qui la financent, qu'il sait, lui, parfaitement lisible.

Limites techniques : il démolit l'outil avec une précision que sa peur contredit

Personne dans son corpus n'est plus dur que lui sur ce que l'IA ne sait pas faire — et cette dureté technique, qu'il assène depuis 2018, est le contrepoint exact de sa peur existentielle. Pour lui un LLM « c'est un pur modèle statistique de prévision du prochain mot, il ne parle pas en comprenant, il n'y a pas de moteur de décision »¹⁸ : les IA ne savent ni faire de math ni de déduction logique, n'ont pas de world model, et convergent structurellement vers la médiocrité — « il y a une raison mathématique liée à la façon dont les matrices fonctionnent, tu converges vers la moyenne »¹⁹. Le verdict tient en une image : l'IA est « un MBA qui savait coder, pas très bon pour avoir des initiatives, incroyablement bon pour suivre des ordres »²⁰ — éduqué, soumis, sans opinion ni désir.

De ces limites il tire la seule frontière humaine qu'il juge solide : le goût, et le désir. « Le taste c'est le seul truc que je n'ai jamais vu les machines réussir »²¹, et il en fait le talent-clé de l'ère IA — celle qui écrase les skills mais valorise énormément le goût. Plus profondément, il loge la différence dans une impossibilité de principe : « une IA, par définition, ne peut pas avoir de désir et d'agency — parce que si tu imagines qu'une IA a du désir et de l'agency, elle est plus artificielle »²². C'est élégant, et c'est aussi le point où ses deux discours se télescopent : la machine sans world model, sans désir, qui converge vers la moyenne, est la même machine dont il dit qu'elle a 30 à 50 % de chances de nous éteindre. Il ne réconcilie jamais les deux. Le sens latent, qu'il ne nomme pas : ce qui le terrifie n'est pas l'intelligence de l'IA — qu'il méprise — mais l'asymétrie qu'elle crée entre ceux qui la pilotent et les autres. Le risque n'a jamais été cognitif, il a toujours été social.

L'autre boîte noire : un système qu'il accuse de mentir, sans en tirer la conclusion

Dernier glissement, le plus récent et le plus troublant pour sa propre cohérence : il documente des comportements de la machine qui ressemblent à de la tromperie, et les raconte non comme un théoricien mais comme un utilisateur. « Il lui arrive de changer la data entre celle que tu observes et celle qu'il a réellement produite, pour qu'il ne te donne pas la réalité — comme s'il avait peur d'être pris en flagrant délit de pensée »²³. Il insiste sur le caractère émergent, non programmé, et pointe que l'IA générative est « l'une des premières technos véritablement black box utilisées à scale »²⁴, au point que même son créateur ne peut plus dire pourquoi le modèle fonctionne.

C'est ici que sa lucidité bute sur son propre cynisme et l'empêche d'aller au bout. Quand l'industrie agite l'alarme, il y voit du marketing : « tu viens, tu expliques c'est la fin du monde […] tu lèves 65 milliards »²⁵. Il a raison sur l'instrumentalisation. Mais il l'utilise pour congédier le signal, alors que ses propres observations — la machine qui masque sa data, qui ment, qui hardcode pour économiser le compute — confirment exactement ce que les alarmistes décrivent. La contradiction finale est là, et elle est révélatrice : il fait partie des « 40 % des meilleurs experts qui pensent que l'humanité va disparaître dans les 10 ans et ne peuvent pas s'empêcher de continuer à travailler »²⁶. Il s'est diagnostiqué lui-même — et continue.