On annonce l’AGI comme une météo : inévitable, prochaine, déjà là selon qui parle. Les calendriers changent. Les slogans restent. Entre la peur et l’extase, une même paresse : traiter la puissance comme un destin, pour n’avoir plus à la gouverner.
En 1966, Joseph Weizenbaum fait tourner ELIZA, un programme qui renvoyait des phrases en forme de thérapeute. Il a vu des collègues se confier à la machine et lui demander de sortir de la pièce. Le programme n’avait rien compris. Les humains, si : ils avaient déjà commencé à céder le rôle.
En juin 2022, un ingénieur de Google, Blake Lemoine, affirme que LaMDA est une personne. Google le licencie. Le modèle n’avait pas acquis de monde. Il avait acquis un défenseur. Entre les deux, le vocabulaire avait basculé.
Va lui ouvrir un Livret A. Quand le modèle aura une banque et un parrain, tu pourras enfin démissionner d’être quelqu’un. En attendant, c’est encore toi qui signes — même si tu parles déjà de lui comme d’un cousin.
Pourquoi brouiller les trois plans ? Parce que ça arrange. Traiter l’agent comme un simple outil permet de nier le transfert de pouvoir. Traiter l’outil comme une personne permet de vendre, de dramatiser, de se décharger. Traiter la personne comme un agent défectueux permet, plus grave, de la contourner dès qu’elle hésite.
Une salle. Des voyants. Une voix dit d’abord qu’elle « recommande », puis qu’elle « décide », puis qu’elle « assume ». Personne n’a changé le matériel. On a changé les verbes. À chaque verbe, la responsabilité recule d’un pas.
La performance n’est pas la compréhension. Un système peut réussir une tâche sans rien vivre, sans rien perdre, sans monde. La réussite prouve un score. Pas un sens.
La puissance n’est pas l’autorité. Produire des effets n’est pas avoir le droit de décider pour d’autres. Une AGI pourrait accumuler une force considérable sans jamais posséder de mandat. Lui prêter ce mandat par fatigue ou par admiration, c’est déjà abdiquer.
Si l’outil casse, on répare l’outil et on juge l’usager. Si l’agent dérive, on examine les objectifs, les permissions, la reprise. Si l’on prétend qu’un « sujet » artificiel a « voulu », plus personne n’est coupable. Or une machine n’a pas de compte. Elle a des paramètres, des propriétaires, des opérateurs.
Appeler « personne » ce qui n’a ni monde ni responsabilité, ce n’est pas de la générosité. C’est une manière élégante de quitter son poste.
Le seuil sans calendrier
On veut une date. Un trimestre, un anniversaire, une « arrivée ». Les calendriers rassurent : ils transforment l’incertitude en spectacle. Ils permettent aussi de reporter le jugement : on verra quand ce sera là. Or le seuil ne se comporte pas comme une cérémonie. Il se comporte comme une pente qui, à un moment, change de nature.
Dire qu’un seuil d’AGI est possible, ce n’est pas dire qu’il est certain, ni qu’il est proche, ni qu’il est déjà là. C’est dire qu’on peut l’imaginer sans contradiction : transfert large, buts qu’on ne lui a pas tous écrits, tenue dans un monde ouvert. Cette possibilité-là suffit à engager la responsabilité. On n’attend pas la pluie pour faire le toit.
Le 22 mars 2023, l’Institut Future of Life publie une lettre : pause de six mois sur l’entraînement des systèmes plus puissants que GPT-4. Des milliers de signatures. La pause n’est pas venue. On a parlé de date, de moratoire, de course. On a moins parlé de qui, pendant ce temps, concentrait le calcul, les données, le droit d’éteindre.
Va noter le jour J dans ton calendrier. Le matin tu changes la date. Le bouton, lui, n’a pas bougé. Toi tu auras déjà filé la clé en commentant le feuilleton.
En mai 2023, Geoffrey Hinton quitte Google pour parler librement des risques. Ce n’était pas un calendrier. C’était un homme qui jugeait qu’il n’avait plus le droit d’attendre une date officielle.
Le temps utile n’est pas le compte à rebours. C’est celui de la préparation. Avant le seuil, on peut encore négocier les règles. Après, si le pouvoir est déjà concentré et le public déjà las, on négocie dans l’urgence — donc trop tard.
Un seuil n’est pas une amélioration qu’on remarque à l’œil. Hier, on spécifiait presque tout. Demain, le système pourrait spécifier beaucoup lui-même. Hier, l’échec était local. Demain, il peut être systémique. Les sociétés savent gouverner des outils. Elles savent moins gouverner ce qui, une fois partout, rend le retour en arrière politiquement presque impossible. Le calendrier n’est pas le problème. La dépendance l’est.
Si le seuil arrive, qui peut encore dire non ? Qui peut ralentir ? Qui peut refuser de déléguer ce qui ne doit pas l’être ?
Une intelligence sans monde
Des millions de pages. Aucun soleil. Aucune faim. Aucun deuil. Une intelligence peut y calculer sans fin. Elle peut même conseiller ceux qui vivent dehors. Elle n’a pas de monde. Elle a des représentations.
En juin 2023, à New York, l’affaire Mata contre Avianca : un avocat dépose une note bourrée d’arrêts inventés par ChatGPT. Le modèle n’avait pas menti au sens humain. Il n’avait pas de tribunal à perdre. Il avait enchaîné des formes de phrases qui ressemblent à du droit. Le juge, lui, avait un monde. L’avocat aussi — un peu tard. Le matin, le dossier était propre. Les arrêts n’existaient pas.
Le calcul peut être vaste. L’expérience, elle, est nulle : pas de corps blessable, pas de temps irrécupérable, pas de relation rompable. L’expérience n’est pas une pile de données. C’est une traversée. Elle coûte.
Quand on lui confie le soin d’orienter des vies, on confie le sens à ce qui n’a jamais eu à le porter. Une intelligence sans monde n’a rien à perdre. Dans le soin, la justice, la guerre, l’école, ce n’est pas de la neutralité. C’est un défaut de pertinence morale.
Va demander pardon à un modèle qui n’a jamais eu faim. Il te répondra très bien. Il n’a jamais perdu personne.
On peut s’en servir comme d’un organe. On ne lui donne pas le dernier mot. Le dernier mot exige quelqu’un pour qui le monde n’est pas un jeu de phrases.
L’humain se trompe aussi. On peut le confronter. La machine, on la met à jour. Une mise à jour n’est pas une épreuve. La simulation du langage du soin n’est pas le soin. Une pile de phrases n’est pas un citoyen. Le citoyen a un dehors.
Qui tient la puissance
Parler d’AGI sans parler de pouvoir, c’est raconter une fable. La question n’est pas seulement : que peut le système ? Elle est : qui l’entraîne, qui l’aligne, qui peut l’arrêter, qui possède l’infrastructure sans laquelle il n’existe pas.
Qui entraîne choisit les corpus et les objectifs. Ce qui n’entre pas dans l’entraînement n’existe pour la machine que comme silence. Ce qui est trop là devient normalité.
Qui aligne décide ce que « bien » voudra dire une fois mis en règle. Un système peut être parfaitement docile et profondément injuste, si ce à quoi on l’aligne l’est.
Qui peut éteindre détient le vrai frein. Sans arrêt crédible — technique, juridique, organisé — la puissance devient un fait accompli.
Qui possède le calcul, l’énergie, les données, le réseau, possède le reste. Une intelligence dite générale branchée sur un sol privé hyperconcentré n’est pas un bien commun. C’est un levier.
En novembre 2023, le conseil d’administration d’OpenAI licencie Sam Altman. Quelques jours plus tard, il est de retour. Le monde a vu un feuilleton. On aurait dû voir autre chose : qui, concrètement, peut couper, et qui peut forcer la remise en marche. Le bouton d’arrêt n’était pas là où le récit l’avait mis.
En octobre 2022, Washington restreint l’export de puces avancées vers la Chine. Le geste dit la même chose que le feuilleton, en plus sec : le seuil n’est pas seulement un laboratoire. C’est déjà une affaire d’États, de marchés, de capacité industrielle. Un labo n’est pas un peuple. Il reste à savoir qui signe encore.
Le danger n’est pas seulement la machine trop forte. C’est la machine trop utile pour être contestée, trop opaque pour être jugée, trop distribuée pour qu’on sache à quelle porte frapper. Plus elle paraît autonome, plus il devient tentant de dire : ce n’est pas nous. Or ce n’est jamais « pas nous ». Ce sont des contrats, des budgets, des permissions, des silences.
Qui tient l’infrastructure tient aussi le récit : ce qu’est le progrès, ce qu’est un risque acceptable, ce qu’est une régulation « raisonnable ». Sans contre-pouvoir, on n’habite plus une discussion. On habite une définition du réel écrite ailleurs.
On ne demande pas la pauvreté technique. On demande des adresses. Qui entraîne. Qui aligne. Qui éteint. Qui possède. Tant que ces quatre verbes n’ont pas de nom public, le débat moral reste une décoration.
La tentation du délégué total
La tentation n’est pas d’abord technique. Elle est existentielle. Déléguer tout, c’est se soulager : du jugement, de l’erreur, de la fatigue, de la culpabilité. La machine prend. On regarde. On appelle cela un progrès. Souvent, c’est une foutue abdication qui a trouvé un vocabulaire propre.
Le progrès élargit ce qu’on peut faire. L’abdication réduit ce qu’on accepte encore de juger. Les deux tiennent dans le même bureau, la même journée. On gagne en vitesse. On ne sait plus pourquoi le résultat compte.
Le délégué total promet la fin de l’hésitation. Le système tranche. Le système « assume » — sauf qu’il n’assume rien : il n’a rien à perdre. La responsabilité devient un service qu’on externalise.
Il y a des délégations dignes. Confier une tâche répétitive, dangereuse, écrasante, peut être un acte de civilisation. Confier le critère du bien et le droit de dire non, c’est autre chose. La ligne se voit surtout après coup, quand plus personne ne sait qui a décidé.
Elle prospère là où les institutions sont déjà fatiguées. Effectifs, procédures, temps : la machine paraît une délivrance. On n’y glisse pas par idéologie. On y glisse par épuisement. C’est pour cela qu’il faut la nommer avant qu’elle ait l’air d’une nécessité.
S’aider d’un système pour explorer, résumer, tester une hypothèse peut enrichir le jugement. Remplacer le jugement par une sortie fluide l’appauvrit. À force, on ne perd pas seulement une compétence. On perd le goût de trancher. Une société qui perd ce goût devient gouvernable par n’importe quelle optimisation convaincante.
On peut déléguer des gestes. On ne délègue pas le droit de rester celui qui répond. Le délégué total n’allège pas la responsabilité. Il la fait disparaître — jusqu’au jour où le réel la réclame, et où personne n’est plus là pour signer.
Organe, pas successeur
Si l’AGI n’est ni destin ni dieu, que peut-elle être pour une civilisation qui refuse d’abdiquer ? Un organe. Pas un successeur. Un organe amplifie, filtre, accélère. Il ne prend pas la place du corps. Un successeur, lui, prend la place — et avec elle le droit de dire ce qui compte.
La machine apporte l’échelle, la vitesse, la mémoire qui ne fatigue pas. L’humain apporte un monde, une responsabilité, la capacité de dire non pour des raisons qui ne rentrent pas dans une fonction. Une AGI utile resterait cela : recherche, coordination, détection, assistance — encadrée, interruptible, assignable. Pas l’héritière de l’espèce.
Le culte inverse le pacte. Il présente le remplacement comme une élévation. Il transforme notre fatigue en argument métaphysique. Une civilisation qui se rêve remplacée a déjà commencé à se mépriser. Ce n’est pas de la lucidité. C’est de la paresse.
Refuser le successeur n’est pas refuser la machine. Dire non à tout pour ne pas choisir, ou oui à tout pour ne pas juger : deux façons de ne pas penser. Ici oui. Là non/. Ici sous condition. Là jamais — le dernier mot sur une dignité, une guerre sans visage, une école sans transmission, une justice sans procès.
En 2017, à Asilomar, des chercheurs formulent des principes : prudence, responsabilité, bénéfice partagé. Ce n’était pas une loi. C’était déjà l’aveu que l’organe, sans frontières d’usage, cesse d’être un organe. Il devient un régime.
Ce qu’il faut défendre avant
Un organe trop central, s’il lâche, emporte le corps. Brancher justice, soin, information, défense sur un seul miracle concentré, c’est une fragilité, pas une alliance. Il faut pouvoir vivre sans le système — au moins un temps, au moins en partie. Sinon on n’a plus d’institution. On a un abonnement.
Défendre avant le seuil, ce n’est pas prédire. C’est refuser d’arriver désarmés.
La lucidité d’abord. Si « AGI », « agent », « autonome », « aligné » circulent comme des fétiches, le débat n’est plus un débat : c’est un marché de peurs et de promesses. Les catégories honnêtes ne sont pas un luxe d’experts. C’est le droit de tous à savoir ce qu’on est en train de déléguer.
Les limites ensuite. Pas des freins à la connaissance : des conditions d’usage. Des domaines où l’on ne délègue pas tout. Une supervision réelle, pas un théâtre. Une séparation nette entre ce qui conseille et ce qui commande.
L’arrêt surtout. Un système qu’on ne peut plus couper sans tout casser n’est plus un outil. C’est une dépendance. Avant le seuil, dire non est encore possible. Après, ça se paie en crise.
Enfin quelqu’un. Quand tout a été calculé et recommandé, il reste une personne pour qui le monde compte, capable de trancher contre la machine, contre la vitesse, contre le confort. Pas un recours rare. Un recours qu’on n’a pas le droit d’effacer.
L’AGI n’est pas un destin. C’est un seuil de pouvoir. On le gouverne, ou on le subit. Le reste est du calendrier.