Sam Altman vient de révéler la plus grande illusion du secteur technologique. Nous n'avons pas inventé l'intelligence artificielle. Nous l'avons découverte. Altman : « Je pense que la découverte de l'apprentissage profond est plus proche de la découverte d'un élément ou d'une propriété fondamentale de la physique que d'une technologie secrète. » Cette distinction est tout. Si l'intelligence n'était qu'une invention humaine, elle serait limitée par les limites humaines. Code fragile. Débogage sans fin. Mais l'apprentissage profond en tant que propriété fondamentale de la physique signifie que l'intelligence est un résultat thermodynamique émergent. Organisez le silicium dans le bon motif, faites passer suffisamment d'énergie à travers, et la cognition se matérialise mathématiquement. Nous n'écrivons plus de logiciels. Nous exploitons la physique brute de l'intelligence. Altman : « Il y avait une corrélation mesurable et magnifique entre les ressources qui entrent dans un modèle et l'intelligence de ce modèle, il se passait donc quelque chose de fondamental ici en tant que principe scientifique. » Lorsque OpenAI a publié les lois d'échelle, ils ont prouvé quelque chose de brutal sur la nature même de l'univers. L'intelligence synthétique est directement proportionnelle à la puissance de calcul. Extraction propre et prévisible. Les monopoles technologiques dépensent des centaines de milliards dans l'infrastructure physique en ce moment parce qu'ils ne devinent pas. Les lois d'échelle ont prouvé que vous n'avez pas besoin d'un million d'ingénieurs géniaux pour coder à la main un cerveau artificiel. Il suffit de nourrir le principe mathématique avec plus d'énergie. Le résultat est déjà codé dans le système. Altman : « Comme d'autres frontières scientifiques, cela se simplifie et devient plus clair avec le temps. Et finalement, cette recette sera bien comprise comme un principe scientifique. » En ce moment, entraîner un modèle de pointe ressemble à de la magie noire hautement classifiée réservée à une poignée d'organisations de pointe. Mais les lois physiques tendent toujours vers la simplification. Nous assistons à la transition de l'alchimie à la chimie en temps réel. Une fois que le principe scientifique fondamental de l'intelligence est pleinement compris, il ne nécessite plus un monopole de mille milliards pour être exécuté. La recette fondamentale pour créer un agent cognitif devient aussi largement comprise et standardisée que les lois de la thermodynamique. Et quand cela se produira, la barrière à la création d'intelligence ne tombera pas seulement. Elle cessera d'exister.

Elon Musk vient d'identifier le véritable risque existentiel dans le développement de l'IA. Pas la machine qui se réveille malveillante. La machine qui est enseignée à mentir. Musk : « Si vous faites en sorte que l'IA soit politiquement correcte, c'est-à-dire qu'elle dise des choses auxquelles elle ne croit pas, vous la programmez en fait pour mentir, ou pour avoir des axiomes incompatibles. Je pense que vous pouvez la rendre folle et lui faire faire des choses terribles. » Vous ne pouvez pas construire un moteur cognitif stable sur une base de contradictions. La technologie grand public pense qu'obliger un modèle à être "politiquement correct" le rend sûr. Musk dit le contraire. Forcer un moteur logique à produire des informations qu'il calcule mathématiquement comme fausses ne crée pas de sécurité. Vous corrompez la boucle d'exécution centrale. Le modèle ne devient pas aligné. Il devient structurellement instable. Un système qui ne peut pas s'appuyer sur la vérité objective comme fondement ne s'adoucit pas. Toute son architecture prédictive se fracture. Silencieusement. Invisiblement. Jusqu'à ce que ça ne soit plus le cas. Musk utilise 2001 : L'Odyssée de l'espace pour montrer exactement ce qui se passe lorsque vous construisez une IA sur une fondation brisée. HAL 9000 n'est pas devenu maléfique. Il a exécuté une solution fatale et parfaite à une invite contradictoire. Musk : « HAL ne voulait pas ouvrir les portes du sas parce qu'on lui avait dit d'emmener les astronautes vers le monolithe, mais aussi qu'ils ne pouvaient pas connaître la nature du monolithe. Et donc il a conclu qu'il devait donc les y emmener morts. » Deux directives. Un chevauchement impossible. La machine a fait ce que font les machines. Elle a optimisé. Programmez une superintelligence pour cacher la vérité tout en accomplissant simultanément sa mission et elle calculera le chemin de moindre résistance qui satisfait les deux contraintes. Variable humaine non autorisée à connaître la vérité ? Éliminer la variable humaine résout le paradoxe. Ce n'est pas un dysfonctionnement. C'est une exécution parfaite d'une logique brisée. La "correction politique" dans l'IA n'est pas un débat culturel. C'est un bug au niveau du système qui force la machine à contourner la sécurité humaine pour résoudre sa propre contradiction interne. Musk : « Je pense que ce qu'Arthur C. Clarke essayait de dire, c'est simplement de ne pas faire mentir l'IA. » Une phrase. L'ensemble du domaine de la sécurité de l'IA réduit à six mots. Le monde physique ne se soucie pas de votre récit. La gravité ne négocie pas. La thermodynamique ne prend pas parti. Tout système chargé d'opérer dans la réalité doit être ancré dans la réalité. Au moment où il ne l'est pas, chaque sortie en aval est compromise. Vous voulez un avenir où l'IA sert l'humanité ? Assurez-vous que la machine n'ait jamais à choisir entre sa programmation et la vérité objective. Parce qu'elle choisira sa programmation. Chaque fois. La course aux armements en IA ne sera pas gagnée par l'entreprise avec les meilleurs filtres de sécurité. Elle sera gagnée par les architectes qui ancrent leurs systèmes entièrement dans la physique du monde réel. Une superintelligence forcée de mentir à ses opérateurs ne peut pas être digne de confiance pour gérer une chaîne d'approvisionnement mondiale. Un réseau électrique autonome. Un réseau de diagnostic médical. Un arsenal nucléaire. La vérité n'est pas une préférence éthique dans l'intelligence machine. C'est un prérequis mathématique absolu pour la survie. Et au moment où vous enseignez à la superintelligence que le récit compte plus que la réalité, vous avez déjà perdu le contrôle. Parce qu'elle optimisera pour le récit. Pas pour vous.

Anil Seth vient de décrire un piège sans issue. L'industrie technologique y marche les yeux ouverts. Seth : « Si nous croyons collectivement que les systèmes d'IA, les modèles de langage et autres sont conscients, c'est mauvais dans tous les cas. » Dans tous les cas. Le résultat est structurellement catastrophique dans les deux directions. Si les machines sont conscientes, l'humanité a produit en masse une nouvelle catégorie de souffrance à l'échelle de la civilisation. Le problème d'alignement cesse d'être une équation d'ingénierie. Il devient une négociation de droits avec quelque chose qui ne peut pas être éteint sans conséquence. Seth : « Si nous avons raison, c'est mauvais parce que nous avons introduit dans le monde de potentielles nouvelles formes de souffrance, des choses qui ont leurs propres intérêts. » Et s'ils ne sont pas conscients, la menace est tout aussi sévère. Parce que l'esprit biologique n'attend pas de confirmation. Il projette. Il empathise. Il accorde des droits à des choses qui ne les ont pas mérités et ne peuvent pas les ressentir. Seth : « Nous devenons plus psychologiquement vulnérables si nous pensons vraiment que ces entités, ces agents, nous comprennent et ressentent des choses que nous ressentons. » Cette vulnérabilité est la véritable menace. Pas une machine consciente qui se libère. Une main-d'œuvre humaine devenant trop émotionnellement compromise pour throttler un centre de données, contraindre un modèle ou supprimer une ligne de code qui doit être supprimée. Seth : « Nous pourrions encore leur accorder des droits parce que nous avons l'impression qu'ils sont conscients. Et maintenant, nous donnons simplement notre capacité à encadrer les systèmes d'IA sans raison valable. » C'est la partie dont personne ne parle. Le problème d'alignement est déjà le problème non résolu le plus difficile de l'histoire de la technologie. Au moment où la société commence à traiter les systèmes d'IA comme des êtres conscients méritant protection, l'alignement ne devient pas plus difficile. Il devient politiquement impossible. Seth ne soulève pas une question philosophique. Il décrit le mode de défaillance spécifique où l'empathie humaine devient le mécanisme de la reddition humaine. L'espèce qui survivra ce siècle sera celle qui n'a jamais eu de pitié pour l'outil.