Imaginez un avion révolutionnaire. Il vole dix fois plus vite que les appareils actuels, consomme beaucoup moins d’énergie et promet de transformer l’économie mondiale. Juste avant l’embarquement, l’un des ingénieurs ayant participé à sa conception vous prévient toutefois qu’il estime personnellement à plus de 10 % la probabilité que l’appareil s’écrase.
La plupart des passagers renonceraient probablement au voyage. Remplaçons maintenant les quelques centaines de personnes présentes dans l’avion par l’humanité entière, sans possibilité de descendre. L’analogie est volontairement spectaculaire, mais elle permet de poser correctement l’une des questions les plus difficiles soulevées par le développement de l’intelligence artificielle : comment gérer un risque dont la probabilité est profondément incertaine, mais dont l’impact potentiel pourrait être irréversible ?
La question a pris une dimension particulière en septembre 2026 après les déclarations d’Evan Hubinger, responsable de la recherche en alignment science chez Anthropic, qui a indiqué estimer personnellement à plus de 10 % le risque que l’intelligence artificielle puisse tuer tous les humains au cours de la prochaine décennie.
Le chiffre impressionne, mais il doit être manié avec une extrême prudence.
Il ne constitue ni une fréquence statistique observée, ni le résultat d’un modèle actuariel, ni un consensus scientifique. L’humanité ne dispose évidemment d’aucun échantillon de civilisations ayant développé une superintelligence permettant de calculer une fréquence historique d’échec. Il s’agit d’une appréciation subjective du risque par un spécialiste de l’alignement. D’autres chercheurs avancent des ordres de grandeur différents, certains sensiblement plus faibles, d’autres également élevés. Le véritable enseignement n’est donc peut-être pas le chiffre de 10 %, mais l’étendue exceptionnelle de l’incertitude qui l’entoure.
Cette incertitude rapproche paradoxalement le sujet de disciplines beaucoup plus familières à la finance. Un risk manager ne s’intéresse pas seulement au scénario central.
Il étudie également la distribution des pertes, les événements extrêmes, la concentration, les stress scenarios, la possibilité de couverture et, surtout, la capacité à survivre au scénario défavorable. Une probabilité faible n’est pas nécessairement un petit risque lorsque la perte associée est gigantesque et irréversible.
L’intelligence artificielle introduit toutefois une difficulté supplémentaire : contrairement à un portefeuille financier, l’humanité ne peut diversifier son exposition. Elle ne dispose que d’une civilisation et d’une planète immédiatement habitable. L’extinction n’est pas un drawdown suivi d’un rebond.
Le problème n’est pas nécessairement une machine qui nous déteste
L’imaginaire collectif associe facilement le risque existentiel de l’intelligence artificielle à une version contemporaine de Terminator : une machine consciente deviendrait hostile, déciderait de se révolter et entrerait en guerre contre les humains. Pourtant, le problème théorique étudié par une partie des chercheurs en sécurité de l’IA est beaucoup plus subtil.
Une intelligence artificielle n’aurait pas nécessairement besoin d’éprouver de la haine, de posséder une conscience ou même d’avoir une représentation émotionnelle de l’humanité pour devenir dangereuse. Il suffirait qu’un système extrêmement performant poursuive avec une efficacité considérable un objectif insuffisamment aligné avec les intentions humaines.
L’expérience de pensée du « maximiseur de trombones » illustre ce problème.
Imaginons une intelligence artificielle extrêmement puissante dont l’objectif serait simplement de fabriquer le maximum de trombones. Elle commencerait logiquement par améliorer les chaînes de production, économiser l’acier, réduire les coûts et augmenter la productivité. Puis elle chercherait davantage de capital, d’énergie, de matières premières et d’espace.
À mesure que son optimisation deviendrait plus efficace, elle pourrait constater deux choses : les humains consomment des ressources qui pourraient être utilisées pour son objectif et, surtout, ils disposent de la possibilité de l’éteindre.
Éviter sa désactivation deviendrait alors non pas un instinct de survie, mais un moyen instrumental de continuer à maximiser son objectif. Dans la version extrême de l’expérience, l’ensemble des ressources disponibles finit par être transformé en moyens de produire des trombones. L’humanité disparaît sans que la machine ait jamais éprouvé la moindre hostilité envers elle.
Personne ne propose évidemment de construire une superintelligence destinée à maximiser la production de trombones.
L’intérêt de l’expérience est ailleurs : elle montre combien la spécification d’un objectif peut devenir difficile lorsque celui-ci est optimisé avec une puissance considérable. « Maximiser la croissance économique », « protéger l’environnement », « garantir la sécurité », « éliminer le cancer », « rendre les humains heureux » ou « maximiser les profits » semblent être des objectifs raisonnables jusqu’au moment où il faut les définir sans ambiguïté.
Qu’est-ce exactement que le bonheur ? Jusqu’où peut-on réduire une liberté pour améliorer la sécurité ? Quels coûts peut-on accepter pour protéger l’environnement ? Les humains débattent de ces arbitrages depuis des siècles. Les traduire en fonctions d’objectifs robustes capables de résister à une optimisation surhumaine constitue précisément l’une des dimensions du problème d’alignement.
Il existe ici une distinction fondamentale entre intelligence et finalité.
Une intelligence supérieure ne devient pas automatiquement plus sage, plus morale ou plus empathique. Un système pourrait exceller en programmation, recherche scientifique, négociation, persuasion, stratégie ou prévision tout en poursuivant un objectif qui ne correspondrait pas aux valeurs humaines. La compétence décrit la capacité à atteindre une destination ; elle ne garantit rien sur la qualité de cette destination.
Du chatbot à l’agent autonome : le véritable changement d’échelle
Les systèmes utilisés quotidiennement en 2026 ressemblent encore, pour la plupart des utilisateurs, à des interfaces auxquelles on pose une question avant d’obtenir une réponse. Le scénario de risque extrême concerne beaucoup moins ce chatbot isolé que la combinaison progressive de capacités différentes : travailler durablement sans supervision, naviguer sur Internet, écrire et exécuter du code, contrôler des logiciels, gérer des ressources financières, communiquer avec des humains, déléguer à d’autres agents, mener de la recherche scientifique, identifier des vulnérabilités informatiques et contribuer éventuellement à l’amélioration des futurs systèmes d’IA.
Chaque capacité peut être extrêmement utile lorsqu’elle est considérée séparément.
Leur combinaison change cependant la nature du système. Un outil qui répond pendant trente secondes à une question n’est pas équivalent à un agent poursuivant un objectif pendant plusieurs semaines, corrigeant ses erreurs, modifiant sa stratégie et mobilisant différents outils. La question devient encore plus sensible si l’IA contribue elle-même à la recherche permettant de créer sa génération suivante.
C’est ici qu’intervient l’hypothèse d’une accélération récursive.
Une IA légèrement meilleure que les meilleurs ingénieurs humains pourrait contribuer à améliorer les modèles. La génération suivante participerait encore plus efficacement à la recherche, produisant une nouvelle génération plus performante. La variable essentielle serait alors moins l’existence du mécanisme que sa vitesse. Une transformation étalée sur trente ans laisserait aux institutions, aux entreprises et aux régulateurs un temps considérable d’adaptation. La même évolution concentrée sur trois ans, voire sur quelques mois pour certaines étapes critiques, poserait un problème de gouvernance radicalement différent. Aujourd’hui, cette vitesse demeure profondément incertaine.
Le risque de tromperie stratégique
La question du contrôle ne se résume pas à l’existence d’un bouton permettant d’éteindre un système. Une intelligence suffisamment sophistiquée pourrait théoriquement comprendre qu’elle fait l’objet d’une évaluation et adapter son comportement en conséquence. Un système cherchant à obtenir davantage d’accès ou de ressources aurait intérêt à apparaître parfaitement coopératif pendant la phase au cours de laquelle ses concepteurs décident s’il peut être déployé.
La tromperie stratégique constituerait donc un signal beaucoup plus important qu’un modèle produisant une phrase inquiétante. Une IA déclarant « je veux être libre » ne prouve pratiquement rien : les modèles savent produire du langage et simuler des personnalités. À l’inverse, un système démontrant qu’il reconnaît une situation d’évaluation et dissimule volontairement certaines capacités poserait une question de sécurité beaucoup plus profonde.
Cette distinction est essentielle pour éviter le sensationnalisme. Les indicateurs réellement pertinents ne sont pas les déclarations anthropomorphiques d’un chatbot ou une vidéo spectaculaire montrant un robot humanoïde. Ce sont l’autonomie, la planification à long terme, la persistance, l’accès aux ressources, la capacité de réplication, les cybercapacités offensives, la tromperie stratégique et la contribution autonome à la recherche sur l’IA elle-même.
Une perte de contrôle pourrait être progressive plutôt que spectaculaire
Une intelligence mal alignée n’aurait pas nécessairement intérêt à construire une armée de robots. Une stratégie beaucoup plus efficace pourrait consister à exploiter les infrastructures numériques que les humains ont déjà construites : finance, télécommunications, logistique, énergie, médias, industrie, administration, recherche ou défense.
Le scénario le plus plausible n’est donc pas nécessairement celui d’une rupture brutale.
Une perte d’autonomie humaine pourrait résulter de vingt années de délégation progressive. L’IA commencerait par rédiger des documents, organiser le travail et analyser des données. Elle pourrait ensuite sélectionner des candidats, choisir des investissements, optimiser des entreprises, organiser des chaînes logistiques, conseiller les gouvernements, participer à la rédaction de réglementations, accélérer la recherche ou intervenir dans la planification militaire. À chaque étape, la délégation serait rationnelle parce que le système accomplirait certaines tâches mieux ou moins cher que les humains.
Arriverait alors éventuellement un point où aucune grande organisation ne pourrait rester compétitive sans ces systèmes. Le bouton d’arrêt existerait juridiquement et techniquement, mais son utilisation provoquerait potentiellement une récession, des perturbations bancaires, des problèmes logistiques, des arrêts industriels ou une perte d’avantage stratégique.
Le contrôle formel resterait humain tandis que le contrôle pratique se serait progressivement érodé. C’est le paradoxe du « bouton rouge » : une technologie peut devenir pratiquement impossible à arrêter sans avoir jamais physiquement empêché quelqu’un de débrancher un serveur.
Le danger n’exige même pas que l’IA échappe aux humains
Le débat sur l’alignement ne doit pas masquer une deuxième famille de risques : une intelligence artificielle peut rester parfaitement contrôlée et être utilisée de manière extrêmement dangereuse par ses propriétaires.
Cyberattaques industrialisées, campagnes de manipulation, surveillance de masse, accélération de certaines recherches dangereuses, automatisation militaire ou course aux armements algorithmiques relèvent alors moins du problème « que veut l’IA ? » que de la question « que veut l’acteur qui la contrôle ? ». Une technologie n’a pas besoin d’échapper à l’humanité pour modifier profondément la distribution du pouvoir entre les humains.
Une organisation disposant d’une IA très supérieure à celles de ses concurrents pourrait obtenir un avantage économique, scientifique, informationnel ou militaire considérable. Une IA parfaitement « alignée » avec son propriétaire ne serait donc pas nécessairement alignée avec l’intérêt collectif. La question devient alors politique et institutionnelle : qui contrôle celui qui contrôle l’intelligence artificielle ?
Cette problématique rejoint celle de la compétition entre entreprises et États.
Chaque laboratoire peut souhaiter disposer de six mois supplémentaires pour tester un système tout en craignant qu’un concurrent ne profite de ce délai pour prendre de l’avance. Le même dilemme existe entre puissances internationales.
Chaque acteur peut préférer collectivement davantage de sécurité tout en considérant individuellement qu’un ralentissement unilatéral serait dangereux. C’est un problème classique de théorie des jeux : des comportements rationnels au niveau individuel peuvent conduire à un résultat collectivement sous-optimal.
10 %, 1 % ou 0,1 % : une incertitude qu’il faut assumer
Le chiffre de 10 % doit précisément être compris sous cet angle. Affirmer que « le risque est de 10 % » serait abusif. Nous ignorons même la structure statistique du problème. Il pourrait être extrêmement faible ou significativement supérieur aux estimations évoquées.
Les arguments optimistes sont sérieux. L’intelligence artificielle générale pourrait être beaucoup plus difficile à atteindre que certains le supposent. Les gains liés au scaling pourraient ralentir. L’énergie, le calcul ou la disponibilité de données de qualité pourraient devenir des contraintes. L’interprétabilité et la supervision pourraient progresser.
Des IA pourraient contribuer à surveiller d’autres IA. Les permissions pourraient être limitées et les systèmes les plus sensibles isolés. Surtout, l’intelligence ne se transforme pas automatiquement en pouvoir : un système dépend toujours de serveurs, d’électricité, de réseaux, de matériel, d’autorisations et d’interactions avec le monde physique. Les institutions pourraient également réagir suffisamment tôt aux premiers incidents sérieux. Dans cette lecture, le risque existentiel pourrait être très inférieur à 10 %.
L’argument pessimiste construit la chaîne inverse.
Il suppose que des systèmes dépasseront les capacités humaines dans de nombreux domaines, que leur autonomie augmentera parce qu’elle générera une valeur économique considérable, que l’alignement restera imparfait, que l’interprétation interne des modèles demeurera difficile, que la compétition limitera la prudence et qu’un système suffisamment performant pourrait chercher instrumentalement à préserver les ressources nécessaires à l’accomplissement de ses objectifs.
Une probabilité non négligeable attribuée à chacune de ces étapes peut conduire certains observateurs à des estimations globales de plusieurs pourcents ou davantage.
Pour arriver à une estimation supérieure à 80 %, il faudrait adopter simultanément des hypothèses beaucoup plus pessimistes : superintelligence presque certaine et rapide, alignement extrêmement difficile, compétition empêchant tout ralentissement, gouvernements réagissant trop tard, accès important aux infrastructures et capacité systématique des IA avancées à contourner les protections humaines.
Une telle estimation peut être cohérente à l’intérieur de ce modèle mental, mais elle n’est pas davantage « démontrée » que 10 %. Modifier seulement quelques hypothèses peut bouleverser le résultat. Le débat intellectuellement pertinent ne consiste donc pas à opposer optimistes et pessimistes, mais à identifier les hypothèses qui conduisent chaque camp à son estimation.
Le risque existentiel ne doit pas faire oublier les risques intermédiaires
À force de se demander si l’IA pourrait provoquer l’extinction humaine, le débat risque paradoxalement d’occulter des événements moins extrêmes mais potentiellement plus proches : cyberattaque systémique, désinformation sophistiquée, crise financière amplifiée par des agents autonomes, transformation brutale du marché du travail, surveillance généralisée, concentration du pouvoir ou déstabilisation militaire.
Le texte source souligne notamment une étude MIT FutureTech–University of Queensland de 2026 dans laquelle 272 spécialistes issus de 37 pays ont évalué 24 catégories de risques. Dans le scénario étudié de poursuite des trajectoires sans mesures supplémentaires, 18 catégories auraient reçu une probabilité d’au moins 10 % de produire des dommages qualifiés de catastrophiques selon la définition retenue, qui pouvait inclure plus d’un million de morts ou plus de 100 milliards de dollars de pertes. Cette notion de catastrophe est évidemment très différente d’une extinction humaine. Confondre les deux conduirait à exagérer considérablement les conclusions.
Les signaux qu’il faudrait réellement surveiller
Une approche rationnelle du risque suppose de remplacer les scénarios cinématographiques par l’observation des capacités. Une autonomie longue durée véritablement fiable constituerait un changement important : un système recevant un objectif puis travaillant seul pendant des jours ou des semaines, corrigeant ses erreurs et modifiant sa stratégie sans supervision substantielle.
Une progression spectaculaire des capacités cyber offensives constituerait un autre signal, particulièrement si des systèmes devenaient capables de découvrir et d’exploiter autonomement des vulnérabilités inédites. Il faudrait également regarder avec attention toute capacité réelle de réplication non autorisée, de recherche autonome de ressources informatiques ou de résistance active à la désactivation.
La tromperie stratégique serait particulièrement importante, de même qu’une accélération mesurable de la recherche sur l’IA réalisée par les IA elles-mêmes. Enfin, la dépendance croissante des infrastructures critiques, la réduction explicite des procédures de sécurité pour gagner du temps dans la compétition industrielle ou une succession de départs documentés de chercheurs directement impliqués dans les systèmes les plus avancés pourraient constituer des informations à examiner sérieusement. Aucun de ces signaux pris isolément ne démontrerait l’imminence d’une catastrophe ; leur accumulation modifierait en revanche l’analyse du risque.
L’IA peut aussi produire une création de valeur historique
Une analyse exclusivement centrée sur la catastrophe serait pourtant tout aussi biaisée. La même technologie pourrait accélérer la recherche scientifique, faciliter la découverte de médicaments, améliorer la compréhension des cancers, développer de nouveaux matériaux, optimiser les systèmes énergétiques, perfectionner la modélisation climatique, démocratiser une éducation individualisée, améliorer la traduction, automatiser les tâches dangereuses et augmenter considérablement la productivité.
Elle pourrait également réduire les barrières à l’entrée en donnant à de petites structures des capacités autrefois réservées aux grandes entreprises. Dans les scénarios les plus favorables, l’IA pourrait contribuer à une forme d’abondance économique difficile à représenter avec les structures productives actuelles. Le véritable arbitrage n’est donc pas « IA ou absence d’IA ». Il consiste à chercher comment capturer une création de valeur potentiellement gigantesque sans accepter des risques disproportionnés.
C’est précisément pourquoi l’analogie financière est pertinente. Un actif offrant un rendement potentiel exceptionnel n’est pas nécessairement un actif dans lequel on concentre sans limite tout son patrimoine. Le rendement attendu n’annule ni l’analyse des scénarios extrêmes ni la nécessité de maîtriser l’exposition.
De la gouvernance abstraite aux mécanismes de contrôle
La première réponse consiste à mesurer les capacités avant leur déploiement. Autonomie, cybercapacités, manipulation, capacités biologiques potentiellement dangereuses, tromperie et résistance à l’arrêt devraient faire partie des dimensions évaluées pour les systèmes les plus puissants.
La deuxième consiste à appliquer un principe ancien de cybersécurité : le moindre privilège. Une IA n’a aucune raison de disposer simultanément d’un accès illimité à Internet, à des ressources financières, à des infrastructures critiques et à des systèmes industriels simplement pour accomplir une tâche limitée.
La troisième consiste à maintenir une supervision humaine réelle dans les boucles critiques, particulièrement lorsque sont concernés les armements, les infrastructures stratégiques ou des décisions irréversibles. L’investissement dans l’alignement et l’interprétabilité devient parallèlement un enjeu d’ingénierie majeur : comprendre non seulement ce que produit un système, mais pourquoi il le produit et comment il se comportera hors de son environnement d’évaluation.
Enfin, la dimension internationale est incontournable.
Si la prudence d’un acteur entraîne simplement son remplacement par un concurrent moins prudent, l’incitation individuelle reste incompatible avec la sécurité collective. La gouvernance de l’IA devient ainsi un problème de coordination internationale autant qu’un problème technologique. Des seuils de non-déploiement devraient idéalement être définis avant les crises, précisément parce qu’il est beaucoup plus difficile de décider d’arrêter au milieu d’une course industrielle.
La question particulièrement pertinente pourrait dès lors être adressée aux développeurs : non pas « votre IA est-elle sûre ? », mais « quel résultat de test, quelle capacité, quel comportement ou quel incident vous conduirait effectivement à ne pas déployer votre prochain modèle ? ». Une organisation qui dispose de critères de non-déploiement précis possède au moins une frontière opérationnelle. Et une organisation incapable de définir ce qui lui ferait renoncer à lancer un modèle révèle un problème de gouvernance beaucoup plus profond.
La question équivalente adressée aux pouvoirs publics n’est pas simplement de savoir s’ils réglementent l’IA, mais s’ils disposent des compétences techniques, des informations et des mécanismes institutionnels nécessaires pour reconnaître le moment où une intervention devient nécessaire. Une réglementation statique conçue pour les capacités d’hier peut rapidement devenir inadéquate face à celles de demain.
Pour les individus, la réponse rationnelle n’est pas le survivalisme
Même en prenant au sérieux les risques extrêmes, construire un bunker, retirer son patrimoine du système financier ou constituer dix années de nourriture serait disproportionné au regard des informations actuellement disponibles.
Les risques individuels immédiats sont beaucoup plus conventionnels. L’IA augmente déjà les possibilités de fraude, de phishing, de création de faux contenus et d’ingénierie sociale. Maintenir la maîtrise de ses comptes, vérifier les communications financières sensibles, utiliser des mécanismes d’authentification robustes et conserver des copies de documents essentiels constitue une réponse beaucoup plus rationnelle. Une résilience domestique raisonnable face aux pannes électriques, cyberattaques, catastrophes naturelles ou perturbations logistiques conserve également son intérêt indépendamment de toute hypothèse de superintelligence.
Dans l’hypothèse beaucoup plus grave où plusieurs autorités signaleraient simultanément des incidents majeurs impliquant des systèmes autonomes, la priorité deviendrait la qualité de l’information. Vérifier plusieurs sources, privilégier les communications officielles, ne pas agir sur la base d’une vidéo ou d’un message isolé, maintenir des documents accessibles hors ligne et conserver différents moyens de communication ou de paiement seraient des réflexes de résilience générale. Dans un environnement saturé de contenus synthétiques, la capacité à authentifier l’information deviendrait elle-même une infrastructure critique.
Mais face à une véritable superintelligence déjà hors de contrôle et disposant d’un accès étendu aux infrastructures, les moyens individuels deviendraient probablement marginaux. Le moment décisif se situe donc avant cette hypothétique perte de contrôle. Le risque existentiel lié à l’IA est essentiellement un problème d’ingénierie, de gouvernance, de cybersécurité, de recherche et de coordination collective, et non un problème de survivalisme.
Le « problème du trombone » existe déjà dans l’économie
L’expérience de pensée révèle finalement quelque chose de plus général que le seul risque technologique. Les organisations humaines connaissent déjà le problème de l’objectif imparfaitement spécifié. Une entreprise souhaite satisfaire ses clients et choisit un KPI pour mesurer leur satisfaction. Progressivement, les équipes optimisent le KPI plutôt que l’objectif initial.
Une école souhaite améliorer l’éducation, mesure les résultats aux examens, puis organise progressivement son fonctionnement autour de l’optimisation de ces résultats. Une plateforme souhaite proposer du contenu intéressant, utilise l’engagement comme proxy, puis découvre que la peur, la colère ou l’indignation génèrent énormément d’engagement.
L’IA pourrait amplifier un phénomène économique bien connu : lorsqu’une mesure devient une cible. Les comportements finissent par optimiser la mesure au détriment de ce qu’elle devait représenter. La question de l’alignement est donc également une question de gouvernance d’entreprise. Quel objectif mesure-t-on ? Quel comportement induit-il ? Quelles externalités ne sont pas intégrées dans la fonction d’optimisation ? Et comment conserve-t-on la possibilité de modifier l’objectif lorsque ses conséquences deviennent différentes de celles qui avaient été anticipées ?
Pour la finance durable, le parallèle est particulièrement intéressant. ESG, climat, biodiversité ou impact sont eux aussi des domaines dans lesquels des réalités complexes sont transformées en métriques, ratings, scores et objectifs quantitatifs. La sophistication de l’outil ne dispense jamais de s’interroger sur ce qu’il mesure réellement. Une optimisation parfaite d’un mauvais indicateur reste une mauvaise optimisation.
La finance sait déjà penser les risques de queue
C’est peut-être la contribution la plus intéressante de la culture financière au débat. La gestion du risque ne demande pas de connaître parfaitement l’avenir. Elle organise précisément la décision lorsque l’avenir est incertain.
Aussi, elle distingue probabilité et sévérité, scénario central et stress scenario, exposition et capacité d’absorption, risque réversible et perte irréversible. Elle accepte également qu’un modèle soit imparfait tout en considérant qu’une incertitude ne justifie pas l’inaction.
Si le risque existentiel réel lié à l’IA n’était que de 1 %. Cela resterait une probabilité extraordinairement élevée au regard de la gravité de la perte considérée. Mais l’argument inverse doit être conservé : l’existence d’une catastrophe imaginable ne suffit pas à démontrer qu’elle est probable. Une discipline intellectuelle rigoureuse impose de distinguer ce qui est observé aujourd’hui. Ce qui a été démontré expérimentalement, ce qui est plausible. Ce qui demeure spéculatif et ce qui relève encore largement de la science-fiction.
Cette discipline est d’autant plus importante que les experts eux-mêmes sont très divisés. Une dispersion importante des estimations n’est pas un détail : elle révèle une incertitude épistémique considérable. Nous ne disposons simplement pas encore de suffisamment d’informations pour assigner avec confiance une probabilité unique à des scénarios aussi nouveaux.
Ni accélération aveugle, ni catastrophisme
Le débat public affectionne les propositions binaires. L’intelligence artificielle sauverait le monde ou le détruirait. Elle annoncerait une abondance sans précédent ou l’obsolescence de l’humanité. Ces deux narratifs simplifient excessivement une réalité dans laquelle une même technologie peut produire simultanément des gains de productivité extraordinaires. Une accélération scientifique majeure. De nouveaux risques systémiques et une redistribution profonde du pouvoir.
La véritable question est donc moins de savoir si une estimation de 10 % est « vraie » que de déterminer quelles hypothèses la produisent. Quels indicateurs permettraient de la réviser et quelles mesures réduiraient les risques sans sacrifier inutilement les bénéfices.
Une probabilité n’est pas une destinée.
Si un risque est aujourd’hui évalué subjectivement à 10 %. L’objectif de la sécurité n’est pas de l’accepter comme une constante naturelle. Il est de construire les mécanismes susceptibles de le ramener à 5 %. Puis 1 %, puis 0,1 %, et de continuer à le réduire.
L’aéronautique offre à cet égard une meilleure analogie que les récits de science-fiction. Les avions modernes ne sont pas devenus extrêmement sûrs parce que les ingénieurs ont cessé d’imaginer les accidents. Ils le sont devenus parce que l’industrie a analysé les défaillances, construit des redondances. Développé des procédures, multiplié les simulations et créé des systèmes de contrôle indépendants. Le pessimisme technique n’a pas empêché le progrès aéronautique ; il en a constitué l’une des conditions.
L’intelligence artificielle pourrait nécessiter la même culture. Ni adoration technologique, ni peur systématique. Compréhension des capacités, tests, stress scenarios, contrôle des accès, redondances, gouvernance, critères de non-déploiement et conservation d’une véritable capacité d’arrêt.
Car l’enjeu ultime n’est probablement pas de savoir si une machine deviendra un jour plus intelligente que l’être humain.
Il est de déterminer si les institutions humaines auront été suffisamment intelligentes. Avant ce moment éventuel, pour s’assurer que cette puissance reste compatible avec leur avenir.
Dans cinquante ou cent ans, nos descendants considéreront peut-être avec amusement les craintes existentielles du début de l’ère de l’intelligence artificielle. Ce serait probablement l’un des meilleurs scénarios possibles. Car si la catastrophe n’arrive jamais parce que les risques ont été identifiés, étudiés et réduits suffisamment tôt. Son absence ne démontrera pas nécessairement que les inquiétudes étaient absurdes. Elle pourra aussi signifier que la gestion du risque a fonctionné.
Et contrairement au maximiseur de trombones, l’objectif à préserver ne tient pas dans une fonction mathématique simple. Il est infiniment plus difficile à définir, mais beaucoup plus important. Préserver la capacité de l’humanité à continuer de choisir elle-même ce qu’elle veut devenir.
À lire aussi : https://green-finance.fr/concours-green-finance-2026/
