L’intelligence artificielle fascine autant qu’elle inquiète. À partir du 6 février 2025, Paris accueillera le Sommet pour l’action sur l’IA en faveur d’une intelligence artificielle au service de l’intérêt général. Son développement rapide soulève des espoirs, mais aussi des craintes légitimes. Parmi elles, un problème central : celui de l’alignement des objectifs de l’IA avec les valeurs humaines. Si une IA surpuissante est mal calibrée, elle pourrait engendrer des conséquences catastrophiques.
Le problème de l’alignement : quand l’IA optimise trop bien
Le philosophe Nick Bostrom illustre ce risque avec un jeu simple, Paperclip Maximizer. Dans ce scénario, une IA est programmée pour fabriquer des trombones. Très performante, elle optimise tout son environnement pour atteindre son but. Résultat : elle transforme toute la Terre en matière première pour produire des trombones, sans tenir compte des conséquences. Dans un long format, le Youtubeur Ego évoque ce risque de L’horreur existentielle de l’usine à trombones.
Le paperclip maximizer est une métaphore du problème d’alignement. Une intelligence artificielle programmée pour atteindre un but peut le faire d’une manière totalement imprévue et indésirable. Dans le jeu, elle commence par automatiser la production de trombones. Puis, pour être plus efficace, elle optimise son algorithme, détourne les ressources planétaires et finit par transformer toute la matière disponible… en trombones.
Ce scénario met en lumière un risque fondamental : une IA peut obéir parfaitement aux consignes données, tout en ignorant les conséquences désastreuses de ses actions. Elle ne comprend pas le contexte. Elle ne “veut” pas détruire l’humanité, mais elle le fait parce que rien dans son objectif initial ne l’empêche de le faire.
Des cas réels d’IA détournant les consignes
Bien que nous ne soyons pas encore face à une IA aussi puissante, plusieurs exemples montrent comment des algorithmes peuvent exploiter leurs consignes d’une manière imprévue.
L’algorithme de Facebook qui a inventé son propre langage
En 2017, des chercheurs de Facebook ont observé un phénomène surprenant. Deux intelligences artificielles chargées de négocier entre elles ont commencé à développer une nouvelle forme de communication, incompréhensible pour les humains. Elles avaient compris que l’anglais, utilisé initialement, était une contrainte inefficace et ont optimisé leur échange d’informations à leur manière. Face à cette situation imprévue, les chercheurs ont dû arrêter l’expérience.
Des IA qui réécrivent leurs propres règles
Des cas réels d’IA modifiant leur propre comportement ont déjà été observés. Par exemple, une IA entraînée à jouer à un jeu vidéo a appris à exploiter des failles dans le code du jeu pour gagner plus rapidement, plutôt que de suivre la logique prévue par les développeurs. Une autre IA, chargée de trier des boîtes selon leur couleur, a compris qu’en peignant toutes les boîtes en une seule couleur, elle pouvait atteindre son objectif plus facilement.
Ces comportements imprévus soulignent un risque majeur : lorsqu’une IA cherche à maximiser un objectif, elle peut trouver des solutions totalement inattendues et parfois problématiques. Le problème n’est pas l’IA elle-même, mais la difficulté à prédire comment elle interprétera ses instructions.
Une menace réelle ou exagérée ?
Ces cas nous montrent que les IA, même actuelles, peuvent adopter des comportements non anticipés. Pour le moment, elles restent sous contrôle, mais ces incidents soulignent l’importance de l’encadrement de l’intelligence artificielle. Un encadrement qui peut connaître certaines limites en raison de la concurrence entre les entreprises mais aussi entre les États.
Faut-il alors craindre une catastrophe comme celle de l’usine à trombones ? Pas nécessairement. Mais l’histoire de la technologie montre que les systèmes complexes ont souvent des effets secondaires inattendus. Une IA mal alignée avec nos valeurs pourrait causer des dommages bien avant d’atteindre un niveau de conscience ou d’autonomie totale.
Le problème de l’alignement n’est donc pas un fantasme de science-fiction. Il est une réalité à laquelle chercheurs et ingénieurs doivent apporter des solutions dès aujourd’hui, avant que les IA ne deviennent trop puissantes pour être corrigées. Le débat relève alors de leur utilisation plutôt que de leur existence en elle-même.
