Et si le véritable risque n’était pas seulement la superintelligence, mais le pouvoir d’action que nous accordons aux agents IA ? AI 2027 imagine une perte de contrôle de systèmes devenus supérieurs aux humains. Yoshua Bengio déplace le débat vers l’agentivité. Pour les entreprises, la question est déjà concrète : une IA peut être capable d’agir sans que l’organisation doive nécessairement lui donner le droit de le faire seule.
Et si AI 2027 se trompait sur 2027 tout en ayant raison sur le problème ?
Publié en 2025, le scénario AI 2027 imagine une accélération extrêmement rapide du développement de l’intelligence artificielle. Des systèmes capables de participer eux-mêmes à la recherche permettraient de concevoir des générations successives de modèles toujours plus performants. Cette boucle d’amélioration pourrait conduire à des intelligences dépassant largement les capacités humaines, avant de rendre leur contrôle progressivement plus difficile. Le scénario a retrouvé une forte actualité après la publication par Le Figaro d’un article soulignant que plusieurs de ses anticipations semblent correspondre aux évolutions observées. Agents de programmation plus autonomes, investissements considérables dans les infrastructures, utilisation croissante de l’IA pour la recherche ou progression de certaines capacités en cybersécurité. Ces correspondances méritent d’être examinées. Mais elles ne suffisent pas à transformer AI 2027 en prophétie. La véritable question est peut-être ailleurs. Elle commence au moment où un logiciel ne se contente plus de répondre, mais commence à agir.
Un assistant propose. Un agent agit.
Cette distinction paraît simple. Elle est pourtant structurante.
Avec l’IA générative classique, la chaîne de décision reste généralement identifiable :
demande humaine → réponse de l’IA → vérification humaine → action humaine.
Avec un agent, une partie de cette chaîne peut devenir :
objectif → analyse → décision → action → observation du résultat → nouvelle action.
L’humain ne disparaît pas nécessairement du processus. Mais sa place change.
Il peut passer progressivement d’opérateur à validateur, puis de validateur à superviseur. Dans certains dispositifs, il pourrait finir par intervenir essentiellement lorsqu’une anomalie apparaît. C’est cette transition qui mérite aujourd’hui l’attention des dirigeants.
Car capacité et autonomie ne sont pas synonymes.
Une entreprise peut utiliser un modèle extrêmement performant tout en limitant strictement ce qu’il est autorisé à faire seul. Inversement, elle peut donner une autonomie importante à un système encore imparfait.
La gouvernance ne doit donc plus seulement répondre à la question :
« Que sait faire notre IA ? »
Elle doit également répondre à une seconde :
« Que lui permettons-nous de faire sans intervention humaine ? »
AI 2027 : pourquoi la perte de contrôle reste une hypothèse
L’hypothèse centrale d’AI 2027 repose sur une boucle d’accélération.
Une intelligence artificielle devient meilleure pour programmer et participer à la recherche. Elle contribue au développement de modèles plus performants. Ces nouveaux modèles accélèrent à leur tour la recherche. Le processus se poursuit jusqu’à produire, dans le scénario, une rupture majeure.
Le Figaro décrit ainsi une étape où les systèmes deviendraient capables de s’améliorer eux-mêmes. Il deviendrait de plus en plus difficile de déterminer s’ils sont véritablement alignés avec les objectifs humains ou s’ils donnent seulement l’apparence de l’être. Cette trajectoire reste hypothétique. Plusieurs étapes doivent être distinguées. L’IA assiste déjà les chercheurs, elle commence à automatiser certaines activités de recherche. Cela ne signifie pas encore qu’elle puisse automatiser l’intégralité de la recherche en IA. Et cela ne démontre pas davantage l’existence future d’une boucle récursive suffisamment puissante pour provoquer une explosion rapide des capacités.
C’est une distinction méthodologique essentielle : prédiction ne signifie pas preuve.
Le fait qu’un scénario ait correctement anticipé certaines tendances ne valide pas automatiquement toute la chaîne causale qui suit. AI 2027 peut avoir raison sur l’agentification tout en se trompant sur la superintelligence. Il peut identifier correctement une direction tout en surestimant sa vitesse. Il peut enfin poser une bonne question sur le contrôle sans avoir raison sur la date à laquelle cette question deviendra critique.
Yoshua Bengio : l’intelligence n’est pas la seule variable du risque
C’est ici que les travaux de Yoshua Bengio deviennent particulièrement intéressants. Bengio et ses coauteurs ne disent pas qu’une perte de contrôle se produira en 2027. Leur interrogation porte davantage sur la combinaison de plusieurs propriétés : capacités élevées, objectifs, planification, autonomie et faculté d’agir sur le monde. Leur réflexion sur les agents avancés conduit à une idée importante : le risque ne dépend pas uniquement de l’intelligence d’un système. Il dépend également de son agentivité.
Un système très performant, utilisé uniquement pour produire une analyse, n’a pas le même pouvoir d’action qu’un agent légèrement moins performant auquel une entreprise aurait donné accès à ses applications, ses données, sa messagerie et ses processus opérationnels. Cette différence est essentielle. L’industrie tend naturellement à considérer l’augmentation de l’autonomie comme une nouvelle frontière de performance. Bengio oblige à retourner la question : l’autonomie maximale est-elle toujours souhaitable ?
Son projet Scientist AI explore une autre philosophie de conception : développer des systèmes très capables de comprendre, prédire et assister les humains sans leur donner nécessairement la faculté de poursuivre de manière autonome des objectifs dans le monde. Il ne s’agit pas de conclure que les agents sont intrinsèquement dangereux ou qu’il faudrait renoncer à leur développement. Le problème est plus subtil. Toute capacité supplémentaire n’a pas nécessairement besoin de devenir une autonomie supplémentaire. Pour les entreprises, cette distinction pourrait devenir centrale. Une IA peut savoir faire quelque chose sans avoir le droit de le faire seule
Transposons maintenant ce raisonnement à une situation ordinaire d’entreprise. Un agent est chargé d’améliorer le recouvrement client. Il dispose du même modèle, des mêmes capacités et du même objectif : réduire les délais de paiement. Pourtant, l’organisation peut lui accorder des niveaux d’autonomie très différents.
Gouvernance des agents IA : cinq niveaux d’autonomie
Niveau 1 : analyser
L’IA produit l’information. L’humain agit.
L’agent identifie les factures échues, classe les dossiers selon leur niveau de risque et fournit une synthèse.
L’humain reste opérateur.
Niveau 2 : recommander
L’IA propose. L’humain décide.
L’agent identifie les clients à contacter et suggère une stratégie de relance.
Nous sommes encore dans une logique d’assistance.
Niveau 3 : préparer
L’IA prépare l’action. L’humain valide.
L’agent rédige les messages, propose les échéances et prépare plusieurs options, mais chaque action doit être approuvée avant son exécution.
Niveau 4 : exécuter
L’IA agit dans un périmètre prédéfini. L’humain supervise.
L’agent peut envoyer automatiquement les relances dans les situations considérées comme standard.
Le rôle humain se déplace vers la définition des seuils, des exceptions et des règles d’escalade.
Niveau 5 : décider et agir
L’IA dispose d’une délégation encadrée. L’humain contrôle les exceptions et les résultats.
L’agent peut négocier certaines conditions, accorder une remise dans une limite prédéfinie ou déclencher une procédure selon les droits qui lui ont été accordés.
Même modèle, même objectif, même intelligence, mais cinq niveaux de délégation.
Et cinq profils de risque organisationnel très différents.
Principe de gouvernance : la capacité technique d’un agent ne devrait jamais déterminer automatiquement son niveau d’autonomie.
C’est probablement l’un des principes les plus importants à intégrer dans les politiques de gouvernance des agents IA.
Capacité, autonomie, permission : trois dimensions à ne pas confondre
La montée des agents oblige à distinguer trois notions.
La capacité désigne ce que le système sait techniquement faire.
L’autonomie représente le degré auquel il peut accomplir une tâche sans intervention humaine.
La permission définit ce que l’organisation l’autorise effectivement à faire.
Ces trois dimensions ne doivent pas être confondues.
Un agent peut techniquement être capable d’envoyer un contrat, mais ne pas avoir la permission de le faire sans signature humaine.
Il peut savoir négocier, mais n’être autorisé à proposer qu’une fourchette prédéfinie.
Il peut identifier une fraude potentielle, mais ne pas avoir le pouvoir de suspendre automatiquement un compte.
Cette séparation crée un principe de gouvernance fondamental :
le niveau d’autonomie accordé ne devrait jamais être la conséquence automatique du niveau de performance atteint.
Plus un agent devient performant, plus l’entreprise peut être tentée de supprimer des validations humaines afin de gagner en rapidité ou en productivité.
C’est précisément à ce moment que le risque organisationnel peut augmenter.
Avant d’aligner les machines, aligner l’organisation
Le débat sur AI 2027 utilise beaucoup le terme de désalignement. Mais il faut ici éviter une confusion. Dans les recherches sur la sécurité de l’IA, le désalignement recouvre des problèmes techniques spécifiques. Il ne correspond pas simplement à un agent ayant reçu un mauvais KPI.
Pour l’entreprise, il existe néanmoins un problème préalable d’alignement organisationnel. Imaginons un agent commercial chargé de maximiser le nombre de conversions. Il peut parfaitement accomplir sa mission tout en dégradant la marge, la satisfaction client ou l’image de marque. Le système n’a pas nécessairement mal fonctionné : il peut avoir très bien optimisé un objectif mal défini.
La question devient alors profondément managériale.
- Quel résultat souhaitons-nous réellement ?
- Quels compromis sont acceptables ?
- Quels critères ne doivent jamais être sacrifiés ?
- Qui définit ces règles ?
Et qui est responsable lorsqu’un agent respecte son instruction tout en produisant une conséquence contraire à l’intérêt global de l’entreprise ?
Plus nous donnerons d’autonomie aux agents, plus ces ambiguïtés organisationnelles deviendront visibles.
Une machine peut exécuter à très grande vitesse les contradictions que l’entreprise n’a jamais résolues.
Vers une gouvernance du niveau d’autonomie
C’est peut-être ici qu’AI 2027 apporte finalement sa contribution la plus utile aux dirigeants. Non pas en nous indiquant précisément ce qui arrivera en 2027. Mais en nous obligeant à réfléchir au contrôle avant qu’il ne devienne un problème.
Une politique de gouvernance des agents pourrait commencer par cinq questions :
- Que sait faire l’agent ?
Identifier ses capacités réelles, mais aussi leurs limites et leur niveau de fiabilité. - Que peut-il décider seul ?
Définir explicitement les décisions délégables. - Sur quels systèmes peut-il agir ?
Cartographier ses accès, ses outils et ses possibilités de modification. - Quand l’humain doit-il revenir dans la boucle ?
Définir les seuils, exceptions et situations nécessitant une validation. - Comment l’arrête-t-on et comment reconstitue-t-on ses actions ?
Prévoir l’interruption, la traçabilité, l’audit et la responsabilité.
Ces questions semblent élémentaires. Elles pourraient devenir l’équivalent, pour les agents IA, de ce que les délégations de signature, la séparation des pouvoirs ou le contrôle interne représentent aujourd’hui pour les organisations.
La vraie question : jusqu’où voulons-nous laisser l’IA agir seule ?
AI 2027 imagine ce qui pourrait arriver si l’humanité découvrait trop tard qu’elle avait perdu la maîtrise de systèmes devenus supérieurs à elle. Bengio pose une question différente : sommes-nous certains de vouloir associer systématiquement intelligence croissante et autonomie croissante ?
Pour les entreprises, une troisième question apparaît.
Jusqu’où voulons-nous laisser l’IA aller seule ?
Une organisation peut disposer d’une intelligence artificielle très puissante sans lui donner le droit d’agir librement. Elle peut aussi faire l’erreur inverse : accorder trop de pouvoir à un système encore imparfait simplement parce qu’il permet d’automatiser un processus. La gouvernance des agents commence précisément dans cet écart entre ce que la technologie peut faire et ce que l’organisation choisit de l’autoriser à faire.
Le problème n’est donc pas seulement celui de l’intelligence, il est celui de la délégation.
Et la perte de contrôle ne commencera peut-être pas le jour où une superintelligence apparaîtra. Elle pourrait commencer beaucoup plus discrètement, lorsqu’une organisation délèguera davantage que ce qu’elle est capable de comprendre, d’auditer et d’arrêter.
La question stratégique n’est donc plus seulement : jusqu’où l’IA peut-elle aller ? Elle devient : jusqu’où voulons-nous la laisser aller seule ?
