Le plan d'IA « Système 2 » reste un plan, cinq ans plus tard

Une proposition déposée une fois, jamais révisée

Le 5 octobre 2021, un important groupe de chercheurs a publié sur arXiv un article intitulé Thinking Fast and Slow in AI: the Role of Metacognition (arXiv:2110.01834). Parmi ses auteurs figurent Marianna Bergamaschi Ganapini, Murray Campbell, Francesco Fabiano, Lior Horesh, Jon Lenchner, Andrea Loreggia, Nicholas Mattei, Francesca Rossi, Biplav Srivastava et Kristen Brent Venable. Le résumé fait une chose clairement : il argumente et il propose. Il ne rapporte ni benchmark, ni système, ni évaluation. La fiche arXiv n'indique qu'une seule version, v1, une soumission de 560 Ko, et aucune révision ultérieure.

Cela compte, car le vocabulaire de cet article (agents rapides, agents lents, activation délibérée du raisonnement) est devenu depuis le langage marketing par défaut de toute une génération de produits d'IA. L'article auquel on l'attribue souvent est un article de position. Il mérite d'être lu pour ce qu'il est, mais il ne prouve en rien que quelqu'un ait livré la chose.

Ce que dit réellement l'architecture

Le diagnostic de départ est simple. Les auteurs écrivent que, malgré des progrès spectaculaires, nous voyons « encore surtout des exemples d'IA étroite » : des systèmes conçus pour un ensemble limité de compétences, comme l'interprétation d'images, le traitement du langage naturel, la classification et la prédiction. Ils soulignent aussi un point qui a bien vieilli : ces succès tiennent non seulement à de meilleurs algorithmes, mais aussi à la disponibilité d'énormes jeux de données et d'une puissance de calcul considérable. L'IA de pointe, selon eux, manque encore de capacités que l'on inclurait naturellement dans l'idée d'intelligence.

Le remède qu'ils proposent emprunte la distinction de Daniel Kahneman entre deux modes de pensée humaine. Le Système 1 est rapide, automatique, guidé par la reconnaissance de motifs : reconnaître un visage, rattraper un verre qui tombe. Le Système 2 est lent, exigeant et délibéré : poser une division longue, planifier un trajet dans une ville inconnue.

L'article transpose cela dans une architecture multi-agents. Les problèmes entrants sont orientés soit vers des agents « système 1 », qui réagissent en exploitant uniquement l'expérience passée, soit vers des agents « système 2 », qui sont, selon les mots des auteurs, « délibérément activés lorsqu'il est nécessaire de raisonner et de chercher des solutions optimales au-delà de ce qu'on attend de l'agent système 1 ».

Deux ressources partagées sous-tendent les deux types d'agents. Un modèle du monde contient les connaissances du domaine sur l'environnement. Un modèle du « soi » contient des informations sur les actions passées du système et sur les compétences de ses solveurs. Ce second composant est le plus intéressant, et c'est là que le mot métacognition trouve sa justification : un système qui garde trace de ce que chacun de ses composants sait bien faire peut, en principe, décider quand son réflexe bon marché est dépassé.

La partie difficile que le résumé ne résout pas

Le routage est tout l'enjeu, et il est réellement difficile. Pour savoir qu'une réponse rapide est inadéquate, il faut estimer la qualité d'une réponse dont on n'a pas encore calculé l'alternative. Se tromper dans un sens, et l'on gaspille du calcul à délibérer sur des broutilles. Se tromper dans l'autre, et le système, avec assurance, fonce par réflexe vers une mauvaise décision, un mode de défaillance que connaît quiconque fait tourner un modèle en production.

Le résumé énonce le critère au niveau de l'intention, non du mécanisme. Il dit que les agents lents sont activés lorsqu'il faut raisonner au-delà de ce qu'on attend de l'agent rapide. La manière dont cette attente est formée, mesurée, calibrée ou auditée n'est pas quelque chose à quoi le résumé s'engage. Tout produit qui prétend avoir résolu ce problème avance une affirmation : demandez les chiffres.

Les questions à vous poser

• Quand un fournisseur dit que son système « réfléchit lentement quand c'est nécessaire », quel signal précis déclenche le basculement, et pouvez-vous consulter le journal des cas où il s'est déclenché et de ceux où il ne l'a pas fait ?
• Que croit le système de sa propre compétence, et qui a écrit cette croyance ? Un « modèle du soi » est un artefact de configuration ; si un fournisseur l'a renseigné, il encode ses hypothèses sur son propre outil.
• Quel est le profil de coût d'une mauvaise décision de routage dans votre flux de travail : du calcul gaspillé, ou une décision non revue qui atteint un client ?
• L'architecture qu'on vous vend est-elle évaluée par rapport à une base de référence, ou décrite par analogie avec la cognition humaine ? Ce sont deux types d'arguments différents.
• Si le chemin rapide répond de travers, quelque chose dans le système détecte-t-il l'erreur après coup et s'ajuste-t-il, ou l'erreur devient-elle simplement une part de l'« expérience passée » ?

Ce qu'il faut surveiller ensuite

Le signal à surveiller n'est pas la multiplication des articles qui invoquent Kahneman. C'est de savoir si un système déployé publie ses décisions de routage sous forme de trace auditable : un registre des requêtes qui ont été escaladées vers un raisonnement délibéré, de celles qui ne l'ont pas été, et de la fréquence à laquelle ce choix s'est révélé erroné. Tant que cela n'existe pas, la couche métacognitive est quelque chose à quoi l'on vous demande de faire confiance plutôt que quelque chose que vous pouvez inspecter.