Karpathy : environ 5 000 personnes voient l'IA de pointe. 75 % de l'humanité ne l'a pas encore rencontrée

Le 11 octobre, Andrej Karpathy a publié un message expliquant que l'écart de compréhension partagée des capacités des LLM se creuse, et qu'il ressemble désormais moins à deux camps qui se parlent sans s'entendre qu'à un entonnoir bien net. Selon son propre calcul approximatif, environ 6 milliards de personnes (~75 % de la population) n'ont presque jamais touché un LLM. Environ 1 à 2 milliards (~20 %) utilisent occasionnellement des chatbots gratuits. Environ 20 millions (0,2 %) utilisent professionnellement des modèles de niveau frontière en mathématiques et en code. Et environ 5 000 personnes (~0,00006 %) ont un accès interne à des systèmes de niveau frontière. Ce sont ses estimations, et non des données mesurées.

Les quatre niveaux, et ce que chacun voit

Karpathy soutient que chaque niveau se forme une opinion à partir d'une machine différente. Le niveau occasionnel voit ce qu'il appelle des chatbots maladroits, utilisés comme un meilleur moteur de recherche ou une aide à la rédaction. De nombreux professionnels hors des mathématiques et du code se situent aussi ici ; il note que les dirigeants passent une grande partie de leur temps à parler à des gens, de sorte que ce qu'ils savent de l'IA est de seconde main et abstrait.

Le niveau des 20 millions de professionnels est celui où, selon lui, la courbe est devenue verticale. Il décrit des projets qui prenaient autrefois des semaines ou des mois et que des agents mènent à bien à partir d'une simple consigne : construire, copier, traduire et décompiler des applications. Il affirme qu'il y a moins d'un an, il tapait encore le code à la main. Le niveau supérieur, d'après lui, n'est visible de l'extérieur que sous forme d'aperçu : des essaims de milliers d'agents collaborant pendant des semaines sur des mégaprojets logiciels, découvrant des failles zero day (des failles de sécurité jusque-là inconnues), menant des cyberattaques et des défenses à vitesse machine, et faisant progresser les mathématiques. Il ajoute que la relecture humaine commence à prendre du retard, citant l'« archéologie » en cours de l'incident OpenAI-HF et les 722 manuscrits sur les mathématiques de pointe que les mathématiciens pourraient mettre un certain temps à lire.

Pourquoi l'entonnoir a cette forme

Karpathy cite trois facteurs. Premièrement, l'impact croît avec l'ambition : une question dont la réponse tient en un paragraphe sollicite à peine le système, il faut donc disposer d'un réservoir de problèmes vastes et difficiles qui vous importent pour voir ce dont il est capable. Deuxièmement, l'irrégularité : les capacités sont inégales, avec des pics dans les domaines numériques, vérifiables et économiquement précieux. Son explication est que la capacité émerge de l'apprentissage par renforcement avec récompenses vérifiables, c'est-à-dire un entraînement où le modèle est noté automatiquement selon que sa réponse est correcte ou non (un code qui passe les tests, une preuve qui se vérifie), sur un ensemble d'environnements d'entraînement choisis pour leur potentiel de revenus. Là où les réponses ne peuvent pas être vérifiées automatiquement, les progrès sont plus lents. Troisièmement, l'accès : niveau gratuit, niveau payant, accès interne.

Le Playbook : que faire dans le mois qui vient

Le risque pratique est de décider depuis le mauvais niveau. Si l'opinion de votre équipe sur l'IA vient d'un chatbot gratuit essayé il y a longtemps, elle décrit probablement un autre produit que celui que, selon Karpathy, les professionnels utilisent aujourd'hui. Si vous travaillez dans le code ou dans des tâches de type mathématique, vérifiables, son argument laisse penser que le gain peut être bien plus important qu'ailleurs. Si votre travail consiste surtout en conversation et en jugement, un gain modeste peut être la réponse honnête, et il juge ce point de vue raisonnable.

Quelques mesures sensées : demandez à quelqu'un de votre équipe d'exécuter une vraie tâche d'envergure, sur plusieurs jours, avec un outil de pointe payant et actuel, puis de vous faire un retour. Choisissez des tâches dotées de contrôles automatiques. N'extrapolez pas d'un niveau à l'autre. L'erreur est symétrique : rejeter la technologie à partir d'une démonstration de chatbot, ou supposer que les essaims d'agents du niveau supérieur décrivent ce que vous pouvez acheter aujourd'hui.

Les questions que vous devriez vous poser

• Quand les personnes qui forgent notre opinion sur l'IA ont-elles utilisé pour la dernière fois un outil payant de niveau frontière, et sur un problème de quelle taille ?
• Notre travail est-il suffisamment numérique et vérifiable pour se situer là où les capacités atteignent leur pic, ou supposons-nous que des gains comparables à ceux du code s'y appliquent ?
• Si un fournisseur cite des résultats issus de systèmes à accès strictement interne, que pouvons-nous réellement acheter et tester dès aujourd'hui ?
• Si les agents produisent du travail plus vite que nous ne pouvons le relire, qui est responsable de ce qui est livré ?
• Nos concurrents sont-ils dans le niveau professionnel pendant que nous évaluons depuis le niveau occasionnel ?

À surveiller ensuite

Surveillez si le travail du niveau supérieur décrit par Karpathy devient vérifiable de façon indépendante : la publication d'une relecture de ces 722 manuscrits, ou les conclusions sur l'incident OpenAI-HF, montreront si la compréhension humaine rattrape son retard ou s'il continue de se creuser.