Un milliard de dollars de financement de démarrage pour une entreprise qui emploie 12 personnes est une indication que les investisseurs ont toujours confiance dans l’IA. Mais le fondateur de la startup en question – Yann LeCun d’AMI Labs – estime que le type de technologie que nous appelons actuellement IA (grands modèles de langage) n’est pas le moyen par lequel elle produira des résultats significatifs et à long terme.
Yann LeCun a quitté son poste de scientifique en chef de l’IA chez Meta à la fin de l’année dernière et a fondé Advanced Machine Intelligence Labs (AMI Labs) qui, affirme-t-il, restera un organisme de recherche dont on ne s’attend pas à ce qu’il produise un produit commercialisable avant peut-être cinq ans. L’équipe d’AMI Labs ne se concentre pas sur d’énormes modèles basés sur un langage à usage général, mais sur des IA composées de collections de composants modulaires, formés et fonctionnant dans des cas d’utilisation spécifiques.
Le système d’intelligence artificielle proposé par LeCun comprendrait les types d’éléments suivants :
- un modèle mondial propre au domaine dans lequel l’IA opérerait. Cela peut être spécifique à un secteur d’activité, ou peut-être plus probablement à un rôle spécifique.
- un acteur qui propose les étapes à suivre, basées sur l’apprentissage par renforcement classique,
- une critique qui analyse les différentes options tirées du modèle du monde et basées sur la mémoire à court terme, et évalue les étapes proposées selon des règles codées en dur,
- un système de perception qui serait spécifique à l’usage de l’IA : données vidéo ou audio, textes, images, etc. utilisant par exemple des algorithmes de reconnaissance visuelle de deep learning,
- une mémoire à court terme,
- un configurateur qui orchestrerait le mouvement des informations entre chacun des éléments ci-dessus.
Contrairement aux grands modèles linguistiques qui ont été formés sur une seule source d’information (le texte extrait d’Internet), chaque instance de l’IA de LeCun recevrait des données dirigées pertinentes uniquement pour son environnement et son objectif. Dans chaque version, l’importance de chaque module peut être définie différemment. Par exemple, le module critique serait plus complet dans les domaines qui fonctionnent avec des informations sensibles, ou le module de perception serait primordial dans les systèmes qui doivent réagir rapidement aux événements du monde réel.
Chaque module serait formé d’une manière adaptée au domaine particulier de l’IA. Il y a eu plusieurs exemples de réussite dans le passé, comme les systèmes d’apprentissage automatique qui peuvent apprendre eux-mêmes à jouer à une vidéo ou à un jeu de société, par exemple. Cela contraste avec les grands modèles linguistiques qui sous-tendent la grande majorité de ce dont nous parlons actuellement lorsque nous parlons d’IA.
Les LLM sont formés en tant que généralistes, créant des réponses basées sur ce qu’ils ont ingéré, qui sont ensuite sujettes à des ajustements soit par une ingénierie rapide via des wrappers logiciels (Claude Code étant le plus connu récemment), soit à un niveau plus profond au moyen de modèles de raisonnement (la partie « penser à voix haute » des réponses de base est réinjectée dans l’invite de l’IA avant que l’utilisateur ne voie les réponses finales.)
Les implications financières des IA produites par le type de méthodes proposées par AMI Labs seront intéressantes pour l’industrie actuelle de l’IA – en supposant que les idées de Yann LeCun produisent des résultats fructueux et viables. Les grands modèles de langage des grands fournisseurs de technologie (Anthropic, Meta, OpenAI, Google et al.) ont consommé plus de ressources à chaque itération au cours des cinq dernières années. Outre la croissance initiale de la taille des modèles, les incitations récursives nécessaires à l’amélioration des résultats de leurs versions ultérieures signifient que la formation et l’exécution de grands modèles deviennent de plus en plus coûteuses, et que seules les grandes entreprises peuvent se permettre de les faire fonctionner avec une perte financière.
Les modules plus petits et ciblés de la solution proposée par AMI Labs pourraient être exécutés avec une fraction de la puissance GPU actuellement nécessaire pour les LLM géants, ou même sur l’appareil. Au lieu des centaines de milliards de modèles de paramètres utilisés par ChatGPT, par exemple, les modèles spécialisés – qui n’ont pas besoin d’être généralistes – ne devraient nécessiter que quelques centaines de millions de paramètres. Ceci, ainsi que l’hypothèse selon laquelle le coût de l’informatique va généralement baisser, signifie qu’une IA locale, bon marché et intrinsèquement plus précise ne sera peut-être qu’à un pas de là.
Une startup avec une nouvelle idée recueillant d’énormes sommes de soutien financier n’a rien de nouveau dans l’histoire récente de la technologie. Mais au moins une partie de la stratégie de LeCun repose sur sa conviction que les grands modèles de langage actuels ne peuvent pas s’améliorer de manière suffisamment significative pour réaliser les aspirations de leurs créateurs. AMI Labs semble offrir aux investisseurs un moyen permettant à l’IA de fonctionner avec succès dans un avenir proche à un coût gérable, en utilisant une architecture différente de la norme actuelle. C’est une proposition différente de ce qui est actuellement sur la table de la part des géants de l’IA d’aujourd’hui, mais le message sur le potentiel futur est similaire.
(Source de l’image : « Perspective on Modular Construction » de sidehike est sous licence CC BY-NC-SA 2.0.)
