Une fuite suggère qu’Openai est sur le point de lancer un nouveau modèle d’IA open source puissant, potentiellement en quelques heures.
Les preuves proviennent d’une trace de chapelure numérique, avec impatience par les développeurs. Au centre de tout cela se trouvent des captures d’écran montrant une série de référentiels de modèles avec des noms comme Yofo-DeepCurrent / GPT-OSS-120B et Yofo-Wildflower / GPT-OSS-20B. Les dépositions ont depuis été supprimées, mais les comptes présentent des membres de l’équipe OpenAI.
Cette étiquette GPT-ASS est le vrai pistolet fumeur, apparemment un panneau clair pour «GPT Open Source Software». Pour une entreprise qui a gardé de plus en plus ses modèles de haut niveau, ce serait un peu un retour à ses racines. Le fait que nous voyions plusieurs versions, avec différents noms de code et tailles, suggère qu’une famille de modèles bien planifiée est sur le point de faire leurs débuts.
Grâce à un fichier de configuration divulgué, nous pouvons même jeter un œil sous le capot de la version suspectée de 120 milliards de paramètres.
Le modèle semble être construit sur un mélange d’experts, ou MOE, l’architecture. Pensez-y moins comme un seul cerveau monolithique essayant de tout savoir, et plus comme un conseil d’administration de 128 conseillers spécialisés. Lorsqu’une requête entre, le système sélectionne intelligemment les quatre meilleurs experts pour le travail. Cela donne au modèle la vaste connaissance de son énorme nombre de paramètres, mais la vitesse et l’agilité d’un système beaucoup plus petit, car seule une fraction fonctionne à tout moment.
Ce design met carrément le modèle d’IA open source d’Openai en concurrence avec les chéris de la scène, comme Mixtral et Meta’s Llama’s Llama’s Mixtral de Mistral.
Et les spécifications ne s’arrêtent pas là. Le modèle d’IA open source d’Openai semble se vanter d’un énorme vocabulaire, ce qui devrait le rendre plus efficace avec une gamme de langues plus large, et utilise l’attention coulissante des fenêtres pour gérer de longs flux de texte sans transpirer. En pratique, tout cela indique un modèle à la fois puissant et pratique à exécuter.
Alors, pourquoi Openai ferait-il un tel mouvement maintenant? Pendant des années, l’entreprise a fait face à de doux coups et à des critiques carrément pour s’être éloignés de ses débuts les plus ouverts. Le lancement d’un puissant GPT-ASS serait une offensive massive de charme destiné directement aux développeurs et aux chercheurs qui se sont sentis laissés pour compte.
Bien sûr, c’est aussi un jeu compétitif astucieux. Meta et Mistral ont montré comment un écosystème open source prospère peut stimuler l’innovation. En abandonnant un puissant modèle d’IA open source comme celui-ci semble être dans le mélange, Openai ne se joint pas seulement à la course; Il tente de redéfinir la piste.
Jusqu’à ce que nous obtenions le mot officiel d’Openai, tout cela est encore, techniquement, de la rumeur. Mais c’est une rumeur avec substance, soutenue par le code et les fichiers de configuration.
Le lancement d’un modèle open-source haute performance de 120 milliards de milliards de paramètres MOE du nom le plus célèbre de l’IA ne serait rien de moins qu’un événement historique, et il semble être imminent.
(Photo de Mariia Shalabaieva)
