OpenAI a publié un nouveau rapport de terrain retraçant huit projets de calcul scientifique dans lesquels les agents de codage ont réduit les temps d’exécution.
Le rapport documente des projets qui ont utilisé le Codex seul dans cinq cas et une combinaison du Codex et du Code Claude d’Anthropic dans trois autres. À signaler dès le départ : il s’agit d’un fournisseur qui publie une enquête sur l’application de son propre produit dans des contextes de recherche, construite à partir d’études de cas rédigées par les contributeurs impliqués.
Cela ne rend pas le modèle sous-jacent moins intéressant à examiner. Le logiciel de recherche présente un problème de maintenance documenté. Les outils conçus pour accompagner un seul article, codés par de petites équipes académiques sans support technique dédié, ont tendance à accumuler une dette technique que personne n’a le budget ou le mandat de rembourser.
Le rapport d’OpenAI affirme que les agents peuvent remédier à cette dette, et les huit projets qu’il cite couvrent la génomique, l’immunologie, les statistiques et le séquençage de l’ARN.
Quelles tâches les agents ont-elles accomplies
Les tâches sont divisées en trois catégories : empaquetage et nettoyage du système de build, optimisation des performances sur le code existant et ports de langage complet ou backend.
cyvcf2, une bibliothèque Python pour lire les fichiers de variantes génomiques, a vu son système de construction et d’empaquetage existant remplacé par un processus plus récent et unifié, selon le contributeur Brent Pedersen, qui a noté qu’aller vite avec les agents est une chose, mais aller loin dans la science nécessite encore « des conseils, une compréhension, un goût et un soin d’experts ».
HI.SIM, un simulateur de lecture de séquençage d’ADN, a vu deux passes d’optimisation largement autonomes de GPT-5.2 et GPT-5.6 qui, selon le contributeur Andrew Ho, ont réduit le temps d’exécution de 31 % sur un ensemble de tests représentatif sans modifier le résultat.
Ho, qui se décrit comme ni un spécialiste de la génomique ni un programmeur C, a qualifié le résultat de « tout simplement magique » du point de vue de l’utilisateur final, ayant déjà perdu du temps à cause de bugs de performances et de problèmes d’empaquetage qu’il pouvait reconnaître mais qu’il ne pouvait pas résoudre personnellement.
Hifiasm, utilisé pour l’assemblage du génome à partir des lectures PacBio HiFi, a obtenu une réduction de 25 % du temps d’exécution sur son objectif d’optimisation et d’environ 15 % sur des données de séquençage humain distinctes, selon le contributeur Suyash Shringarpure.
Shringarpure a décrit l’agent mettant en place son propre échafaudage de référence et proposant des candidats de manière indépendante, tout en soulignant que fournir des résultats de profilage et éloigner le modèle des modes de défaillance répétés restait un travail que seul un humain pouvait faire.
MHCflurry, qui prédit les fragments de protéines présentés aux cellules T, a vu son backend TensorFlow/Keras migré vers PyTorch tout en gardant la compatibilité avec les poids des modèles précédemment publiés, un changement que les contributeurs Alex Rubinsteyn, Sergey Feldman et Timothy O’Donnell décrivent comme le genre de « maintenance peu glamour et à forte intensité de main-d’œuvre » qui maintient les projets scientifiques open source en vie plutôt que de les laisser pourrir.
bayesm-rs, un portage Rust de modèles statistiques du package bayesm de R, correspondait aux estimations du logiciel d’origine dans une tolérance prédéfinie et fonctionnait 2,3 à 2,7 fois plus rapidement sur un seul thread de processeur, grimpant jusqu’à 4,4 à 9,5 fois plus rapide sur huit threads. Selon les contributeurs Andrew Bai et Andrew Ho, les agents ont traité tout ce qui avait une référence directe pour vérifier rapidement et correctement ; les extensions nécessitant un jugement statistique (le code d’origine n’a jamais été identifié) nécessitaient plutôt une validation humaine directe.
Les ports Rust et une refonte du GPU poussent le modèle plus loin
Trois autres projets – rustar-aligner, svb et kuva – impliquaient des builds Rust réalisés avec des agents de codage, y compris une recréation complète de STAR, un outil d’alignement de séquences d’ARN largement utilisé qui avait perdu sa maintenance active.
Le collaborateur James M. Ferguson affirme que les agents changent ce qui vaut la peine d’être tenté : réécrire manuellement un aligneur de 20 000 lignes n’est pas une utilisation judicieuse du temps, mais avec un agent, cela devient des semaines de travail dirigé. La vérification, a-t-il ajouté, est une tout autre affaire. Un modèle peut affirmer qu’une intrigue semble correcte, mais en vérifier plus de 900 à l’oeil nu avant sa diffusion incombait toujours à une personne.
RustQC a regroupé 15 outils distincts de contrôle de la qualité du séquençage d’ARN en un seul programme qui, selon le contributeur Phil Ewels, a réduit le temps d’exécution de 60 fois et les entrées/sorties du disque de 25 fois, les reconstructions associées FastQC-Rust et Trim Galore s’exécutant respectivement sept et trois fois plus rapides tout en préservant le comportement des outils d’origine.
Ewels a également signalé un inconvénient : les reconstructions bon marché comportent leur propre risque, car les outils dont le comportement divergent fragmentent la communauté et rendent les résultats des différents laboratoires incomparables au fil du temps. « La technologie est la partie la plus facile », a-t-il déclaré. « La gestion est une question ouverte. »
HelixForge, une reconstruction native sur GPU de l’outil de simulation de mutation BAMSurgeon, aurait réduit le temps d’exécution d’environ 60 fois sur un test impliquant des données humaines réelles, selon les contributeurs Mamad Ahangari, Varun Goyal et Hassan Masoudi, qui affirment également qu’il a produit des fréquences de mutation plus proches des cibles demandées et résolu plusieurs bugs qui généraient des artefacts dans l’outil d’origine.
La vérification, et non la génération de code, est désormais la contrainte
Ce qui ressort de tous les articles, c’est que les agents ont traité avec compétence des demandes de mise en œuvre bien ciblées, mais n’ont pas pu juger si leur propre résultat était scientifiquement valable.
Les contributeurs décrivent des agents exprimant leur confiance dans un travail contenant des erreurs évidentes, ce qui a fait peser sur les humains la charge réelle de créer des tests d’acceptation : correspondance exacte des résultats, contrôles de parité par rapport à un outil existant ou réponses établies au préalable à l’aide de données simulées.
Les projets avaient tendance à se dérouler par étapes, les agents produisant rapidement des premières ébauches et le temps restant étant consacré aux cas extrêmes et aux petits écarts numériques qu’un benchmark seul ne pourrait pas détecter.
La réduction des coûts d’ingénierie joue dans les deux sens. Ils permettent à une équipe de deux personnes de se charger d’une reconstruction qui aurait autrefois nécessité l’embauche d’un ingénieur financé par une subvention, et ils permettent à trois laboratoires différents de produire plus facilement trois versions incompatibles du même outil. Les modifications apportées à MHCflurry et cyvcf2 sont réintégrées dans leurs projets d’origine en amont. rustar-aligner est passé à une nouvelle gestion communautaire parce que l’outil qu’il a remplacé avait déjà été abandonné.
Le rapport OpenAI pointe vers un choix spécifique plutôt qu’une approbation générale : décider à qui appartient un outil reconstruit et garantir cet engagement, avant que la première ligne de code généré par l’agent ne soit expédiée.
