La note de publication de Zhipu pour GLM-5.3 contient une phrase qui n’a pas été abordée dans la majeure partie de la couverture. Décrivant ses propres résultats en matière de cybersécurité, la société pékinoise écrit que la capacité « croît le plus rapidement, exactement là où nous sommes le plus en retard ».
Zhipu, qui opère également sous le nom de Z.ai, est l’un des rares laboratoires chinois à lancer des modèles qui concurrencent la frontière américaine. Le 14 août, la société a lancé GLM-5.3, un modèle axé sur le codage, et a publié une note de version technique décrivant les performances du modèle par rapport à ses concurrents. Cette note est la source de tout ce qui est rapporté ici.
L’affirmation qui a voyagé concernait la sécurité. Parallèlement aux résultats de codage, Zhipu a déclaré que GLM-5.3 était devenu étonnamment efficace pour détecter les vulnérabilités logicielles, obtenant un score de 84,5 % sur un benchmark appelé CyberGym, contre 83,8 % pour Mythos 5 d’Anthropic et 83,6 % pour GPT-5.6 Sol d’OpenAI. Les gros titres ont rapporté qu’un modèle chinois surpassait désormais les modèles américains en matière de chasse aux insectes.
La raison qui apparaît plus difficile qu’un résultat de référence habituel est ce qu’est devenue la découverte de vulnérabilités. Un modèle capable de lire une base de code et de localiser les failles exploitables est utile à un défenseur auditant son propre logiciel et utile à quiconque fait de même avec celui de quelqu’un d’autre. Le travail équivalent d’Anthropic bénéficie d’un accès restreint pour cette raison, tandis que Zhipu a l’intention de publier les poids de GLM-5.3 pour que tout le monde puisse les télécharger.
La propre publication de Zhipu est plus mesurée que la couverture médiatique qu’elle a produite. Le numéro de CyberGym est réel et il figure dans le journal. Il s’agit également du plus restreint des trois résultats en matière de cybersécurité publiés par la société, et Zhipu affirme clairement que les deux autres vont dans l’autre sens.
Trois repères, trois images différentes
CyberGym part du code source que le modèle peut lire et teste s’il peut trouver une vulnérabilité et confirmer que la faille est authentique. C’est le résultat qui a voyagé, et la marge est de sept dixièmes de point de pourcentage.
ExploitBench demande quelque chose de plus difficile, exigeant que le modèle raisonne sur une vulnérabilité réelle et sur la manière dont elle serait exploitée. GLM-5.3 obtient un score de 54,4 %, soit plus du double des 24,4 % de son prédécesseur. Mythe 5 obtient un score de 78,0 % et GPT-5,6 Sol 76,5 %.
ExploitGym compte le nombre de tâches d’exploitation qu’un modèle termine dans un budget de temps fixe. GLM-5.3 accomplit 105 tâches en deux heures et 130 en six. Mythe 5 complète 181 et 247.
Ces deux résultats ont été peu rapportés, et ce sont eux qui décrivent l’écart. Trouver une faille et créer un exploit fonctionnel à partir de celle-ci sont des tâches différentes. La lecture de Zhipu est que plus un test se situe loin dans la chaîne, plus son modèle est en retard, et la société le dit dans la version plutôt que de le laisser à découvrir.
Quel modèle anthropique et pourquoi il continue de changer
Une partie de la confusion dans la couverture médiatique vient du fait que Zhipu compare trois modèles anthropiques différents dans trois endroits différents. Le tableau de référence principal oppose GLM-5.3 à Opus 4.8. Les graphiques de performances utilisent Fable 5. La section sur la cybersécurité utilise Mythos 5. Quiconque lit rapidement repart avec une seule comparaison qui n’existe pas.
Concernant le codage, le tableau est plus mitigé que dominant. GLM-5.3 est en avance sur Opus 4.8 sur certains tests et à la traîne sur d’autres, et Zhipu déclare clairement que son modèle reste derrière Claude Fable 5 sur le benchmark de codage interne de l’entreprise.
Comment les tests ont été exécutés
Les notes de bas de page sur la méthodologie contiennent quelque chose que les résumés ont ignoré. Zhipu a évalué GLM-5.3 sur CyberGym, ExploitGym, ExploitBench, Terminal Bench et plusieurs autres tâches au sein de Claude Code 2.1.207, l’agent de codage d’Anthropic.
Ce n’est pas inapproprié. L’utilisation d’un harnais commun à tous les modèles permet à une comparaison de rester équitable, et Zhipu documente les paramètres utilisés. Cela vaut quand même la peine d’être remarqué. Les revendications frontières d’un modèle chinois à pondération ouverte sont mesurées par un logiciel d’agent américain, qui indique quelque chose sur la position de la couche d’outillage dans cette compétition que les scores du modèle ne donnent pas.
Deux autres détails méritent attention avant que le résultat du CyberGym ne soit considéré comme réglé. Le score est une seule exécution, signalée comme pass@1 sur 1 507 tâches, sans aucun chiffre de variance indiqué. Un écart de sept dixièmes de point entre deux runs simples n’est pas un écart sur lequel on devrait s’appuyer. Et les budgets de temps d’ExploitGym ont été normalisés à l’aide des taux de débit de l’analyse artificielle, avec des facteurs de redimensionnement répertoriés pour GLM-5.3, Kimi K3 et Qwen3.8 Max, mais pas pour Mythos 5.
Le nombre de vulnérabilités et le nombre manquant
Au-delà des tests de référence, Zhipu affirme avoir travaillé avec des équipes de sécurité en Chine pour exécuter ses modèles sur de véritables bases de code, identifiant 2 436 vulnérabilités dans 269 projets open source. La répartition de la gravité est de 107 critique, 990 élevée, 1 286 moyenne et 53 faible. La faille la plus ancienne date de 1981, et la vulnérabilité moyenne était présente dans le code depuis 26,6 ans avant d’être découverte.
Une divergence mérite d’être examinée avec attention. Le panel récapitulatif de Zhipu qualifie 1 097 résultats de critiques et élevés, ce qui correspond au tableau de gravité. Le corps du texte du même communiqué décrit ces 1 097 comme étant moyens à élevés. Plusieurs médias ont reproduit la deuxième version.
Le décompte arrive également après ce que Zhipu décrit comme un examen par des experts, un filtrage et une déduplication, de sorte que le résultat brut du modèle ne correspond pas à ce qui est rapporté. Sur les 2 436 conclusions, 53 ont été rendues publiques et 2 383 restent sous embargo. Le communiqué ne précise pas combien étaient inconnus auparavant, ni combien ont été reproduits indépendamment. Ce sont ces deux chiffres qui transformeraient une affirmation en termes de volume en une affirmation en termes de capacité.
Ce qui compte plus que le tableau de référence
Deux éléments du communiqué ont des conséquences plus longues que la marge de CyberGym.
Le premier est l’efficacité. Zhipu rapporte que GLM-5.3 atteint 31,4 % sur son benchmark de codage interne à environ 50 000 jetons de sortie par tâche, contre Opus 4.8 à 29,5 % en utilisant 120 000. Un travail légèrement meilleur pour moins de la moitié des jetons est un argument de coût, et le coût détermine si les équipes de sécurité ne disposant pas des budgets les plus importants peuvent exécuter ces outils.
La seconde est la distribution. Zhipu indique que les poids seront publiés une fois l’évaluation de la sécurité et le durcissement terminés. Cela ne s’est pas encore produit, et en attendant, l’affirmation des pondérations ouvertes est un engagement plutôt qu’un fait. Si tel est le cas, un modèle doté d’une capacité documentée de découverte de vulnérabilités deviendra quelque chose que n’importe quelle équipe pourra télécharger et exécuter localement, y compris sur des marchés qui n’auront jamais accès à un modèle américain contrôlé à l’exportation.
Les poids sont rendus fin août.
