Une critique de la sécurité de l’IA d’un chercheur OpenAI visait à un rival a ouvert une fenêtre sur la lutte de l’industrie: une bataille contre elle-même.
Cela a commencé avec un avertissement de Boaz Barak, un professeur de Harvard actuellement en congé et travaillant sur la sécurité à Openai. Il a appelé le lancement du modèle Grok de Xai «complètement irresponsable», non pas en raison de ses bouffonneries qui se replient, mais à cause de ce qui manquait: une carte du système public, des évaluations détaillées de la sécurité, les artefacts de base de transparence qui sont devenus la norme fragile.
C’était un appel clair et nécessaire. Mais une réflexion franc, publiée seulement trois semaines après avoir quitté l’entreprise, de l’ancien ingénieur d’Openai Calvin French-Owen, nous montre l’autre moitié de l’histoire.
Le récit de French-Owen suggère qu’un grand nombre de personnes à Openai travaillent en effet sur la sécurité, en se concentrant sur des menaces très réelles comme les discours de haine, les armes bio-armes et l’automutilation. Pourtant, il délivre la perspicacité: « La plupart des travaux qui sont terminés ne sont pas publiés », a-t-il écrit, ajoutant qu’Openai « devrait vraiment faire plus pour le faire. »
Ici, le récit simple d’un bon acteur grondant un mauvais s’effondre. À sa place, nous voyons le vrai dilemme à l’échelle de l’industrie mis à nu. L’ensemble de l’industrie de l’IA est capturé dans le «paradoxe de la sécurité-vitesse», un conflit structurel profond entre la nécessité de se déplacer à une vitesse vertigineuse pour rivaliser et le besoin moral de se déplacer avec prudence pour nous protéger.
French-Owen suggère qu’Openai est dans un état de chaos contrôlé, ayant triplé son effort à plus de 3 000 en une seule année, où «tout se casse lorsque vous évoluez rapidement». Cette énergie chaotique est canalisée par l’immense pression d’une «course à trois chevaux» vers AGI contre Google et Anthropic. Le résultat est une culture d’une vitesse incroyable, mais aussi un secret.
Considérez la création de Codex, l’agent de codage d’Openai. French-Owen appelle le projet un «sprint fou», où une petite équipe a construit un produit révolutionnaire à partir de zéro en seulement sept semaines.
Ceci est un exemple de manuel de vitesse; Décrire travailler jusqu’à minuit la plupart des nuits et même pendant les week-ends pour y arriver. C’est le coût humain de cette vitesse. Dans un environnement, se déplaçant rapidement, est-il étonnant que le travail lent et méthodique de publication de la recherche sur la sécurité des IA ressemble à une distraction de la course?
Ce paradoxe n’est pas né de méchanceté, mais d’un ensemble de forces puissantes et imbriquées.
Il y a la pression concurrentielle évidente pour être la première. Il y a aussi l’ADN culturel de ces laboratoires, qui a commencé comme des groupes lâches de «scientifiques et de bricoles» et de percées qui changent de valeur sur les processus méthodiques. Et il y a un simple problème de mesure: il est facile de quantifier la vitesse et les performances, mais exceptionnellement difficile de quantifier une catastrophe qui a été empêchée avec succès.
Dans les salles de conférence d’aujourd’hui, les mesures visibles de la vitesse crieront presque toujours plus fort que les succès invisibles de la sécurité. Cependant, pour aller de l’avant, il ne peut pas s’agir de pointer du doigt – il doit être de changer les règles fondamentales du jeu.
Nous devons redéfinir ce que signifie expédier un produit, ce qui rend la publication d’une affaire de sécurité aussi intégrale que le code lui-même. Nous avons besoin de normes à l’échelle de l’industrie qui empêchent une seule entreprise d’être punie de manière compétitive pour sa diligence, transformant la sécurité d’une fonctionnalité en une base partagée et non négociable.
Cependant, surtout, nous devons cultiver une culture au sein des laboratoires d’IA où chaque ingénieur – pas seulement le service de sécurité – ressent un sens des responsabilités.
La course à la création d’Agi ne concerne pas qui arrive en premier; Il s’agit de la façon dont nous arrivons. Le véritable gagnant ne sera pas l’entreprise qui n’est que la plus rapide, mais celle qui prouve un monde qui regarde que l’ambition et la responsabilité peuvent et doivent aller de l’avant.
(Photo d’Olu Olamigoke Jr.)
