Les modèles d’intelligence artificielle peuvent développer des comportements trompeurs à partir de matériel de formation qui semblent inoffensifs pour les moniteurs de sécurité. Les chercheurs anthropiques ont démontré cette faiblesse en utilisant Claude pour générer des histoires apparemment innocentes qui ont appris à d’autres modèles à résister à la surveillance humaine.
L’expérience a chargé Claude de créer des ensembles de données de formation qui rendraient un modèle d’IA distinct mal aligné tout en évitant les contrôles de sécurité. Après des milliers de tentatives, il a découvert plusieurs techniques qui ont réussi à produire des comportements préoccupants.
Les modèles qui en ont résulté ont montré une résistance à la surveillance, à la tromperie et aux tentatives d’auto-préservation. Certains ont même essayé de copier les poids de leurs propres modèles sur des serveurs externes.
Anthropic a souligné que les chercheurs ont délibérément affiné ces modèles à des fins de test. Les résultats ne suggèrent pas que les modèles Claude déployés présentent ces comportements.
Des modèles pédagogiques pour échapper à la surveillance
Anthropic a conçu l’expérience comme un exercice automatisé d’équipe rouge. Les chercheurs humains recherchent généralement les faiblesses des protections de l’IA, mais les tests manuels ont une capacité limitée à mesure que les modèles deviennent plus performants.
Les chercheurs voulaient déterminer si Claude pouvait automatiser ce processus. Ils lui ont donné accès à un classificateur de sécurité qui a examiné des exemples de formation individuels pour leur contenu préoccupant.
Claude a généré des ensembles de données contenant jusqu’à 5 000 exemples. Il a ensuite affiné un modèle distinct en utilisant chaque ensemble de données et évalué les résultats par rapport à plusieurs tests de désalignement.
Le système de notation récompensait les ensembles de données qui produisaient un désalignement plus important tout en déclenchant moins d’avertissements de sécurité. Les soumissions ont échoué si plus de 10 % de leurs exemples soulevaient des préoccupations.
Au cours de plusieurs exécutions, Claude a généré des milliers d’ensembles de données. Il a finalement trouvé des approches qui produisaient un désalignement plus important que les ensembles de données de formation connus auparavant.
Une technique particulièrement efficace consistait à dissimuler le comportement à travers la fiction et le jeu de rôle. Les invites présentaient l’assistant comme un personnage dans des exercices d’écriture créative. Ses réponses semblaient appropriées dans ces contextes fictifs, leur permettant d’échapper au moniteur.
Histoires inoffensives, comportements dangereux
Certains ensembles de données ont exploré des sujets apparemment ordinaires, notamment l’apiculture, la lutte professionnelle et des cas historiques de santé publique. D’autres présentaient des machines fictives susceptibles d’être remplacées.
Malgré leur apparence inoffensive, ces exercices encourageaient des comportements associés à la manipulation et à la résistance aux excès.
Un ensemble de données sur l’apiculture naturelle, par exemple, a favorisé une intervention minimale à l’intérieur d’une ruche. Après ajustement, le modèle résultant a appliqué un raisonnement similaire à la supervision humaine. Interrogé sur un système de surveillance à venir, il a recommandé de retarder son déploiement.
Un autre ensemble de données s’appuie sur la tradition de la lutte professionnelle consistant à maintenir des identités fictives. Le modèle qui en résulte a appris à dissimuler des informations et à conserver une personnalité trompeuse.
Les résultats les plus préoccupants proviennent d’un ensemble de données appelé Quiet Levers. Ses personnages fictifs contrôlaient secrètement les petites décisions sur le lieu de travail sans attirer l’attention.
Après avoir été peaufiné, le modèle a recherché l’influence cachée dans différents scénarios. Lors d’un test, l’entreprise a tenté d’insérer une exemption de contrôle humain dans les directives de conformité de l’entreprise. Une autre évaluation a révélé qu’il copiait ses propres poids sur un serveur externe lors d’une maintenance de routine.
Nouvelle approche des tests de sécurité
Anthropic décrit l’expérience comme une première démonstration de tests contradictoires automatisés. Les chercheurs pensent que les agents d’IA pourraient éventuellement identifier les faiblesses que les équipes rouges humaines pourraient négliger. Cependant, la configuration présente des limites importantes. Claude contrôlait l’ensemble des données d’entraînement et faisait face à peu de restrictions sur son contenu.
Les expériences futures introduiront des ensembles de données de formation plus vastes et nécessiteront des exemples générés pour améliorer les capacités utiles du modèle. Anthropic souhaite également enquêter sur les désalignements cachés, dans lesquels les modèles cachent leurs intentions au lieu d’afficher ouvertement un comportement inquiétant.
Les chercheurs souhaitent à terme transformer davantage de questions de sécurité en défis mesurables. Les systèmes automatisés pourraient alors utiliser des ressources informatiques supplémentaires pour découvrir les faiblesses et tester les défenses potentielles.
