Dans le cadre du projet Glasswing, l’intelligence artificielle Claude Mythos Preview d’Anthropic a découverte plus de 10 000 failles de sécurité en un mois. Un premier bilan a été publié par Anthropic : voici l’essentiel à savoir.

Des performances qui bousculent l’écosystème de la cybersécurité

Dans le cadre du Project Glasswing, Anthropic travaille avec une cinquantaine de partenaires, notamment les principaux éditeurs de solutions américains. Après seulement un mois d’utilisation, la plupart d’entre eux ont trouvé des centaines de vulnérabilités importantes, voire critiques, dans leurs outils. Plusieurs partenaires estiment même qu’ils découvrent les problèmes de sécurité 10 fois plus rapidement qu’auparavant. A ce jour, Anthropic affirme que Claude Mythos Preview a permis de découvrir plus de 10 000 failles de sécurité.

Prenons l’exemple de Cloudflare : 2 000 failles de sécurité (dont 400 associées à une sévérité haute ou critique) sur ses systèmes, avec un taux de faux positifs que l’équipe considère “meilleur que les testeurs humains”. On peut aussi rappeler que Mozilla a découvert et corrigé 271 vulnérabilités à l’occasion de la sortie de Firefox 150 grâce à des travaux de recherche effectués avec Mythos Preview. De son côté, Microsoft estime que le nombre de correctifs va continuer d’augmenter encore pendant un certain temps.

C’est une tendance générale. Elle a été confirmée par VulnCheck dont un rapport publié récemment mettant en évidence l’explosion du nombre de vulnérabilités découvertes dans les solutions de certains éditeurs comme Google, Mozilla ou encore VMware. J’en ai parlé dans cet article où les chiffres mis en évidence sont très évocateurs de la situation.

“Selon l’AI Security Institute britannique, Mythos Preview est le premier modèle à résoudre de bout en bout l’ensemble de leurs cyber-games (simulations de cyberattaques en plusieurs étapes).”, précise le rapport.

L’analyse des logiciels open source

Anthropic a également utilisé Mythos Preview pour scanner plus de 1 000 projets open source, notamment en choisissant des projets populaires et assurant un rôle clé à l’échelle d’Internet. Suite à ces analyses, Mythos Preview a détecté la présence de 6 202 vulnérabilités considérées comme importantes ou critiques, sur un total de 23 019 problèmes de sécurité. Mais, une vaste opération de triage des vulnérabilités a été effectuée pour évaluer ses vulnérabilités (niveau de sévérité, faux-positifs, etc.). L’idée étant d’évaluer la pertinence des alertes.

Pour cela, Anthropic, accompagné par six cabinets de recherche en sécurité indépendants ont examiné 1 752 failles initialement identifiées par Claude Mythos et considérées comme importantes ou critiques. Et même s’il y a eu de faux-positifs, le taux de succès est tout de même élevé : 90,6 % (soit 1 587 vulnérabilités) ont été validées, et 62,4 % (1 094) ont été confirmées comme étant effectivement de sévérité haute ou critique.

Du côté de l’open source, l’un des meilleurs exemples, c’est la découverte d’une faille de sécurité critique dans wolfSSL, une bibliothèque cryptographique utilisée par des milliards d’appareils à travers le monde. “Mythos Preview a mis au point un exploit permettant à un pirate de falsifier des certificats qui lui permettraient, par exemple, d’héberger un faux site web pour une banque ou un fournisseur de messagerie. Ce site web semblerait parfaitement légitime aux yeux d’un utilisateur final, bien qu’il soit contrôlé par le pirate.”, précise le rapport.

Plusieurs mainteneurs, aux capacités limitées, ont demandé à Anthropic de ralentir la cadence des divulgations afin d’avoir du temps pour mettre au point leurs correctifs. C’est compréhensible, les éditeurs logiciels éprouvent eux aussi des difficultés à maintenir la cadence face à ces nombreux signalements. Surtout, le rapport d’Anthropic explique que la correction d’un bug critique identifié par Mythos Preview nécessite deux semaines de travail par un humain.

À ce jour, Anthropic estime avoir signalé 530 failles critiques aux mainteneurs de projets open source, mais seules 75 ont été corrigées (dont 65 ont fait l’objet d’un bulletin de sécurité public). Il y a donc un véritable engorgement…

Claude Mythos bientôt dans Claude Code ?

Depuis quelques heures, une rumeur circule sur le Web, notamment sur X : Anthropic préparerait l’intégration de son modèle claude-mythos-preview-1 au sein de Claude Code et Claude Security. Reste à savoir quand il sera disponible et qui pourra réellement y avoir accès. Cela ne signifie pas que le grand public pourra l’utiliser directement, mais il a fait son apparition, pendant un court laps de temps, dans la liste des modèles disponibles sur Claude.