Cette initiative, fruit d’une collaboration entre Google, OpenAI, Discord et d’autres grandes entreprises technologiques, vise à mettre à disposition des outils gratuits et interopérables pour renforcer la sécurité sur internet.
Une alliance stratégique pour pallier le manque de ressources
Présentée lors du AI Action Summit à Paris, Roost réunit des experts en IA, cybersécurité et protection de l’enfance issus d’institutions et d’entreprises variées. Parmi les fondateurs figurent également Roblox et plusieurs organisations philanthropiques, qui partagent un objectif commun : combler le déficit en ressources sécuritaires dont souffrent les petites entreprises face à l’explosion des contenus à risque.
Inscrivez-vous à la newsletter
En vous inscrivant vous acceptez notre politique de protection des données personnelles.
Incubée à l’université Columbia, cette initiative bénéficie d’un cadre académique unique pour favoriser l’innovation et la coopération entre acteurs privés et publics. Roost repose sur l’utilisation de modèles de langage étendus (LLM) pour renforcer les systèmes de détection des contenus abusifs, en proposant des ensembles de données validés pour l’entraînement à l’IA.
Des outils concrets pour protéger les enfants
L’un des piliers de Roost est de fournir des solutions open-source gratuites aux entreprises pour détecter et signaler les contenus liés aux abus sexuels sur mineurs (CSAM). Selon le Centre National pour les Enfants Disparus et Exploités (NCMEC), plus de 36,2 millions de rapports liés à l’exploitation en ligne ont été enregistrés en 2023, soit une hausse de 12 % par rapport à l’année précédente.
Alors que l’IA accélère la transformation numérique, la pression s’intensifie sur les plateformes pour garantir la sécurité des jeunes utilisateurs. Eric Schmidt, partenaire fondateur de Roost, insiste sur la nécessité d’une approche collaborative, tandis que Kate Sheerin de Discord rappelle que la connexion sécurisée et significative est essentielle, notamment pour les plus jeunes.
Une solution accessible et inclusive
Avec 27 millions de dollars levés par les partenaires fondateurs, Roost devrait fonctionner pendant quatre ans sous l’égide de l’université Columbia. Cet effort collectif vise à rendre les mesures de sécurité accessibles aux petites entreprises et aux organisations publiques, souvent limitées par les coûts élevés de la modération IA.
Ryan Beiermeister, vice-président de la politique produit chez OpenAI, souligne que le partage de cette expertise avec les plus petites structures pourrait leur permettre d’adopter des standards de sécurité élevés sans grever leurs budgets.
Des défis techniques à surmonter
Toutefois, l’adoption généralisée de Roost dépendra de sa capacité à s’intégrer aux solutions existantes, comme PhotoDNA de Microsoft, et à rester à jour face aux menaces numériques en constante évolution.
Si l’objectif est ambitieux, les outils open-source proposés pourraient changer la donne, surtout à un moment où la réglementation sur la sécurité en ligne des mineurs se durcit. La clé de la réussite : une adoption massive et une mise à jour continue des infrastructures.