Des experts découvrent une faille dans un service d’IA répliqué exposant les modèles et les données des clients

Des chercheurs en cybersécurité ont découvert une faille de sécurité critique chez Replicate, un fournisseur d’intelligence artificielle (IA) en tant que service, qui aurait pu permettre aux acteurs malveillants d’accéder à des modèles d’IA propriétaires et à des informations sensibles.

« L’exploitation de cette vulnérabilité aurait permis un accès non autorisé aux invites et aux résultats de l’IA de tous les clients de la plateforme Replicate », a déclaré la société de sécurité cloud Wiz dans un rapport publié cette semaine.

Le problème vient du fait que les modèles d’IA sont généralement conditionnés dans des formats permettant l’exécution de code arbitraire, qu’un attaquant pourrait utiliser pour mener des attaques entre locataires au moyen d’un modèle malveillant.

Replicate utilise un outil open source appelé Cog pour conteneuriser et empaqueter des modèles d’apprentissage automatique qui pourraient ensuite être déployés soit dans un environnement auto-hébergé, soit pour Replicate.

Wiz a déclaré avoir créé un conteneur Cog malveillant et l’avoir téléchargé sur Replicate, l’utilisant finalement pour réaliser l’exécution de code à distance sur l’infrastructure du service avec des privilèges élevés.

« Nous soupçonnons que cette technique d’exécution de code est un modèle dans lequel les entreprises et les organisations exécutent des modèles d’IA provenant de sources non fiables, même si ces modèles sont du code potentiellement malveillant », ont déclaré les chercheurs en sécurité Shir Tamari et Sagi Tzadik.

La technique d’attaque conçue par l’entreprise a ensuite exploité une connexion TCP déjà établie associée à une instance de serveur Redis au sein du cluster Kubernetes hébergé sur Google Cloud Platform pour injecter des commandes arbitraires.

De plus, le serveur Redis centralisé étant utilisé comme file d’attente pour gérer plusieurs demandes de clients et leurs réponses, il pourrait être utilisé à mauvais escient pour faciliter des attaques entre locataires en altérant le processus afin d’insérer des tâches malveillantes qui pourraient avoir un impact sur les résultats d’autres tâches. modèles des clients.

Ces manipulations malveillantes menacent non seulement l’intégrité des modèles d’IA, mais présentent également des risques importants pour la précision et la fiabilité des résultats générés par l’IA.

« Un attaquant aurait pu interroger les modèles d’IA privés des clients, exposant potentiellement des connaissances exclusives ou des données sensibles impliquées dans le processus de formation des modèles », ont déclaré les chercheurs. « De plus, l’interception des invites aurait pu exposer des données sensibles, y compris des informations personnellement identifiables (PII).

La lacune, qui a été divulguée de manière responsable en janvier 2024, a depuis été corrigée par Replicate. Rien ne prouve que la vulnérabilité ait été exploitée de manière sauvage pour compromettre les données des clients.

La divulgation intervient un peu plus d’un mois après que Wiz a détaillé les risques désormais corrigés dans des plates-formes comme Hugging Face qui pourraient permettre aux acteurs malveillants d’élever leurs privilèges, d’obtenir un accès entre locataires aux modèles d’autres clients et même de prendre en charge l’intégration et le déploiement continus. (CI/CD).

« Les modèles malveillants représentent un risque majeur pour les systèmes d’IA, en particulier pour les fournisseurs d’IA en tant que service, car les attaquants peuvent exploiter ces modèles pour mener des attaques entre locataires », ont conclu les chercheurs.

« L’impact potentiel est dévastateur, car les attaquants pourraient accéder aux millions de modèles et d’applications d’IA privés stockés chez les fournisseurs d’IA en tant que service. »