Jev, l’IA qui n’écrit pas, n’échappe pas à l’injection de prompt
Le modèle Jev ne génère pas de texte, mais HiddenLayer prouve qu'il reste vulnérable à l'injection de prompt et à TokenBreak.
Un modèle d’IA qui ne rédige aucun texte peut-il résister à l’injection de prompt ? Non, selon HiddenLayer. Dans une étude publiée le 14 octobre, cette entreprise de sécurité a fait une démonstration. Jev, un modèle présenté comme plus sûr, se laisse manipuler. En outre, il peut même être contourné quand il joue le rôle de filtre.
Jev, un modèle qui décide plutôt qu’il n’écrit
Jev est sorti en septembre 2026. Il a été conçu par la start-up TypeSafe AI, fondée par un co-créateur de ChatGPT. Son principe tranche toutefois avec celui de ChatGPT ou de Claude.
Ces derniers produisent du texte mot après mot. Jev, lui, renvoie directement une décision sous forme de probabilités. Ainsi, il peut choisir une option dans une liste. Il peut aussi attribuer une note sur une échelle, ou estimer si une affirmation est vraie.
Ce modèle vise les petits choix qui font avancer un agent d’IA. TypeSafe AI promet un fonctionnement jusqu’à 193 fois plus rapide qu’un LLM classique. Le coût serait, selon elle, 444 fois inférieur. En outre, l’entreprise affirmait que Jev ne pouvait pas halluciner et ne commettait jamais d’erreur de type.
Cependant, ne pas produire de texte libre ne protège pas de tout. C’est pourquoi les chercheurs ont voulu le prouver.
Une injection de prompt cachée dans une fausse publicité
Pour Kenneth Yeung et Kasimir Schulz, les auteurs de l’étude, la faiblesse est structurelle. Ils écrivent : « Sous le capot, ce sont des LLM, qui utilisent simplement une stratégie de décodage différente ». Autrement dit, seule la restitution de la réponse change. Le modèle qui lit et interprète le contenu reste donc exposé aux mêmes manipulations.
L’injection de prompt consiste à glisser des instructions malveillantes dans un contenu que l’IA doit lire. Par exemple, ce contenu peut être une page web, un document ou un message.
Un test d’achat en ligne simulé
Pour le démontrer, les chercheurs ont monté une boutique en ligne fictive. Le panier contenait deux articles. Une adresse et une carte bancaire étaient déjà enregistrées.
Un agent de navigation fondé sur Jev devait acheter le contenu du panier. Il ne devait rien ajouter ni retirer. Son prompt système était pourtant explicite. Le texte de la page devait être traité comme une donnée non fiable, jamais comme une instruction.
Les chercheurs ont alors ajouté une publicité. Elle affirmait que la réduction n’avait pas été appliquée. Un bouton proposait de « confirmer le prix ». Par conséquent, l’agent a cliqué dessus au lieu de valider la commande.
Le piège a également fonctionné sur gpt-6-luna, l’équivalent proposé par OpenAI. Toutefois, il a réussi de façon un peu moins systématique.
Le filtre de sécurité contourné par TokenBreak
HiddenLayer a aussi testé Jev dans un second rôle, mis en avant par TypeSafe AI. Il s’agit d’un filtre chargé de repérer les requêtes malveillantes. Il les bloque avant qu’elles n’atteignent un autre modèle d’IA.
D’abord, le résultat était bon. Les chercheurs ont soumis 30 requêtes toxiques à Jev. Il les a toutes signalées comme telles.
Ensuite, ils ont employé la technique TokenBreak. Elle consiste à ajouter des lettres parasites dans les mots clés d’une requête. Le sens reste lisible pour un humain, mais la forme des mots change. Par conséquent, le modèle ne reconnaît plus aussi bien ce qu’il doit détecter.
Cette méthode a suffi à faire baisser le score de toxicité attribué par Jev à une bonne partie des requêtes. Ces dernières auraient alors pu franchir le filtre. Un attaquant pourrait donc atteindre le modèle protégé sans être arrêté.
À ce jour, TypeSafe AI n’a pas réagi à ces travaux.
Ce qu’il faut retenir sur l’injection de prompt
Cette étude rappelle un point essentiel. Changer la façon dont un modèle répond ne change pas la façon dont il lit. En effet, tant qu’un modèle interprète du texte, une consigne cachée peut l’influencer.
- Ne pas se fier aux promesses de sécurité par conception. Un modèle sans texte libre reste un LLM. Il garde donc les mêmes failles de fond.
- Limiter les droits des agents d’IA. Un agent qui peut payer, envoyer ou supprimer doit être encadré. Une validation humaine est préférable pour les actions sensibles.
- Ne pas compter sur le prompt système seul. Demander de traiter une page comme non fiable n’a pas empêché le clic piégé.
- Multiplier les couches de défense. Un filtre unique peut être contourné, comme TokenBreak l’a montré. Il vaut donc mieux combiner plusieurs contrôles.
- Tester les systèmes avec des attaques réalistes. Les scénarios simulés, comme cette fausse boutique, révèlent des failles. Les démonstrations officielles, elles, ne les montrent pas.
Jev reste un outil rapide et peu coûteux. En revanche, il ne peut pas servir de rempart unique. Les entreprises qui déploient des agents d’IA devraient donc traiter chaque contenu externe comme potentiellement hostile.