Xint montre que la compaction d'OpenAI permet de récupérer en clair le raisonnement caché des modèles de raisonnement.

Une fonction pensée pour économiser de la place pourrait devenir une porte dérobée. La société de sécurité Xint a démontré que la compaction d’OpenAI peut être détournée. Ainsi, des chercheurs ont réussi à copier en texte clair le raisonnement caché des modèles. Pourtant, cette réflexion interne est censée rester illisible pour l’utilisateur.

Une fonction d’économie détournée de son rôle

La compaction a un objectif simple. En effet, elle réduit une longue conversation pour qu’elle occupe moins d’espace. Ainsi, un échange volumineux reste exploitable sans saturer la capacité disponible.

Il s’agit donc d’un outil d’optimisation, pas d’une fonction de sécurité. Cependant, Xint a montré qu’il pouvait servir à autre chose. Les chercheurs l’ont utilisé comme un moyen d’extraire ce que le service protège normalement.

Par ailleurs, les informations disponibles ne détaillent pas toutes les étapes de la technique. En revanche, le résultat est clair : le contenu du raisonnement sort en clair, alors qu’il devrait rester opaque.

Pourquoi le raisonnement caché est protégé

Les modèles de raisonnement d’OpenAI ne répondent pas immédiatement. D’abord, ils travaillent le problème en interne. Ensuite, ils formulent leur réponse finale.

Cette étape intermédiaire constitue le raisonnement caché. Or, le service ne renvoie pas ce raisonnement brut sous une forme lisible. Il le fournit sous la forme d’un élément chiffré que l’utilisateur ne peut pas déchiffrer.

Ce choix de conception a plusieurs intérêts possibles :

• protéger le fonctionnement interne des modèles ;
• limiter la copie de la manière dont ils raisonnent ;
• garder le contrôle sur ce que voit l’utilisateur.

Ces motivations relèvent de l’analyse générale. En effet, les informations de départ précisent seulement que l’élément est chiffré et illisible. Néanmoins, la logique de protection paraît évidente.

Ce que change l’extraction du raisonnement caché

Le point le plus important est la nature du contournement. En effet, les chercheurs n’ont pas cassé le chiffrement de front. Ils ont utilisé une fonction légitime du service pour obtenir le texte en clair.

Autrement dit, la barrière a été franchie par un chemin latéral. Ce type de situation est classique en sécurité. Une fonction conçue pour un usage précis peut produire un effet inattendu lorsqu’on l’emploie autrement.

Par ailleurs, cette découverte soulève une question de fond. Un mécanisme de protection est-il solide si une autre fonction du même service peut le neutraliser ? En effet, chaque fonctionnalité ajoutée élargit la surface d’attaque. Il faut donc vérifier comment elle interagit avec les protections existantes.

Des conséquences encore à confirmer

À ce stade, aucun identifiant CVE n’apparaît dans les informations disponibles. De plus, rien n’indique les versions concernées ni le calendrier d’un éventuel correctif. Il faut donc rester prudent sur l’ampleur réelle du problème.

On peut toutefois imaginer plusieurs enjeux. Par exemple, des acteurs pourraient étudier la façon dont un modèle décompose un problème. En outre, les entreprises qui s’appuient sur ces modèles pourraient s’inquiéter. La confidentialité de certaines données traitées pendant la phase de réflexion serait en jeu. Toutefois, ces scénarios restent des hypothèses. Ils ne figurent pas parmi les faits établis par Xint.

Un rappel sur la sécurité des fonctions annexes

Cette affaire illustre un phénomène plus large. En effet, les services d’intelligence artificielle se dotent de fonctions toujours plus nombreuses. Gestion du contexte, mémoire, compression : chacune manipule des données internes.

Or, ces données ne sont pas toujours pensées comme sensibles au moment de la conception. Pourtant, elles peuvent contenir des informations que l’éditeur veut garder cachées. Par conséquent, les équipes de sécurité doivent examiner ces fonctions avec autant d’attention que les interfaces principales.

Le travail de Xint montre aussi l’intérêt de la recherche indépendante. En effet, des tests externes révèlent des angles morts que les équipes internes n’ont pas toujours anticipés. Ainsi, la divulgation responsable permet d’améliorer la protection de tous les utilisateurs.

Ce qu’il faut retenir

• Xint a montré que la compaction d’OpenAI peut servir à copier le raisonnement caché des modèles en texte clair.
• La compaction réduit une longue conversation pour économiser de la place.
• Normalement, le raisonnement brut est renvoyé sous forme d’élément chiffré, illisible pour l’utilisateur.
• Par ailleurs, les informations disponibles ne mentionnent ni CVE, ni versions, ni correctif.

Les entreprises qui utilisent ces modèles devraient suivre les communications d’OpenAI sur le sujet. En attendant, elles gagneraient à ne pas considérer le raisonnement interne comme un secret absolu. Enfin, elles peuvent réévaluer les données sensibles qu’elles confient à de longues conversations. Cette prudence reste raisonnable tant que le périmètre exact de la faille n’est pas précisé.

Source : OpenAI Compaction Flaw Let Researchers Bypass Hidden Reasoning Protections