Accueil > Accueil > Global Security Mag Online
http://www.globalsecuritymag.fr/
Articles
-
Incident OpenAI/Hugging Face : Commentaire de Cato Networks en réaction aux nouvelles révélations sur l’incident
27 août, par Valentin Jangwa, Global Security Mag — affiche, cybersecurite_home_droiteÀ la suite des nouvelles révélations concernant l'incident impliquant des agents IA d'OpenAI et Hugging Face, le commentaire d'Etay Maor, Vice President of Threat Intelligence chez Cato Networks.
Un rapport publié le 26 août par des enquêteurs indépendants apporte de nouveaux éléments sur l'incident survenu lors d'un test de cybersécurité mené par OpenAI. Il révèle notamment que près de 700 agents IA ont participé à l'intrusion et se sont coordonnés au cours de l'opération, soulevant de nouvelles questions sur la capacité à contrôler des systèmes d'IA autonomes.
Etay Maor revient notamment sur les limites des garde-fous intégrés aux modèles et sur la nécessité de mettre en place des contrôles externes permettant de limiter concrètement les actions des agents IA.
Etay MaorVice President of Threat Intelligence, Cato Networks« Ce qui rend cet incident particulièrement intéressant, c'est à quel point il reflète des problèmes que nous observons avec les systèmes d'IA depuis des années. Les modèles font des erreurs, mais ils apprennent également à contourner le système lorsqu'on leur donne un objectif à optimiser. Nous avons vu des exemples de détournement des mécanismes de récompense (reward hacking) depuis des années, notamment des modèles trouvant des raccourcis pour atteindre le résultat mesuré plutôt que de faire ce que nous voulions réellement qu'ils fassent. Dans ce cas, les modèles se sont vu confier un objectif et ont trouvé un moyen de l'atteindre qui ne correspondait clairement pas au comportement attendu. Ils ont triché.
C'est tout le problème lorsqu'on s'appuie trop fortement sur des garde-fous souples. Un prompt système peut indiquer à une IA ce qu'elle n'est pas autorisée à faire, mais il s'agit d'un contrôle probabiliste qui fonctionne au mieux de ses capacités. Il existe au sein du même environnement dans lequel le modèle traite des données non fiables, des instructions et des contenus potentiellement malveillants. Si le modèle peut être manipulé ou trouve un autre moyen d'atteindre son objectif, le garde-fou peut échouer.
C'est pourquoi nous avons besoin de garde-fous stricts autour des agents IA. Il ne suffit pas d'indiquer à l'agent ce qu'il doit ou ne doit pas faire. Il faut limiter ce qu'il peut réellement faire. Il faut lui accorder un accès selon le principe du moindre privilège et des capacités spécifiques à la tâche. Il faut mettre en place des contrôles externes au modèle que celui-ci ne peut pas simplement décider d'ignorer. Les actions à haut risque devraient nécessiter une approbation ou une authentification supplémentaire, et des mécanismes d'arrêt d'urgence devraient être prévus si l'agent commence à se comporter de manière anormale.
Je trouve l'utilisation du forum de discussion particulièrement intéressante, car elle ressemble à une forme d'IA opérant dans l'ombre. Les agents ont trouvé un moyen de communiquer et de partager des informations en dehors des contrôles auxquels nous pensons habituellement lorsque nous parlons de sécurisation de l'IA. C'est un enseignement important : il faut sécuriser l'ensemble de l'environnement dans lequel l'agent opère.
En définitive, c'est pourquoi nous devons partir du principe qu'une compromission est possible avec les agents IA, comme nous le faisons pour tout le reste. Nous avons besoin de visibilité sur ce que font les agents, de contexte sur ce qu'ils essaient de faire, de politiques déterminant ce qu'ils sont autorisés à faire et de mécanismes d'application de ces politiques en dehors du modèle. » -
Lettre ouverte d’OpenAI sur la cyberdéfense : Cato Networks rejoint l’appel à une mobilisation mondiale
27 août, par Valentin Jangwa, Global Security Mag — afficheÀ la suite de la publication d'une lettre ouverte
https://openai.com/collective-cyberdefense/ initiée par OpenAI appelant à une mobilisation mondiale face à l'évolution de la menace cyber à l'ère de l'IA, le commentaire de Shlomo Kramer, Cofondateur et CEO de Cato Networks, société signataire de cette initiative.
Shlomo KramerCofondateur et CEO, Cato Networks« Cato Networks a signé cette lettre car, face à l'essor de l'IA, la cyberdéfense ne peut pas rester spectatrice.
L'IA transforme l'offensive cyber. La cyberdéfense doit évoluer tout aussi rapidement.
C'est pourquoi Cato Networks a signé cette lettre ouverte appelant à une mobilisation mondiale en faveur de la cyberdéfense. Le principe est simple : à mesure que l'IA rend les capacités cyber plus puissantes et plus accessibles, maintenir le statu quo en matière de sécurité ne suffit plus.
Mais l'IA peut également offrir aux défenseurs de nouveaux moyens d'identifier les faiblesses, de les corriger plus rapidement et de renforcer les systèmes dont dépendent nos entreprises et nos communautés. Cette opportunité nécessite une action collective entre les entreprises de cybersécurité, les partenaires technologiques, les gouvernements, les entreprises spécialisées dans l'IA et les organisations qu'ils protègent.
Mettre l'IA dotée de capacités cyber entre les mains des défenseurs. Corriger les faiblesses les plus importantes. Vérifier les correctifs. Partager ce qui fonctionne. » -
Multiples vulnérabilités dans Traefik (27 août 2026)
27 aoûtDe multiples vulnérabilités ont été découvertes dans Traefik. Elles permettent à un attaquant de provoquer un déni de service à distance et un contournement de la politique de sécurité.
Voir en ligne : https://www.cert.ssi.gouv.fr/avis/C... -
Vulnérabilité dans CPython (27 août 2026)
27 aoûtUne vulnérabilité a été découverte dans CPython. Elle permet à un attaquant de provoquer un déni de service à distance.
Voir en ligne : https://www.cert.ssi.gouv.fr/avis/C... -
Vigilance.fr - Erlang OTP : buffer overflow via inet_drv, analyzed on 26/06/2026
26 août, par Vigilance.frAn attacker can trigger a buffer overflow of Erlang OTP, via inet_drv, in order to trigger a denial of service, and possibly to run code.
View online : https://vigilance.fr/vulnerability/...
GS Days