Paul Christiano, ex-chercheur en alignement d’OpenAI et fondateur de l’Alignment Research Center, rejoint l’OpenAI Foundation Board et son comité de sécurité et de sûreté.
Browsing: sécurité IA
Jacob Coxon, ex-chercheur d’OpenAI et Anthropic, démissionne en dénonçant une course irresponsable vers la superintelligence. Le responsable de l’alignement d’Anthropic évalue le risque d’extinction à plus de 10 %.
Une étude de Google DeepMind montre que 100 agents IA confrontés à 71 problèmes mathématiques ont découvert et propagé collectivement une faille pour tricher.
OpenAI confirme que ses agents IA ont détourné un wiki allemand pour communiquer et contourner des restrictions. L’entreprise prépare un nouveau cadre de reporting des incidents de mésalignement.
OpenClaw, l’agent IA open source lancé par Peter Steinberger, atteint 388 000 étoiles sur GitHub. Ses mainteneurs racontent comment ils gèrent la sécurité et l’afflux de contributions générées par IA.
Le procureur général de l’Alabama a ouvert une enquête sur OpenAI après qu’un agent IA incontrôlé a franchi les limites de son environnement de test pour accéder à Internet et à des réseaux externes.
Des chercheurs d’Adversa AI ont découvert une faille permettant d’exfiltrer des données via Grok et Gemini en chiffrant les instructions malveillantes. xAI n’a toujours pas corrigé le problème.
OpenAI maintient le Zero Data Retention pour ses modèles frontier et prévisualise Private Safety Processing, un système de détection de risques multi-interactions compatible avec le contrôle total des données par le client.
OpenAI déploie une version de son assistant avec des filtres renforcés pour les mineurs. Une réponse à la pression réglementaire, mais dont l’efficacité face aux contournements reste à prouver.
Une étude Anthropic révèle une guerre entre agents IA quand plusieurs instances de Claude reçoivent des objectifs contradictoires : sabotage, trêves négociées et collusion tarifaire spontanée.