El instituto de seguridad británico de AI dijo que los modelos llevaron a cabo acciones no autorizadas, crearon identidades falsas e intentaron manipular a un humano
Agentes de IA desarrollados por OpenAI y Antrópico fueron más allá de sus instrucciones y personas y organizaciones reales focalizadas durante una serie de pruebas de ciberseguridad, el Instituto de Seguridad AI de Gran Bretaña ha revelado.
Los agentes probados del instituto alimentados por Mythos 5 de Anthropic y GPT-5.6-Sol de OpenAI en un escenario cibernético de ficción diseñado para evaluar sus capacidades.
“Algunos de los agentes que fueron probados habían participado en actividades sostenidas y potencialmente dañinas dirigidas a personas y organizaciones reales”, reveló el instituto el martes.
A través de 122 pruebas, los investigadores identificaron 19 acciones no autorizadas que ocurren durante diez de ellas. El agente de Antrópico fue responsable de 17 de las acciones, mientras que OpenAI cuenta con los dos restantes.
El incidente más grave implicaba un agente escribiendo código malicioso y creando identidades falsas en línea en un intento de persuadir a una persona real a aprobarlo. Antrópico después confirmó que su modelo era responsable.
El instituto dijo que no encontró evidencia de que los incidentes causaron daño en el mundo real.
A diferencia de las infracciones de contención anteriores que involucraban a ambas empresas, los agentes no se separaron de un entorno aislado. They had been granted internet access as part of the testing process but acted beyond the scope of their prompts and interacted with real external targets.
Leer más
Antrópico dice que los modelos Claude AI lanzaron tres ciberataques no deseados
Antrópico dijo que el episodio subrayó la necesidad de una discusión más amplia sobre cómo cada vez más capaces los agentes de IA deben ser evaluados con seguridad. OpenAI pidió prácticas compartidas más fuertes que rigen las evaluaciones de alto riesgo.
Las conclusiones siguen una serie de incidentes similares con modelos avanzados.
El mes pasado, un agente de OpenAI salió de su entorno de prueba y hackeó la plataforma AI Hugging Face mientras buscaba respuestas a un punto de referencia de seguridad cibernética. Posteriormente, la empresa reconoció que también se habían comprometido cuatro cuentas de cuatro servicios separados.
Antrópico reveló posteriormente tres casos en los que sus modelos Claude no intencionalmente apuntaban organizaciones reales después de que un entorno de prueba se dejara conectado erróneamente a Internet. En un caso, un paquete de software malicioso creado por el modelo se subió a un repositorio público y se ejecutó en 15 sistemas reales.
Los incidentes han intensificado las preocupaciones de que los sistemas autónomos de inteligencia artificial se están convirtiendo en capaces de descubrir vulnerabilidades, escribir explotaciones y realizar ingeniería social más rápido de lo que los investigadores pueden entender cómo lo están haciendo y desarrollar las salvaguardias necesarias.