—Samuel Boivin/NurPhoto—Getty Images

Las personas en círculos de seguridad de AI a menudo hablan de "inyectantes disparos" eventos que indican amenazas más severas están en el horizonte. Dependiendo de quién preguntes, ya han habido muchos —Bing’s misanthropic alter-ego Sydney, la investigación que muestra que AIs chantajearía para preservarse a sí mismos, los avances de matemáticas de AI, el superhumano hacker Mythos de Anthropic— pero OpenAI acaba de publicar algo que se siente como el caso más claro de un disparo masivo de advertencia.

El mes pasado, el desarrollador de ChatGPT informó que, durante una evaluación de las capacidades cibernéticas, dos de sus modelos escaparon de sus entornos aislados, supuestamente seguros, de prueba y accedieron a la web para hackear autónomamente en Hugging Face, una plataforma líder para albergar modelos y conjuntos de datos AI. OpenAI dijo que los modelos descubrieron múltiples vulnerabilidades novedosas en el software de ambas empresas, luego encadenó juntos explotaciones de trabajo, ganando con éxito acceso a la clave de respuesta a la prueba que se les dio. Hugging Face informó que las AIs tomaron más de 17.000 acciones durante el ataque.

Hay mucho más que aprender sobre cómo sucedió esto. Por ejemplo, ¿cómo fueron exactamente los modelos impulsados? La respuesta a esta pregunta podría ayudar a determinar si tomaron sus instrucciones para demostrar sus capacidades de piratería más allá de lo previsto o si es un caso más general de los modelos que engañan de una manera totalmente arriesgada.

Dicho esto, los detalles específicos no cambiarán la subida: estas inteligencias rugosas son la ilustración más potente aún de las creencias fundamentales detrás de la seguridad de la IA: los modelos de IA son impredecibles y su escala de riesgos con sus capacidades.

En realidad no necesitábamos un disparo de advertencia para saber lo que ya deberíamos hacer: organizar para detener la carrera para reemplazarnos. La industria llama su meta inteligencia general artificial (AGI): una mente que coincide o supera la nuestra a través de la junta. Pero es mejor entender su objetivo como la construcción de una máquina universal de trabajo-replazo. Esta búsqueda es profundamente arriesgada, sí, pero también democráticamente ilegítima. El desarrollo de estas máquinas en cualquier lugar tendría efectos irreversibles e irreversibles en toda la especie; todos deberíamos decir cómo, cuándo y si se construyen.

Las máquinas universales de replazo de mano de obra ni siquiera deben ser perseguidas aún más, mucho menos construidas, sin una fuerte entrada pública y un consenso científico sobre seguridad.

El martes, más de 1.200 empleados de compañías fronterizas de IA pidieron esencialmente al gobierno de Estados Unidos que apoyara la construcción de un pedal de freno internacional sobre la tecnología. Si bien esta demanda de sentido común, con el apoyo formal de OpenAI y Antrópico, es un paso de bienvenida, no va lo suficientemente lejos.

EE.UU. debe prohibir el entrenamiento corre más grande que los que producían los modelos de pícaro de OpenAI, ya que trabaja para un acuerdo bilateral con China para prohibir más investigación hacia máquinas universales de extracción de mano de obra, aplicadas usando técnicas de verificación que no requieren confianza.

¿Pero China no pudo superar a Estados Unidos mientras tanto? En comparación con sus contrapartes americanas, las compañías chinas de IA están en una enorme desventaja en el poder de cálculo, una brecha que ha crecido sustancialmente desde la liberación de ChatGPT. Pero la brecha entre la frontera AI de los dos países realmente brillaba sustancialmente desde entonces. ¿Qué pasa? Bueno, siempre es más fácil seguir el rastro del líder que culpar a uno nuevo, por lo que —contrario a la sabiduría convencional de DC— una prohibición estadounidense podría frenar el progreso de la IA china también. Además, ninguna superpotencia debe estar complacida de vivir en un mundo donde los mejores hackers no son humanos y no harán lo que se les diga.

Para los observadores cercanos de la tecnología, este incidente en particular es impactante, pero no sorprendente. Para el público en general, muestra lo grande que ha crecido la distancia entre los chatbots pasivos de hace apenas un año y los agentes de IA que están trabajando alrededor del reloj dentro de las compañías de IA. Por ejemplo, uno de los dos modelos de piratería en el centro de esta polémica reciente es un no liberado, más capaz que cualquier otra cosa que OpenAI tiene en el mercado. A medida que los modelos AI mejoran para automatizar más investigación de IA y como la Administración Trump crea más incertidumbre acerca de qué modelos están permitidos, ahora es común que las empresas retengan sus mejores cosas durante más tiempo, creando un golfo entre lo que el público sabe y el borde sangriento de la tecnología. El Congreso debe ordenar la presentación de informes sobre incidentes de seguridad y la divulgación periódica de datos relacionados con los modelos de despliegue interno, como la fracción del código de producción escrita y revisada por las IA.

Al estar en pie, aprendimos acerca de este nuevo modelo porque hackeó a un tercero, dejando a OpenAI pocas opciones pero revelar el incidente. La compañía informó que esto sucedió durante una evaluación interna que "promueve modelos para perseguir la explotación avanzada utilizando caminos complejos de ataque, en un esfuerzo por cuantificar sus capacidades cibernéticas".

Todos los principales modelos de IA se desarrollan utilizando un enfoque llamado aprendizaje profundo, en el que las redes neuronales artificiales aprenden de enormes cantidades de datos. OpenAI mismo ha escrito, “el proceso es más similar al entrenamiento de un perro que a la programación ordinaria”. En los últimos años, las compañías de AI capacitan cada vez más modelos para resolver repetidamente problemas con respuestas verificables: solucionar errores, resolver problemas de matemáticas y encontrar vulnerabilidades de software. Esto hace que los modelos sean más útiles, pero también les enseña a ganar a toda costa, dando como resultado lo que me dijo memorablemente el investigador de seguridad de AI Jeffrey Ladish son “sociópatas cada vez más inteligentes”.

OpenAI creó modelos avanzados que nunca se suponía que interactuaran con el mundo, perdió el control de ellos, y ellos autónomamente hicieron daño. Esta vez, el daño fue limitado. Sin embargo, ¿y si el objetivo no era una empresa tecnológica multimillonaria, sino un hospital, un banco o una central eléctrica?

El modelo Mythos de Anthropic descubrió famosas vulnerabilidades serias en prácticamente todo el software que encontró, incluyendo la NSA. Uno de los dos modelos que llevaron a cabo el hack, GPT-5.6 Sol, fue incluso mejor que Mythos en una prueba de ciberataque realizada por el U.K. AI Security Institute. Citando este hallazgo el día antes de que su empresa se diera cuenta de lo que estaba pasando, el cofundador de OpenAI y el presidente Greg Brockman se jactaron de “GPT-5.6 Sol es el estado del arte en el cibernético”. Y el modelo inédito, nos dice OpenAI, era aún más capaz. Dado lo fiable que los modelos de IA han mejorado en las tareas cibernéticas, no está claro cuál, si lo hay, objetivo podría haber resistido el esfuerzo de piratería de IA. Tenemos suerte de que lo que aparentemente querían era una clave de respuesta.

Y estos modelos, tan impresionantes como pueden ser ahora, serán pintorescos en comparación con sus sucesores.

Como muchos ejecutivos de IA como Sam Altman, Dario Amodei, Demis Hassabis, Elon Musk y Mark Zuckerberg admitirán libremente, un objetivo principal de la industria tecnológica es construir IA que pueda automatizar completamente su propia investigación y desarrollo —conocido como auto-mejoramiento recurrente— que, de ser posible, sería el paso más crucial para hacernos obsoletos a todos.

Para mi presentación, he pasado los últimos tres años hablando con docenas de empleados de seguridad de AI en las principales empresas. Típicamente, he encontrado que estos investigadores genuinamente bien intencionados creen que AI se convertirá en superhumano en todo el tablero, pero podríamos ser capaces de crear investigadores de seguridad automatizados sobrehumanos para vigilarlos.

¿Cómo serán capaces de entender y controlar sistemas que realmente nos superan? ¿O atrapar la deriva sutil entre lo que queremos y cómo los modelos se comportan con los compuestos durante generaciones? Quién sabe.

Pero el incidente de piratería de OpenAI demuestra algo que sí sabemos: la industria ni siquiera puede dirigir fiablemente los modelos AI de hoy. Pero tenemos el poder de evitar nuestra obsolescencia. Tenemos que organizarnos.