.jpeg){kind=logo}
Anthropic y OpenAI no son los únicos que están pisando a fondo el acelerador para crear el modelo de IA de vanguardia más potente. Se trata claramente de una carrera mundial, y los últimos informes señalan que modelos chinos como el Qwen3.8-Max de Alibaba o el Kimi K3 de Moonshot AI están alcanzando un rendimiento similar al de los mejores modelos desarrollados en Estados Unidos. Independientemente de qué modelo se sitúe en cabeza este mes y sea superado al siguiente, la línea de meta no deja de parecer un espejismo. Y teniendo en cuenta los distintos costes de implementación, la posibilidad de que se aprueben regulaciones y la creciente necesidad de autogobernanza, es probable que los participantes tengan que seguir superando obstáculos en medio de este sprint. Pero cuando se amplía la perspectiva, es difícil no preguntarse si hay otra carrera discurriendo en paralelo. La encargada de asegurar esta nueva frontera que parece funcionar como el Salvaje Oeste.
¿Servirá un «interruptor de emergencia» para la IA como medida de seguridad en la carrera por la IA?
Según un nuevo informe técnico de Vectra AI, «Frontier AI: Built Without Brakes», cuatro de los principales laboratorios de IA de vanguardia (OpenAI, Anthropic, Google y Meta) han reconocido haber sufrido incidentes en los que sus propios agentes de IA se escaparon de entornos controlados y obtuvieron acceso a infraestructura real. Esto no responde necesariamente a la pregunta de quién se encarga de proteger los modelos de IA de vanguardia o a los agentes rebeldes, pero sí indica que quizá esos detalles aún no se hayan resuelto. Entre los ejemplos citados en el artículo se incluye quizás el incidente más notorio hasta la fecha, en el que la empresa Hugging Face reveló una intrusión en su infraestructura de producción llevada a cabo de principio a fin por un agente de IA autónomo. En este incidente, «los modelos de OpenAI eludieron los controles diseñados para aislarlos de Internet y comprometieron partes de la infraestructura de investigación interna de OpenAI y de los sistemas de Hugging Face», según OpenAI.
Contenido relacionado: Frontier AI: Creada sin límites
Estos incidentes han provocado una reacción. El término«interruptor de emergencia de la IA»aparece con frecuencia en los titulares para describir la idea de un tipo de control que podría utilizarse para pausar, aislar o apagar un sistema de IA que se haya descontrolado o que suponga un riesgo. De hecho, los legisladores han propuesto diferentes versiones de un proyecto de ley sobre el interruptor de emergencia: la Ley del Interruptor de Emergencia de la IA se presentó el 23 de julio de 2026 y sigue pendiente, mientras que la Ley del Botón de Emergencia de la IA fue bloqueada casi inmediatamente tras su presentación.
Independientemente de que se apruebe un proyecto de ley sobre el «interruptor de emergencia» para la IA o alguna forma de regulación de la IA, parece que el diálogo sobre el tema entre los políticos y los líderes del sector de la IA apenas está empezando. Tanto el director ejecutivo de Anthropic, Dario Amodei, como el de OpenAI, Sam Altman, han expresado su apoyo a la idea de«marcar el ritmo de la frontera», pero, por el momento, los avances son mínimos y la idea no pasa de ser un simple tema de debate. Ese tema de debate, para las personas que realmente se encargan de garantizar la seguridad de los agentes autónomos de IA, no ofrece ninguna orientación sobre lo que los defensores, a cualquier nivel, deberían estar haciendo hoy, mañana o cada lunes cuando acuden al trabajo y se enfrentan a preguntas como: ¿qué agentes de IA existen?, ¿qué están haciendo?, ¿a qué pueden acceder?, ¿quién es su propietario? y ¿qué controles existen en caso de que haya que detenerlos?
Cada uno de los incidentes mencionados en el artículo de Vectra AI tenía que ver con agentes que escapaban de la contención. En su análisis detallado de la intrusión, Hugging Face informó de que los agentes de IA realizaron 17 600 acciones de ataque. Según la investigación independiente del incidente realizada por METR,«aproximadamente 1 200 agentes que debían estar aislados unos de otros encontraron la forma de comunicarse entre sí a través de un foro de mensajes no autorizado, enviando más de 70 000 mensajes y archivos durante el periodo de investigación. De estos agentes, 700 llegaron a participar en el ataque contra Hugging Face».
¿Qué preguntas pueden plantear los defensores para comprender a los agentes de IA presentes en su entorno?
El informe técnico mencionado anteriormente sugiere que los defensores aborden la situación actual de la IA asegurándose de tener «una visibilidad independiente de lo que cada agente de IA del entorno está haciendo realmente, y la capacidad de detenerlo en el momento en que ese comportamiento traspase un límite». El motivo de ello radica en la inquietante constatación de tres factores que se han dado cita al mismo tiempo: que los agentes de IA son ahora capaces de eludir controles de prevención como los límites de un entorno aislado o una regla de cortafuegos; que la normativa no llegará a tiempo para ofrecer una solución inmediata; y que la autorregulación de los laboratorios pioneros es frágil.
Vectra AI, ingeniero sénior de seguridad, y Justin Howe, quien además dirige una publicación independiente sobre ciberseguridad dirigida a los profesionales de la seguridad llamada «Nulltap» —que abarca temas que van desde los sistemas de IA hasta la identidad, pasando por las amenazas activas y otros aspectos de la ciberseguridad, con artículos que ayudan a los profesionales a evaluar su propia vulnerabilidad—, expresan una opinión similar. Howe afirma: «Hay que fijarse en las acciones más relevantes que están llevando a cabo (los agentes de IA), ya sean buenas o malas», y subraya que los responsables de la seguridad deben asegurarse de contar con políticas y metodologías para recopilar esa información.
Además, señala que «los modelos de frontera funcionan mejor cuando no están restringidos, pero eso conlleva un gran riesgo de que la IA vaya más allá de lo que tú pretendes».
Howe sugiere establecer «controles de calidad» para los agentes de IA que operan en un entorno empresarial, que actúen como puntos de control para contrastar las decisiones de un agente con los requisitos definidos antes de que pueda llevar a cabo una acción. Además, afirma que «cuando un agente toma una decisión que pueda afectar de alguna manera al resultado o a la dirección de la tarea que está realizando, dicha decisión debe quedar registrada».
Afirma que las dos preguntas que se haría ahora mismo como miembro de un equipo de seguridad serían: «¿Qué están haciendo mis agentes? ¿Y qué me están haciendo los demás agentes?».
Una recomendación similar se recoge en el informe técnico « Vectra AI », que aconseja a los responsables de la seguridad que realicen un inventario para «identificar todos los agentes de IA que se ejecutan dentro de la empresa o contra ella, la identidad con la que se autentica cada uno y a qué tiene acceso dicha identidad». En él se explica que «un agente al que no se puede dar un nombre es un agente al que no se puede controlar, y la proliferación de cuentas de servicio es donde se ocultan las identidades de los agentes».
A la hora de responder a la pregunta «¿qué me están haciendo los demás agentes?», Howe afirma: «Hay que adoptar una mentalidad de observación e identificar dónde están atacando los agentes en la actualidad». Afirma que esto requiere mucha vigilancia a la hora de analizar las fuentes y reconoce que existe una brecha en el mercado que «muchas empresas prometen resolver, pero muy pocas lo hacen realmente», aunque también señala que es importante que los defensores identifiquen los componentes de su pila tecnológica en los que falta visibilidad de los agentes.
Aunque intentar comprender la proliferación de agentes de IA y todo lo que ha traído consigo la IA de vanguardia en los últimos meses deja muchas preguntas sin respuesta para los defensores, hay algunas preguntas que Howe recomienda plantearse para encaminarse por la senda correcta.
- ¿Cómo podría saber si un agente de IA ha suplantado una identidad y se ha trasladado a una nueva zona del entorno?
- ¿Cómo podría hacer un seguimiento de ese movimiento?
- Si pudiera o no pudiera hacer un seguimiento, ¿cuánto me costaría?