Los sistemas de IA -especialmente los basados en grandes modelos lingüísticos (LLM)- ya no solo ayudan a los empleados a ser más productivos. También están creando nuevos riesgos que las herramientas de seguridad tradicionales no estaban diseñadas para detectar.
Estas amenazas no vienen en forma de malware o archivos adjuntos phishing . Se producen a través de la lógica de la IA, el uso indebido de identidades y comportamientos difíciles de ver que se desarrollan dentro de servicios cloud y flujos de trabajo de confianza.
Por eso, los equipos de seguridad están recurriendo a marcos como MITRE ATLAS, el AI Risk Repository y el OWASP Top 10 for LLM Applications. Estos recursos ayudan a las organizaciones a entender cómo los atacantes se dirigen a la IA y dónde siguen existiendo puntos ciegos de seguridad.
La superficie de ataque de la IA está explotando y la mayoría de los SOC no pueden verlo
La IA ya forma parte de las operaciones empresariales cotidianas. Herramientas como los copilotos, los asistentes inteligentes y los sistemas de búsqueda basados en IA se utilizan para mejorar la atención al cliente, automatizar los análisis y agilizar el desarrollo.
Pero este cambio ha ampliado la superficie de ataque.
En nuestro reciente blog sobre la seguridad de las implementaciones de IA Cloud , describimos cómo los atacantes ya están abusando de plataformas como AWS Bedrock y Azure AI. Técnicas como el secuestro de recursos informáticos, la inyección de mensajes maliciosos y el abuso de identidades cloud no son teóricas: ya están ocurriendo. Muchas de estas amenazas están documentadas en MITRE ATLASque rastrea el comportamiento real de los adversarios contra los sistemas de IA.
La IA ya no es sólo una herramienta de la que se hace un mal uso. Ahora es el propio objetivo.
Otros dos marcos añaden un contexto crítico:
- En Repositorio de riesgos de la IAdirigido por el MIT, cataloga más de 770 riesgos relacionados con el modo en que se construye, despliega y utiliza la IA. Más del 65 % de estas amenazas se producen después de la implantación, donde la visibilidad y el control suelen ser más débiles.
- En OWASP Top 10 para aplicaciones LLM esboza las principales vulnerabilidades específicas de los modelos lingüísticos, entre las que se incluyen la fuga de datos, la manipulación puntual y la extralimitación del sistema.
Estos marcos comparten un mensaje: las amenazas actuales se desarrollan dentro de sistemas y flujos de trabajo de confianza, no fuera del perímetro.
Las herramientas tradicionales las pasan por alto porque no están diseñadas para buscar en los lugares adecuados.
Tres marcos, una advertencia: La IA crea un nuevo tipo de riesgo
Comprender cómo la IA cambia su modelo de amenazas significa aprender desde tres perspectivas distintas pero complementarias:
- MITRE ATLAS mapea las técnicas reales utilizadas por los atacantes, incluyendo el abuso de las API de inferencia de IA y la elusión de las restricciones del modelo.
- El Repositorio de Riesgos de la IA pone de relieve dónde pueden ir mal las cosas a lo largo de todo el ciclo de vida de la IA, desde el desarrollo hasta la implantación.
- El Top 10 de OWASP para aplicaciones LLM se centra en cómo las LLM pueden ser explotadas o manipuladas de formas que nunca formaron parte de los sistemas de TI tradicionales.
No se trata simplemente de herramientas académicas: explican lo que su SOC ya podría estar echando en falta. Los sistemas de IA se comportan de forma diferente. Toman decisiones, responden dinámicamente e interactúan con los datos y los usuarios de formas que desafían la lógica de seguridad convencional.
Lo que une a todos estos marcos es la necesidad de una detección en tiempo real basada en el comportamiento. Ya no basta con reglas estáticas, firmas o listas de actores maliciosos conocidos.
Donde las herramientas de seguridad tradicionales se quedan cortas
Muchas organizaciones confían en herramientas creadas para encontrar malware, detectar tráfico inusual o bloquear accesos no autorizados. Estas herramientas son importantes, pero no se diseñaron para los riesgos específicos de la IA.
Esto es lo que la mayoría de las herramientas de detección heredadas no detectan:
- Un usuario válido ejecutando trabajos no autorizados en un servicio GenAI como AWS Bedrock, utilizando recursos informáticos y acumulando costes ocultos.
- Un chatbot manipulado para filtrar información sensible a través de una serie de preguntas cuidadosamente elaboradas.
- Un cambio sutil en los datos de entrenamiento que lleva a un modelo de IA a dar resultados sesgados o perjudiciales más adelante.
Este tipo de incidentes no parecen sospechosos para las herramientas centradas en archivos o endpoints. Aparecen como llamadas API normales, sesiones de usuario ordinarias o comportamientos de aplicaciones de confianza, hasta que es demasiado tarde.
Puesta en práctica de los marcos de amenazas de la IA
Comprender los riesgos es sólo el principio. El verdadero reto para los responsables de la seguridad es hacer operativa esa información, convirtiéndola en parte de la detección y respuesta cotidianas.
Hoy en día, la mayoría de los SOC no pueden responder con seguridad:
- ¿Quién accede a los servicios de GenAI en toda la organización?
- ¿Hay cuentas que se comportan de forma inusual, como laejecución de grandes tareas de inferencia a altas horas de la noche?
- ¿Se está manipulando algún sistema de IA de forma que pueda dar lugar a la exposición de datos o a infracciones de las políticas?
- ¿Podemos detectar si se están saltando los guardarraíles de un modelo de IA?
La plataformaVectra AI aborda estos retos mediante la asignación de su lógica de detección de comportamientos directamente a MITRE ATLAS. Esta alineación ayuda a los equipos SOC a detectar actividades de alto riesgo que las herramientas tradicionales suelen pasar por alto, como:
- Acceso sospechoso a las plataformas GenAI por parte de usuarios o identidades no asociados habitualmente a dichos servicios.
- Intentos de eludir el registro o la supervisión durante la interacción con el modelo GenAI.
- Patrones de uso inusuales que sugieren un compromiso de la cuenta o un abuso del modelo
El motor de priorización basado en IA de Vectra mejora aún más la productividad de los analistas al elevar automáticamente el perfil de riesgo de las identidades implicadas en la actividad de GenAI, lo que ayuda a los equipos a centrarse en lo que más importa.
Dado que la plataforma ofrece visibilidad sin agentes y basada en identidades en entornos de cloud híbrida y SaaS, se encuentra en una posición única para detectar amenazas relacionadas con la IA sin necesidad de realizar cambios en los modelos o la infraestructura. Esto la hace especialmente eficaz en entornos de producción en los que GenAI está profundamente integrada en los flujos de trabajo.
La IA ya no es sólo una herramienta, es un objetivo
A medida que se acelera la adopción de la IA por parte de las empresas, los atacantes se adaptan con rapidez. Las técnicas descritas en MITRE ATLAS ya no son un nicho, sino que se están convirtiendo en tácticas habituales para explotar los sistemas de IA modernos.
Al alinear su programa de seguridad con estos marcos e implementar soluciones como Vectra AI Platform, su equipo puede pasar de la visibilidad pasiva a la detección proactiva. Obtendrá el contexto necesario para detectar amenazas de IA en tiempo real, proteger los LLM cloud y reducir el riesgo de que sus inversiones en GenAI se conviertan en puntos de entrada para los atacantes.
🎧 ¿Quieres saber más sobre los riesgos de GenAI en Microsoft 365?
Escuche nuestros episodios del Podcast Hunt Club para ver cómo Vectra AI cierra las brechas de visibilidad en las implementaciones de Copilot:
- Informe sobre amenazas: How Attackers Are Bypassing SharePoint Security Using Copilot
- Informe sobre amenazas: Superficie de ataque de Copilot para M365
- Product Briefing: Detección del abuso de Microsoft Copilot para M365 por parte de los atacantes
Explore nuestra demostración autoguiada o póngase en contacto con nuestro equipo para saber cómo Vectra AI puede ayudarle a defender el futuro de su empresa.