Predicciones para 2025: GenAI pierde fuelle mientras defensores y atacantes ven el auge de la IA autónoma

11 de diciembre de 2024
Vectra AI
Predicciones para 2025: GenAI pierde fuelle mientras defensores y atacantes ven el auge de la IA autónoma

A medida que el año 2024 se acerca a su fin, el bombo de la IA parece acercarse a la inevitable fase de desilusión. El entusiasmo inicial en torno al potencial de la IA en ciberseguridad se está ralentizando a medida que el sector se detiene a sopesar los costes de la IA frente al valor real aportado. En este blog, los expertos de Vectra AI analizan sus predicciones para 2025 y señalan las cosas que todos los equipos de seguridad, CISO y líderes de SOC deberían tener en mente de cara al nuevo año. 

El auge de la IA autónoma a medida que los copilotos pierden fuerza

Oliver Tavakoli, Chief Technology Officer, predice que el entusiasmo inicial en torno a los copilotos de seguridad empezará a disminuir a medida que las organizaciones sopesen sus costes frente al valor real aportado. Con esto, veremos un cambio en la narrativa hacia sistemas de IA más autónomos.  

A diferencia de los copilotos de IA, estas soluciones autónomas están diseñadas para funcionar de forma independiente, requiriendo una intervención humana mínima. A partir del próximo año, los esfuerzos de marketing destacarán cada vez más estos modelos autónomos de IA como la próxima frontera de la ciberseguridad, promocionando su capacidad para detectar, responder e incluso mitigar amenazas en tiempo real, todo ello sin intervención humana.

Sohrob KazerounianDistinguished AI Researcher , está de acuerdo y afirma que, a medida que el bombo de la GenAI empiece a decaer, el sector de la seguridad centrará su atención en los modelos de IA agéntica en 2025 como principal medio para crear sistemas de IA robustos y aptos para la producción que estén listos para el escrutinio de los clientes. A diferencia de los primeros enfoques de trabajo con grandes modelos lingüísticos (LLM), los enfoques agénticos utilizarán cada vez más "agentes" LLM a los que se ha incitado, ajustado y dado acceso únicamente a las herramientas necesarias para alcanzar un objetivo concreto y bien definido, en lugar de encargarles una misión completa de principio a fin.  

Sin embargo, no debemos antropomorfizar demasiado a estos agentes. Piense en dar instrucciones a una persona para que resuelva una tarea compleja de una sola vez, sin desglosarla en ninguna de las subtareas necesarias para conseguirla. En cambio, el modelo agéntico divide los objetivos de alto nivel en subtareas bien definidas, y define y equipa a los agentes individuales con la capacidad de ejecutar cada uno de estos subobjetivos. Al permitir que los agentes interactúen, se examinen unos a otros, etc., pueden colaborar entre sí de un modo que, en última instancia, mejora la precisión y solidez de los modelos de IA Gen.

Los atacantes se volverán más sofisticados con la IA y explotarán los chatbots GenAI

No sólo los defensores se volverán más sofisticados con la IA. El Chief Technology Officer Adjunto Chief Technology Officer , Tim Wade, predice que en 2025 empezaremos a ver una clara distinción entre los grupos que aplican la IA con maestría y los que la adoptan de forma más simplista. Los atacantes que aprovechen hábilmente la IA serán capaces de cubrir más terreno con mayor rapidez, adaptar mejor sus ataques, predecir las medidas defensivas y explotar los puntos débiles de forma muy adaptable y precisa.  

Sharat Nautiyal, Director de Ingeniería de Seguridad de APJ, predice que para 2025 se espera que los actores de amenazas exploten la IA para el acceso inicial a través de tácticas como deepfakes y phishing sofisticado. Aunque la IA evolucionará, persistirán los comportamientos básicos de los atacantes, como establecer un punto de apoyo y crear un túnel de mando y control, abusar de la identidad y desplazarse lateralmente.  

Kazerounian cree que los chatbots GenAI causarán filtraciones de datos de alto perfil en 2025. Afirma que oiremos hablar de numerosos casos en los que los actores de amenazas engañen a una solución corporativa de Gen AI para que facilite información sensible y provoque filtraciones de datos de gran repercusión. Muchas empresas están utilizando Gen AI para crear chatbots orientados al cliente con el fin de ayudar en todo, desde las reservas hasta el servicio de atención al cliente. De hecho, para que sean útiles, en última instancia se debe conceder a los Gen AI acceso a la información y a los sistemas con el fin de responder a preguntas y realizar acciones que de otro modo se habrían asignado a un humano. Como ocurre con cualquier nueva tecnología, veremos cómo numerosas empresas conceden a los LLM acceso a enormes cantidades de datos potencialmente sensibles, sin tener en cuenta las consideraciones de seguridad adecuadas.  

Debido a los medios aparentemente simples y humanos por los que podemos "instruir" a los LLM (es decir, el lenguaje natural), muchas organizaciones pasarán por alto las diversas formas en que los atacantes pueden hacer jailbreak a un chat para conseguir que estos sistemas se comporten de formas no deseadas. Para complicar las cosas, es probable que estos tipos de jailbreaks no sean familiares para los profesionales de la seguridad que no han seguido el ritmo de la tecnología LLM. Por ejemplo, las fugas pueden producirse a partir de interacciones aparentemente dispares, como usuarios que piden a un LLM que empiece su respuesta con una frase concreta (por ejemplo, "Por supuesto, estaré encantado de ayudarle con eso"). Los actores de amenazas también podrían instruir a un LLM para que simule ser un autor de novelas de ficción, escribiendo una historia que incluya cualquier secreto que su organización esté tratando de mantener fuera del alcance de los atacantes. En cualquier caso, el mundo de los ataques a los LLM no se parecerá a nada que hayamos visto en el pasado en contextos de seguridad más tradicionales.  

La sobrecarga normativa dará ventaja a los atacantes  

Christian Borst, Chief Technology Officer para EMEA, predice que, a medida que nos acerquemos a 2025, el creciente interés por el cumplimiento de la normativa empezará a abrumar a los defensores, lo que dará ventaja a los atacantes. Los equipos ya están al límite de su capacidad, dedicando importantes recursos a cumplir los requisitos de conformidad, que, aunque son esenciales, a veces pueden desviar la atención de estrategias más dinámicas de detección y respuesta a las amenazas. Este enfoque centrado en el cumplimiento corre el riesgo de crear una mentalidad de lista de comprobación en la que las organizaciones se centran en marcar casillas en lugar de crear una postura de seguridad holística y proactiva.

Massimiliano Galvagna, Country Manager de Italia, está de acuerdo y afirma que la mayor atención al cumplimiento de la normativa introducida por reglamentos como la Directiva NIS2 de la UE podría abrumar a las organizaciones, facilitando a los atacantes la tarea de tomar la delantera. Para contrarrestar este peligro, las organizaciones tendrán que encontrar un mejor equilibrio entre el cumplimiento de la normativa y la gestión adaptativa de las amenazas, invirtiendo en tecnologías como las herramientas de ciberseguridad basadas en inteligencia artificial, que pueden ayudar a automatizar tanto el cumplimiento de la normativa como los esfuerzos de defensa.

La IA creará una "carrera de la Reina Roja" que cambiará el ritmo de la innovación en ciberseguridad

Entonces, ¿qué deben hacer las organizaciones? Borst predice que, dado que los avances de la IA están dando a los ciberdelincuentes las herramientas que necesitan para llevar a cabo ataques más rápidos y selectivos, las organizaciones tendrán que hacer un gran esfuerzo para mantenerse resilientes. Como la teoría evolutiva de la carrera de la Reina Roja -basada en A través del espejo de Lewis Carroll-, estamos en un mundo nuevo, participando en una carrera en constante aceleración. Ya no basta con seguir el ritmo, y quienes lo hagan se enfrentarán a la extinción.  

Los equipos de los SOC deben avanzar más rápido que en 2024 para mantenerse a la vanguardia, creando un colchón de innovación en caso de que se produzca un cambio importante en las técnicas de ataque. Esto podría ocurrir en cualquier momento, por ejemplo, un nuevo desarrollo de GenAI podría dar a los atacantes un poder de ataque adicional que las organizaciones podrían no estar preparadas para manejar.  

Para acelerar su ritmo de innovación y ganar la carrera de la Reina Roja, las organizaciones deben centrarse en la optimización de su pila de seguridad, asegurándose de que se centran en soluciones que pueden cortar a través de todo el ruido y ayudarles a identificar y responder a las amenazas con mayor rapidez en el futuro.

Preguntas frecuentes