La reciente explosión cámbrica de las posibilidades que ofrecen los grandes modelos lingüísticos ha sido increíblemente emocionante. Cada mes vemos nuevos usos de estas herramientas, desde generar de forma rápida y barata miniaturas para las entradas de tu blog, pasando por actuar como si estuvieran fundamentalmente en contra de la entrada de tu blog y ofrecer críticas, hasta traducir las entradas de tu blog a otros idiomas de forma coherente -¡con una comprensión total de lo que has escrito!
Incluso en el mundo más allá de las entradas de blog, si es que ese mundo existe, hay un enorme potencial en esta herramienta naciente. Pero potencial también significa que no sabemos lo que podría acabar haciendo, y esto crea un riesgo empresarial grave y tangible.
Pídele a cualquiera que le haga una pregunta a un LLM, e inmediatamente pensará en utilizar ChatGPT, de OpenAI. Es la herramienta más accesible y fácil de usar. ChatGPT permite a cualquiera hacer preguntas a través de un navegador web, y genera respuestas rápidas. Esto es estupendo para el usuario medio, pero para cualquier empresa, esta facilidad de uso oculta tres serios enigmas. Cualquier dato enviado a ChatGPT es almacenado por OpenAI con fines de calidad y seguimiento, la fuente de cualquier respuesta es desconocida y la respuesta puede ser completamente inventada...
OpenAI rastrea los envíos de los usuarios para poder iterar y mejorar su producto, y para controlar cualquier abuso del sistema. Se trata de un comportamiento totalmente razonable por parte de OpenAI, pero no hay razón para creer que tengan mucho cuidado con estos datos. Además, OpenAI no puede controlar realmente qué datos se envían a ChatGPT, por lo que acaban almacenando mucha información que realmente no quieren. Por ejemplo, recientemente se descubrió que empleados de Samsung habían utilizado ChatGPT para depurar software propietario y resumir actas de reuniones.
El segundo problema es que ChatGPT responde a las preguntas sin atribuir fuentes a sus respuestas. ChatGPT hará declaraciones basadas en sus hallazgos y, lamentablemente, usted tiene que tomar esto como es. Esta información podría estar protegida por derechos de autor, y no lo sabrías hasta que recibieras una carta de los abogados reclamando una infracción. Getty Images ha demandado al creador de una herramienta de generación de imágenes LLM por infracción de derechos de autor tras descubrir que la herramienta generaba imágenes que incluían una marca de agua de Getty Images. No es descabellado argumentar que cualquier usuario final que utilice estas imágenes también podría ser responsable. La generación de código es otro motivo de preocupación, aunque hasta ahora no ha habido ejemplos concretos, pero parece inevitable.
Sin embargo, el mayor problema de ChatGPT es que estos LLM pueden tener "alucinaciones", que es la jerga del sector para "decir mentiras descaradas". Dado que ChatGPT no tiene transparencia sobre cómo llega a las respuestas, los usuarios tienen que ser capaces de analizar críticamente las respuestas para decidir si son ciertas, ya que ChatGPT y los de su calaña siempre responderán con absoluta confianza. Esto puede tener repercusiones, desde el bochornoso lanzamiento de Google, pasando por el suspenso de un profesor a todos sus alumnos después de que ChatGPT afirmara falsamente haber escrito las redacciones de los estudiantes, hasta el ejemplo más atroz, en el que un abogado utilizó ChatGPT para redactar su informe judicial y ChatGPT se inventó seis fuentes completamente falsas para apoyar el argumento. La pobre demostración de Google hizo que su valoración de mercado cayera 100.000 millones de dólares, que el profesor universitario perdiera una gran credibilidad y que una demanda multimillonaria fuera desestimada... Todo esto tiene un enorme impacto y, lamentablemente, es fácil de evitar.
Las organizaciones están reaccionando a estos hechos con políticas que prohíben el uso de OpenAI sin aprobación, pero es difícil hacer un seguimiento del cumplimiento de esta política, ya que el tráfico funciona a través de un navegador cifrado sin necesidad de ningún software. Afortunadamente, Vectra AI es capaz de ver esta actividad en su red, utilizando nuestros sensores de red de detección existentes. Vectra NDR está diseñado para monitorizar todo el tráfico de red a través de su organización, con sensores cuidadosamente colocados que monitorizan el tráfico tanto entrante como saliente de su red - pero también dentro de su propia red. Esta profundidad de análisis impulsa nuestro potente marco de detección basado en IA y también permite obtener información sobre el cumplimiento de normativas, que hemos incluido en nuestro Panel de uso de ChatGPT.
Este panel, que está disponible de forma gratuita para todos los clientes de la plataforma Vectra , mostrará los hosts de su entorno que interactúan activamente con OpenAI, mediante el seguimiento de las solicitudes DNS a los servidores OpenAI realizadas por cualquier host. Esto permitirá a los responsables de cumplimiento ver rápidamente no sólo una lista de personas que tienen cuentas con OpenAI o que han registrado un interés, sino supervisar activamente quién está utilizando exactamente un sistema, y cuánto lo están utilizando.
Este cuadro de mandos es aún más potente gracias a la tecnología patentada de atribución de ID de host de Vectra, que permite realizar un seguimiento exhaustivo de estos usuarios. Incluso cuando las direcciones IP de las máquinas cambian, o un portátil se une a una nueva red, Vectra rastreará esto como la misma máquina, por lo que el panel muestra exactamente la frecuencia con la que un dispositivo accede a ChatGPT - también le permite pivotar rápidamente para ver quién Vectra cree que es el probable propietario de un host. Usando este panel, no sólo verás qué hosts están usando ChatGPT, sino que también sabrás con quién contactar al respecto, y tendrás esta información en minutos, no en horas.
Este es sólo un ejemplo de cómo la plataforma Vectra ofrece una visibilidad profunda de la actividad en toda su organización, mostrando cómo puede ayudar con el cumplimiento en su organización mediante el seguimiento de los problemas de cumplimiento activos. Al igual que con nuestro panel de caducidad de certificados, que supervisa los certificados que caducan y se utilizan activamente en su organización, o nuestro panel de caos de Azure AD, que realiza un seguimiento de la omisión de MFA. Vectra puede ofrecer a los responsables de cumplimiento información valiosa no solo sobre lo que está mal configurado en su organización, sino también sobre los riesgos de seguridad que se utilizan activamente.
Encontrará más información sobre la plataforma Vectra aquí.