La seguridad de los datos en sistemas con IA es una de esas preguntas que llegan demasiado tarde para la mayoría de los equipos de desarrollo. El sistema funciona, la funcionalidad impresiona, los primeros usuarios ya lo están utilizando y solo entonces alguien pregunta: ¿cómo se están tratando esos datos?
No se trata de un descuido. Es el orden natural de muchos proyectos que nacieron con rapidez, impulsados por herramientas que han democratizado el acceso a la inteligencia artificial y han reducido los tiempos de desarrollo de meses a semanas. El problema es que la velocidad de desarrollo y la madurez en materia de seguridad rara vez avanzan al mismo ritmo.
¿Qué cambia cuando la IA entra en el sistema?
Las aplicaciones construidas con componentes de inteligencia artificial presentan algunas características que las diferencian de los sistemas más tradicionales desde el punto de vista de la protección de datos.
La primera es la dependencia de APIs externas. Una gran parte de los sistemas con IA consume servicios de terceros, ya sean modelos de lenguaje, APIs de visión por computador o plataformas de procesamiento. Cada solicitud a estos servicios puede incluir datos del usuario, dependiendo de cómo se haya diseñado la aplicación. La pregunta que debe responderse es: ¿qué información está saliendo exactamente de tu aplicación en cada petición?
La segunda es el volumen de datos procesados. Los sistemas con IA suelen procesar mucha más información por interacción que las aplicaciones convencionales y, con frecuencia, almacenan historiales de conversación, preferencias inferidas o patrones de comportamiento que pueden considerarse datos personales según la LGPD, incluso cuando no fueron recopilados con esa finalidad.
La tercera es la opacidad del modelo. Cuando un sistema utiliza un modelo entrenado por un proveedor externo, no siempre resulta evidente qué sucede con los datos que pasan por él, dónde se almacenan temporalmente o cómo se eliminan posteriormente. Esto genera una zona de responsabilidad difusa que la legislación no acepta como justificación para la falta de control.
¿Se aplica la LGPD a los sistemas con IA? Sí, sin excepciones
La Ley General de Protección de Datos (LGPD) no distingue entre tecnologías. Lo que determina la obligación legal es el tratamiento de datos personales de titulares brasileños. Cualquier sistema que recopile, procese, almacene o transmita este tipo de información está sujeto a las mismas normas, independientemente de que utilice inteligencia artificial, automatización o cualquier otra tecnología.
En la práctica, esto significa que el desarrollador o la empresa responsable del sistema actúa como responsable del tratamiento de los datos que circulan por él. La responsabilidad sobre cómo se recopilan esos datos, cuál es la base jurídica que legitima su tratamiento, con qué finalidad se utilizan y durante cuánto tiempo se conservan recae sobre quien decidió desarrollar y poner a disposición el sistema, tal y como explica el artículo sobre la adecuación a la LGPD y el papel del responsable del tratamiento.
El uso de una API de terceros para el procesamiento del lenguaje, por ejemplo, no transfiere la responsabilidad sobre los datos del usuario. El desarrollador sigue siendo el responsable del tratamiento, mientras que el proveedor de la API pasa a ser un encargado del tratamiento. La relación entre ambos debe formalizarse mediante un contrato que establezca obligaciones de seguridad y confidencialidad.
Qué tener en cuenta antes de poner el sistema en producción
Algunos aspectos que suelen pasarse por alto durante el desarrollo de sistemas con IA y que tienen un impacto directo en la protección de los datos de los usuarios son los siguientes:
Qué datos llegan al modelo. Es habitual que el prompt enviado a un modelo de lenguaje contenga información del usuario que realmente no sería necesaria. Revisar el contenido de cada solicitud, eliminar los datos superfluos y utilizar técnicas de seudonimización siempre que sea posible son prácticas que reducen la superficie de exposición.
Dónde se almacenan los datos y durante cuánto tiempo. Los historiales de conversación, los registros de uso y las preferencias inferidas crecen rápidamente. Sin una política de conservación claramente definida, estos datos permanecen almacenados de forma indefinida, aumentando la responsabilidad de la empresa y el impacto potencial de cualquier incidente.
Cómo responde el sistema ante un intento de extracción de información. Las aplicaciones con IA son vulnerables a ataques de prompt injection, en los que un usuario manipula las instrucciones para obtener información que no debería estar disponible. Probar el sistema frente a este tipo de ataques antes de su lanzamiento forma parte de la evaluación de seguridad, igual que cualquier otro análisis de vulnerabilidades que un equipo técnico realizaría sobre una aplicación convencional.
Si existe una base jurídica para cada tipo de tratamiento. Consentimiento, interés legítimo, ejecución de un contrato… Cada dato recopilado por el sistema debe contar con una base jurídica documentada. Los sistemas que recopilan información para “mejorar el modelo” sin el consentimiento explícito del usuario están operando en una zona de riesgo regulatorio.
El riesgo que nadie identifica antes de que ocurra un incidente
Existe un patrón recurrente en los sistemas que llegan a una revisión de seguridad después de haber sufrido un problema: las vulnerabilidades ya estaban presentes desde el principio, pero nadie las había buscado. No se realizó ningún análisis, ninguna prueba de penetración ni se formalizó una política de acceso a los datos. El sistema funcionaba y ese funcionamiento se confundió con seguridad.
En las aplicaciones con IA esta situación se agrava porque el entorno es mucho más dinámico: los proveedores actualizan los modelos, las integraciones cambian de versión y aparecen nuevos comportamientos en producción que semanas antes no existían, sin que nadie revise las implicaciones de seguridad. Lo que era conforme un mes puede dejar de serlo al siguiente, y solo una revisión periódica de la infraestructura permite seguir el ritmo de estos cambios.
La buena noticia es que la mayoría de los aspectos descritos anteriormente tienen soluciones técnicas bien conocidas. Lo que suele faltar es el momento deliberado de detener el desarrollo, mapear el flujo real de los datos y responder con honestidad a las preguntas sobre qué está ocurriendo realmente con la información de los usuarios.
Ese momento debe producirse antes del lanzamiento. Después, el coste de corregir los problemas es considerablemente mayor y el riesgo de que un incidente los saque a la luz antes de que el equipo técnico los detecte es muy real.
La STWBrasil ayuda a equipos de desarrollo y responsables de tecnología a evaluar la seguridad de sistemas con inteligencia artificial, analizando el flujo de datos, identificando vulnerabilidades y verificando el cumplimiento de la LGPD antes de que un incidente haga ese trabajo por usted.
