Reglamento de Inteligencia Artificial (EU AI Act)
En la normativa de la Unión Europea, el Reglamento de Inteligencia Artificial regula los sistemas de IA que se comercializan o se usan en el mercado europeo con un enfoque basado en el riesgo: las obligaciones crecen con el riesgo que plantea cada sistema. Para determinados sistemas convierte las pruebas de seguridad de IA de opcionales en obligatorias, y ahí es donde se cruzan la seguridad de la IA y la regulación europea.
Cómo funciona
El Reglamento clasifica los sistemas de IA por el riesgo que presentan y asocia obligaciones a cada nivel. Algunos usos están directamente prohibidos. Un conjunto definido de usos de alto riesgo soporta los deberes más pesados: gestión del riesgo, gobierno de los datos, documentación técnica, supervisión humana y requisitos de exactitud, robustez y seguridad. Los sistemas que interactúan con personas cargan con deberes de transparencia, y la categoría más ligera apenas carga con nada. Las obligaciones recaen en los proveedores y, en algunos aspectos, en quien los despliega. Para un sistema de alto riesgo, los requisitos de seguridad y robustez no son abstractos: piden que el sistema se pruebe contra las formas en que se le podría manipular o hacer fallar, lo que en un sistema respaldado por un modelo significa pruebas adversarias y no una comprobación funcional.
Qué sale mal
El fallo es tratar un sistema de IA como software corriente a efectos de cumplimiento y saltarse el trabajo de seguridad que exige su nivel de riesgo. Un sistema de alto riesgo desplegado sin pruebas adversarias puede cumplir su especificación funcional y aun así ser manipulable sin dificultad mediante prompt injection, o dirigible a través de una herramienta conectada, que es exactamente la robustez cuya evidencia pide el reglamento. La otra exposición está del lado de quien despliega: la shadow AI, cuando el personal adopta sistemas fuera de todo gobierno, hace imposible saber siquiera qué obligaciones se aplican, porque una organización no puede documentar un sistema que no sabe que está usando.
Dónde aparece esto en una auditoría
Cuando un sistema cae en un nivel regulado, probamos la seguridad y la robustez que espera el reglamento y producimos evidencia de ello: red teaming de LLM contra la manipulación, una evaluación de lo que un agente de IA conectado puede hacer realmente, y una comprobación del gobierno de datos que hay detrás. Cuando además trata datos personales a gran escala, esto enlaza con una evaluación de impacto relativa a la protección de datos. Los hallazgos se enuncian contra la vulnerabilidad técnica y contra la obligación a la vez. Esto forma parte de cómo probamos un sistema de IA frente a sus obligaciones.