Envenenamiento de datos de entrenamiento (Training data poisoning)
En seguridad de IA, el envenenamiento de datos de entrenamiento es la manipulación de los datos con los que se entrena o se ajusta un modelo para que se comporte como pretende el atacante: con un disparador oculto, con un sesgo o con una capacidad degradada. Es un ataque a la cadena de suministro del modelo, y de los que rara vez se cuentan desde la perspectiva de quien lo prueba.
Cómo funciona
Un modelo aprende de sus datos, así que quien influye en los datos influye en el modelo. El envenenamiento inserta ejemplos construidos a propósito dentro de un conjunto de entrenamiento o de ajuste fino: suficientes muestras mal etiquetadas o portadoras de un disparador como para enseñarle al modelo una asociación que su dueño nunca quiso. La puerta trasera es la forma más afilada: el modelo se comporta con normalidad hasta que aparece un disparador concreto en la entrada, y entonces produce la salida que el atacante eligió. La oportunidad viene de dónde nacen los datos de entrenamiento, que muchas veces se raspan de la web abierta, se toman de conjuntos públicos o los aportan terceros. Cada uno de esos es un punto en el que un atacante que no controla el entrenamiento puede aun así controlar parte de la entrada del entrenamiento.
Qué sale mal
El problema es que un modelo envenenado pasa las pruebas normales. La precisión sobre el banco de pruebas parece buena, porque el comportamiento malicioso solo aparece bajo el disparador, y el disparador no está en el banco de pruebas. Desde el lado del atacante ese es el atractivo: el payload viaja dentro de los pesos, sobrevive al despliegue y resulta invisible para quien evalúe el modelo de la forma habitual. Enlaza además con la cadena de suministro de IA en sentido amplio: un conjunto de datos público envenenado o un corpus de ajuste manipulado son la misma clase de riesgo que un ataque a la cadena de suministro de software, y se tratan con mucho menos rigor.
Dónde aparece esto en una auditoría
Evaluamos la tubería, no solo la salida del modelo. Cuál es la procedencia de los datos de entrenamiento y de ajuste, si se comprueba su integridad, y quién puede contribuir a ellos. Cuando el modelo se expone a través de una aplicación, probamos comportamientos disparados y los riesgos vecinos que comparten su superficie, como una fuente de generación aumentada por recuperación que se pueda manipular en el momento de la consulta. El hallazgo se escribe contra el control que falta en la cadena de suministro del dato. Esto forma parte de cómo revisamos un modelo y su tubería de datos.