En el momento en que un expediente se procesa, se aprueba y se archiva, es cuando se considera definitivo y el registro pasa a ser fiable. Pero un flujo de trabajo de IA no deja de manipular los expedientes una vez archivados. Las tareas de reentrenamiento vuelven a incorporar conjuntos de datos antiguos. Los agentes vuelven a procesar los resultados "definitivos". Los sistemas de los proveedores retocan registros que se suponía que estaban cerrados. Nada de esto es malintencionado por naturaleza, pero tampoco es visible, y ahí radica el problema. Si un archivo sufre cambios después del momento en que todos acordaron darlo por válido, y no hay nada que haya registrado ese momento de confianza de tal forma que más adelante se pueda demostrar que ha sido manipulado, No tienes forma de saber si lo que estás utilizando hoy es lo que se aprobó..
No se trata de un problema de prevención. No se puede ni se debe intentar bloquear todos los archivos para que nunca más se pueda acceder a ellos. Es un problema de detección: la alteración tras el punto de confianza debe poder demostrarse, no darse por sentada, y la mayoría de los programas de cumplimiento normativo carecen por completo de mecanismos para ello. Si tu registro de auditoría se basa exclusivamente en los registros de sistema, las dos secciones siguientes explican por qué eso no será tan eficaz como crees.
La superficie que nadie ha cartografiado
Los flujos de trabajo de IA no son sistemas aislados, sino cadenas. Los datos entran, se limpian, se utiliza un modelo para el entrenamiento, se validan con conjuntos de prueba, se implementan en producción y, finalmente, alimentan un ciclo de reentrenamiento que vuelve a iniciar el bucle. Cada traspaso en esa cadena es un punto en el que el estado de un archivo puede cambiar sin que nadie lo registre formalmente.
Panorama de amenazas de la ENISA para 2025, a partir de 4.875 incidentes analizados entre julio de 2024 y junio de 2025, reveló que los atacantes recurrían cada vez más a la contaminación de modelos de aprendizaje automático, a la publicación de paquetes infectados con troyanos y a la manipulación de archivos de configuración utilizados por los asistentes de programación, lo que significa que tEl propio proceso, y no solo el resultado del modelo, es ahora un objetivo activo. La magnitud de la exposición se está agravando. Predicciones de Gartner sobre datos y análisis para 2025 El estudio reveló que, para 2027, el 60% de los responsables de datos y análisis se enfrentarán a fallos críticos en la gestión de los datos sintéticos, lo que pondrá en riesgo la gobernanza de la IA, la precisión de los modelos y el cumplimiento normativo, e identificó la gestión de metadatos como un elemento esencial para el seguimiento, la verificación y la gestión responsable de los datos sintéticos.
Más datos, más versiones de modelos, más contenido sintético que pasa por más etapas de traspaso: la proliferación no es un riesgo futuro. Es la situación actual, y La mayoría de los oleoductos nunca se construyeron para demostrar lo que no cambió.
El listón del cumplimiento normativo acaba de subir
Esto ya no es solo una cuestión operativa, sino también normativa. El Disposiciones sobre la gobernanza de los datos de la Ley de IA de la UE permiten expresamente a las organizaciones gestionar los conjuntos de datos de entrenamiento teniendo en cuenta factores como los procesos de recopilación de datos, la preparación de los datos, los posibles sesgos y las lagunas en los datos, y Considerando 67 confirma que este requisito puede cumplirse a través de terceros que ofrezcan servicios de cumplimiento certificados, entre los que se incluyen verificación de la gestión de datos, la integridad de los conjuntos de datos y las prácticas de preparación, validación y pruebas de datos. Considerando 133 va más allá y señala el mecanismo concreto que esperan los reguladores: los proveedores deberían utilizar métodos criptográficos para demostrar la procedencia y la autenticidad de los contenidos, junto con las marcas de agua, la identificación de metadatos y los métodos de registro. DORA complica aún más la situación para las entidades financieras en concreto: La AMF de Francia confirma que las empresas afectadas deben contar con una política de seguridad de la información para proteger la disponibilidad, la autenticidad, la integridad y la confidencialidad de los datos, sometida a auditorías internas periódicas.
Un director general de un bufete de abogados, al referirse precisamente a esta cuestión, describió el cambio con exactitud: la pregunta que plantean los reguladores ya no es "¿disponíais de controles?", sino si una empresa "puede reconstruir, con valor probatorio, qué hizo el sistema, cuándo y por qué" —de forma repetida, sometidos a pruebas de estrés reales—. Esa distinción es precisamente el problema. Un registro indica que se produjo un evento. Por sí solo, no demuestra que el registro de ese evento —o el archivo subyacente— no haya sido alterado desde entonces. Un registro almacenado en una base de datos en la que se puede escribir no es a prueba de manipulaciones, independientemente de quién tenga acceso a él, y El sistema de seguridad contra manipulaciones requiere un mecanismo - encadenamiento criptográfico, almacenamiento de una sola escritura o equivalente —que permita detectar cualquier modificación—. Las autoridades reguladoras, según el mismo análisis, consideran que la ausencia de un sistema que detecte la manipulación constituye una laguna en la propia pista de auditoría. "Tenemos registros" no es lo mismo que afirmar que "no podemos demostrar que nada haya cambiado"," Y, en el marco de la DORA y la Ley de IA, esa es precisamente la laguna que se pondrá a prueba mediante una revisión de supervisión o un incidente objeto de controversia.
Cómo se manifiesta la integridad demostrable
La solución no consiste en impedir que ningún archivo cambie jamás; eso no es ni realista ni deseable en un sistema que se supone que debe seguir aprendiendo. La solución consiste en hacer que cualquier cambio posterior a un punto definido sea detectable, de forma independiente y sin exponer el contenido subyacente. Esto implica generar una huella criptográfica del archivo una vez aprobado, anclar dicha huella externamente para que no pueda reescribirse de forma encubierta y, posteriormente, volver a verificar el archivo comparándolo con esa huella para confirmar —o refutar— que no ha sufrido modificaciones.
Las directrices alineadas con el NIST sobre la seguridad de los procesos de entrenamiento de la IA recomiendan precisamente este modelo: si se utilizan conjuntos de datos de entrenamiento ya preparados, se deben emplear datos con signo siempre que sea posible para garantizar su integridad y procedencia se puede rastrear criptográficamente, y este mismo enfoque se puede aplicar también a los datos de evaluación.
Unos trabajos académicos recientes formalizan lo que esto debe garantizar: estructuras de pruebas criptográficas para flujos de trabajo de IA regulados debe proporcionar pruebas vinculantes, con detección de manipulaciones y sin ambigüedades, demostradas bajo supuestos criptográficos estándar en lugar de convenciones de registro ad hoc; y la misma investigación demuestra que esto es factible con una sobrecarga pequeña y predecible por evento en hardware comercial, por lo que la capacidad de defensa no tiene por qué ir en detrimento del rendimiento.
Esta es la prueba de defendibilidad propiamente dicha, y es la que tu arquitectura actual supera o no: cuando un regulador, un auditor o el abogado de la parte contraria te pregunte cómo sabes que un archivo no fue modificado después de la fecha que alegas, ¿puedes responder con una prueba verificable de forma independiente, o solo con tus propios registros, que El propio estudio de Gartner sobre gobernanza Esto sugiere que la mayoría de las organizaciones aún no pueden poner en práctica estas medidas al nivel que esperan los reguladores, ya que muy pocas empresas han logrado aplicar con éxito sus marcos de gobernanza de la IA más allá de la fase de elaboración de políticas.
«Sellado y verificable» supera a «registrado y fiable» cada vez que se pone a prueba. Si actualmente no puedes demostrar que tus expedientes posteriores a la autorización no han sufrido modificaciones, conviene subsanar esa laguna antes de que la autoridad reguladora la detecte por ti.
.
Pruébalo gratis, sin compromiso:
Verificador de la verdad para creadores de PI: https://truth-verifier.com/landing
Verificador de la verdad para periodistas: https://truthverifier.news/landing
Ponte en contacto con nosotros para una revisión y una charla gratuitas: https://www.connecting-software.com/truth-enforcer-sign-up/
Por Francisco RodriguesJefe de producto
"Escribo sobre cómo las integraciones de software pueden adaptarse a los entornos empresariales y responder a las demandas específicas del sector. Quiero mostrar a las empresas el camino para agilizar los procesos, eliminar los cuellos de botella y garantizar el cumplimiento de las normativas dotando a los equipos y a los ejecutivos de la C-suite de las herramientas adecuadas."
Lecturas relacionadas
El ámbito de riesgo de cumplimiento normativo en los flujos de trabajo de IA
Responsables de seguridad de la información (CISO) del sector público: la integridad de los datos en la nube más allá de la arquitectura «Zero Trust»
Integridad de los datos DORA: Qué exige realmente el “estándar más elevado