В тот момент, когда файл обработан, утвержден и заархивирован, он считается окончательным, и именно тогда запись становится достоверной. Однако конвейер искусственного интеллекта не перестает взаимодействовать с файлами даже после их архивирования. В ходе переобучения в систему вновь загружаются старые наборы данных. Агенты повторно обрабатывают "окончательные" результаты. Системы поставщиков вновь затрагивают записи, которые должны были быть закрыты. Ничто из этого не является злонамеренным по замыслу, но и ничего из этого не видно — и в этом заключается проблема. Если файл изменился после того момента, когда все согласились доверять ему, и ничто не зафиксировало этот момент доверия таким образом, чтобы впоследствии можно было доказать фальсификацию, вы не можете знать, соответствует ли то, на что вы полагаетесь сегодня, тому, что было утверждено.
Это не проблема предотвращения. Невозможно и не следует пытаться заблокировать каждый файл так, чтобы к нему больше никто не смог прикоснуться. Это проблема обнаружения: изменение, произошедшее после момента установления доверия, должно быть доказано, а не предполагаться — а в большинстве программ обеспечения соответствия требованиям механизма для этого вообще отсутствует. Если ваш аудиторский след полностью опирается на журналы, в следующих двух разделах объясняется, почему это не сработает так, как вы думаете.
Территория, которую никто не нанес на карту
Конвейеры искусственного интеллекта — это не отдельные системы, а цепочки. Данные поступают, проходят очистку, используются для обучения модели, проверяются на тестовых наборах, развертываются в производственной среде и в конечном итоге поступают в цикл переобучения, который запускает весь цикл заново. Каждая передача данных в этой цепочке — это момент, когда состояние файла может измениться, причём никто официально этого не фиксирует.
Оценка угроз ENISA на 2025 год, полученные на основе анализа 4 875 инцидентов, произошедших в период с июля 2024 года по июнь 2025 года, показали, что злоумышленники все чаще подделывают модели машинного обучения, публикуют троянские пакеты и манипулируют конфигурационными файлами, используемыми помощниками по программированию — то есть тТеперь активной целью является сам конвейер, а не только выходные данные модели. Масштаб риска постоянно растёт. Прогнозы Gartner на 2025 год в области данных и аналитики Выяснилось, что к 2027 году 60% руководителей в сфере данных и аналитики столкнутся с серьезными сбоями в управлении синтетическими данными, что поставит под угрозу эффективность управления ИИ, точность моделей и соблюдение нормативных требований; при этом управление метаданными было признано ключевым фактором для ответственного отслеживания, проверки и управления синтетическими данными.
Больше данных, больше версий моделей, больше синтетического контента, проходящего через все большее количество этапов передачи — рост объёмов данных не является риском будущего. Это текущая реальность, и Большинство трубопроводов строились не для того, чтобы доказать, что ничего не изменилось.
Планка требований к соблюдению нормативных требований только что поднялась
Это уже не просто операционная проблема — это вопрос нормативно-правового регулирования. Данная Положения Закона ЕС об искусственном интеллекте, касающиеся управления данными явно разрешать организациям управлять наборами данных для обучения с учетом таких факторов, как процессы сбора данных, подготовка данных, потенциальные систематические ошибки и пробелы в данных, а также Преамбула 67 подтверждает, что это требование может быть выполнено с помощью сторонних организаций, предоставляющих сертифицированные услуги по обеспечению соответствия, в том числе проверка системы управления данными, целостности наборов данных, а также методов подготовки, валидации и тестирования данных. Преамбула 133 идет дальше, указывая конкретный механизм, которого ожидают регулирующие органы: поставщики должны использовать криптографические методы подтверждения происхождения и подлинности контента, наряду с водяными знаками, идентификацией метаданных и методами ведения журналов. Программа DORA усугубляет эту проблему именно для финансовых организаций — Французское агентство по финансовому надзору (AMF) подтверждает, что компании, подпадающие под действие данного положения, обязаны разработать политику информационной безопасности с целью обеспечивать доступность, подлинность, целостность и конфиденциальность данных, проходящие регулярную внутреннюю аудиторскую проверку.
Управляющий директор одной юридической фирмы, отвечая именно на этот вопрос, точно сформулировал суть изменения: регуляторы больше не спрашивают "были ли у вас механизмы контроля", а интересуются, "может достоверно восстановить, что именно сделала система, когда и почему" — неоднократно, в условиях реальных стресс-тестов. Именно в этом различии и заключается вся проблема. Запись в журнале свидетельствует о том, что событие произошло. Сама по себе она не доказывает, что запись об этом событии — или соответствующий файл — с тех пор не была изменена. Запись, хранящаяся в базе данных с правом записи, не защищена от фальсификации, независимо от того, кто имеет к ней доступ, и Система защиты от несанкционированного вскрытия требует наличия соответствующего механизма - криптографическая цепочка, носитель однократной записи или аналогичное средство, позволяющее обнаружить изменения. Согласно тому же анализу, регулирующие органы рассматривают отсутствие средств защиты от несанкционированного вмешательства как пробел в самом аудиторском следе. "У нас есть записи" — это не то же самое, что утверждение "мы не можем доказать, что ничего не изменилось"," и в соответствии с DORA и Законом об искусственном интеллекте именно этот пробел и будет проверяться в ходе надзорной проверки или расследования спорного инцидента.
Как выглядит подтверждаемая целостность
Решение не заключается в том, чтобы предотвратить любые изменения любого файла — это нереалистично и нежелательно в системе, которая должна постоянно учиться. Решение заключается в том, чтобы сделать любое изменение, внесенное после определенного момента, обнаружимым — независимо и без раскрытия исходного содержимого. Это означает создание криптографического отпечатка файла после его утверждения, фиксацию этого отпечатка во внешнем хранилище, чтобы его нельзя было незаметно переписать, а также последующую повторную проверку файла по этому отпечатку для подтверждения — или опровержения — того, что он остался неизменным.
В руководстве по обеспечению безопасности конвейеров обучения ИИ, разработанном в соответствии с рекомендациями NIST, рекомендуется именно эта схема: при использовании готовых обучающих наборов данных по возможности следует использовать данные с указанием знака, чтобы обеспечить их целостность и подлинность могут быть отслежены с помощью криптографических методов, причем этот подход можно распространить и на данные оценки.
В недавних научных работах формально сформулировано, что именно необходимо для обеспечения этого: структуры криптографических доказательств для регулируемых рабочих процессов с использованием ИИ должны обеспечивать достоверность, защиту от несанкционированного вмешательства и однозначность, подтверждённые в рамках стандартных криптографических допущений, а не на основе специальных соглашений о ведении журналов — и те же исследования показывают, что это достижимо с небольшими и предсказуемыми накладными расходами на каждое событие на стандартном оборудовании, поэтому обеспечение защиты не обязательно должно происходить в ущерб производительности.
Это и есть настоящий тест на обоснованность, и именно его ваша текущая архитектура либо проходит, либо нет: когда представитель регулирующего органа, аудитор или адвокат противоположной стороны спросит, откуда вы знаете, что файл не был изменен после даты, которую вы указываете, сможете ли вы ответить, предоставив независимо проверяемое доказательство — или только свои собственные журналы, которые Собственное исследование компании Gartner в области корпоративного управления Это свидетельствует о том, что большинство организаций пока не могут внедрить такие механизмы на том уровне, которого ожидают регулирующие органы, поскольку лишь немногим предприятиям удалось успешно реализовать свои системы управления ИИ, выйдя за рамки этапа разработки политики.
«Запечатанное и поддающееся проверке» всегда превосходит «зарегистрированное и заслуживающее доверия» — это подтверждается при каждом тестировании. Если вы в данный момент не можете подтвердить, что ваши документы, представленные после получения разрешения, не претерпели изменений, этот пробел стоит устранить до того, как его обнаружит регулирующий орган.
.
Попробуйте бесплатно — без каких-либо обязательств:
Верификатор истины для создателей ИС: https://truth-verifier.com/landing
Верификатор правды для журналистов: https://truthverifier.news/landing
Свяжитесь с нами для бесплатного анализа и обсуждения: https://www.connecting-software.com/truth-enforcer-sign-up/
По адресу Франсиско РодригесМенеджер по продукции
"Я пишу о том, как программные интеграции могут адаптироваться к бизнес-среде и отвечать требованиям конкретной отрасли. Я хочу показать предприятиям путь к рационализации процессов, устранению узких мест и обеспечению соответствия нормативным требованиям путем предоставления командам и руководителям высшего звена необходимых инструментов".
Связанные чтения
Руководители по информационной безопасности в государственном секторе СНГ: целостность данных в облаке за пределами архитектуры «Zero Trust»
Целостность данных DORA: Что на самом деле требует “высший стандарт”
Проблема модификации: Правило 613 Комиссии по ценным бумагам и биржам США - соответствие требованиям CAT с данными, к которым, как можно доказать, никто не прикасался