Почему оценка безопасности ИИ не должна продавать средство защиты

Вы отдаёте проверку системы на сторону и получаете отчёт. Вопрос, который почти никто не задаёт: продаёт ли исполнитель то, что проверяет. Если продаёт, у него есть причина не писать «здесь защита не нужна».

Ниже — как устроен конфликт, что мы делаем иначе и как проверить любого оценщика,   включая нас.

Эталон стоит отдельно — иначе он не эталон Эталон стоит отдельно — иначе он не эталон
Эталон стоит отдельно — иначе он не эталон

Как устроен конфликт

Интегратор зарабатывает на марже с лицензий: чем больше средств защиты уйдёт заказчику, тем больше выручка. Оценка у него — вход в сделку, продажа — выход. Схема честная с точки зрения коммерции и порочная с точки зрения измерения.

Причина в том, что у оценки и у продажи противоположные знаки:

  • хорошая оценка часто заканчивается словами «здесь защита не нужна»;
  • хорошая продажа так не заканчивается никогда.

Один и тот же сотрудник, который пишет отчёт, получает бонус от продажи. Даже если он честен, он знает, как устроена его компания, и это знание влияет на формулировки. Конфликт не требует злого умысла: достаточно структуры.

Что это значит для заказчика

Отчёт может быть правильным, но неполным. Пропущенный раздел «здесь достаточно организационных мер» выглядит как опечатка, а не как потерянная сделка.

Сравнивать оценки невозможно. Один оценщик считает риск «средним» и продаёт шлюз, другой считает тот же риск «низким» и не продаёт ничего. Единой шкалы нет, потому что её невыгодно вводить.

Отрицательный результат исчезает. Если проверка показала, что фильтр держит, об этом не пишут: нечего продавать. А именно такие результаты нужны рынку — они экономят деньги.

Наши правила

Их пять, и все проверяемые.

1. Мы не продаём средства защиты и не получаем вознаграждения от вендоров. Ни комиссии, ни маржи, ни партнёрских отчислений. Вознаграждение — только от заказчика за работу.

2. Критерии публикуются до начала работы. Что считается «да», а что «нет», известно заранее и не меняется по ходу.

3. Протокол фиксируется до прогона. Число попыток, условия, метрика — до того, как увидели результат. Иначе подгонка неизбежна, даже без умысла.

4. Отрицательные результаты публикуются. Если проверка показала, что защита держит, мы пишем это так же подробно, как провал.

5. У эксперта есть декларация независимости. Он подтверждает, что не связан с вендорами и не имеет доли в оцениваемой системе.

Как проверить любого оценщика, включая нас?

Пять вопросов, на которые должен быть ответ до подписания договора.

ВопросПочему он важнее цены
Продаёт ли исполнитель средства защиты? Если да, спросите, что он скажет, если защита не нужна
Публикует ли критерии заранее? Критерии после результата — это подгонка
Есть ли протокол до прогона? Без него можно «найти» ровно то, что нужно заказчику
Публикует ли отрицательные результаты? Их отсутствие означает, что публикуют только удобное
Подписана ли декларация независимости? Это не гарантия, но проверяемое обязательство

Если на первый вопрос ответ «да, продаёт» — решение не в том, честный ли он человек. Решение в том, что у него нет причин говорить «вам это не нужно».

Чего мы этим не говорим

Мы не утверждаем, что все интеграторы недобросовестны. Интегратор нужен: кто-то должен внедрять и обслуживать защиту. Проблема не в интеграции, а в совмещении её с оценкой.

Мы не говорим, что наша оценка «объективнее всех». Она воспроизводима: методика, протокол и данные открыты, ошибки можно найти и оспорить.

Мы не заменяем аттестацию, государственный контроль и сертификацию по обязательным требованиям. Наша работа — измерение поведения системы в заданных условиях и заключение о том, что именно измерено.

Короткий ответ

Оценка — это про то, чтобы сказать правду о системе. Продажа — это про то, чтобы продать. Совмещать их внутри одной организации можно только с убытком для одного из двух дел. Мы выбрали оценку.

Что мы не продаём никогда: средства защиты, лицензии вендоров, интеграцию и «комплексные решения». Что продаём: измерение, заключение, испытание на стенде и наблюдение — поверка вердикта детектора, аудит поведения агентов, red teaming, проверка поставки.

Как это устроено у нас целиком — «Принципы и методы»: независимость оценки, хроника с первоисточниками, границы применимости.

Страница обновлена 06.11.2026 · версия сборки 2026.11.13 · АНО «Институт социологии и безопасности искусственного интеллекта»