Почему оценка безопасности ИИ не должна продавать средство защиты
Вы отдаёте проверку системы на сторону и получаете отчёт. Вопрос, который почти никто не задаёт: продаёт ли исполнитель то, что проверяет. Если продаёт, у него есть причина не писать «здесь защита не нужна».
Ниже — как устроен конфликт, что мы делаем иначе и как проверить любого оценщика, включая нас.
Как устроен конфликт
Интегратор зарабатывает на марже с лицензий: чем больше средств защиты уйдёт заказчику, тем больше выручка. Оценка у него — вход в сделку, продажа — выход. Схема честная с точки зрения коммерции и порочная с точки зрения измерения.
Причина в том, что у оценки и у продажи противоположные знаки:
- хорошая оценка часто заканчивается словами «здесь защита не нужна»;
- хорошая продажа так не заканчивается никогда.
Один и тот же сотрудник, который пишет отчёт, получает бонус от продажи. Даже если он честен, он знает, как устроена его компания, и это знание влияет на формулировки. Конфликт не требует злого умысла: достаточно структуры.
Что это значит для заказчика
Отчёт может быть правильным, но неполным. Пропущенный раздел «здесь достаточно организационных мер» выглядит как опечатка, а не как потерянная сделка.
Сравнивать оценки невозможно. Один оценщик считает риск «средним» и продаёт шлюз, другой считает тот же риск «низким» и не продаёт ничего. Единой шкалы нет, потому что её невыгодно вводить.
Отрицательный результат исчезает. Если проверка показала, что фильтр держит, об этом не пишут: нечего продавать. А именно такие результаты нужны рынку — они экономят деньги.
Наши правила
Их пять, и все проверяемые.
1. Мы не продаём средства защиты и не получаем вознаграждения от вендоров. Ни комиссии, ни маржи, ни партнёрских отчислений. Вознаграждение — только от заказчика за работу.
2. Критерии публикуются до начала работы. Что считается «да», а что «нет», известно заранее и не меняется по ходу.
3. Протокол фиксируется до прогона. Число попыток, условия, метрика — до того, как увидели результат. Иначе подгонка неизбежна, даже без умысла.
4. Отрицательные результаты публикуются. Если проверка показала, что защита держит, мы пишем это так же подробно, как провал.
5. У эксперта есть декларация независимости. Он подтверждает, что не связан с вендорами и не имеет доли в оцениваемой системе.
Как проверить любого оценщика, включая нас?
Пять вопросов, на которые должен быть ответ до подписания договора.
| Вопрос | Почему он важнее цены |
|---|---|
| Продаёт ли исполнитель средства защиты? | Если да, спросите, что он скажет, если защита не нужна |
| Публикует ли критерии заранее? | Критерии после результата — это подгонка |
| Есть ли протокол до прогона? | Без него можно «найти» ровно то, что нужно заказчику |
| Публикует ли отрицательные результаты? | Их отсутствие означает, что публикуют только удобное |
| Подписана ли декларация независимости? | Это не гарантия, но проверяемое обязательство |
Если на первый вопрос ответ «да, продаёт» — решение не в том, честный ли он человек. Решение в том, что у него нет причин говорить «вам это не нужно».
Чего мы этим не говорим
Мы не утверждаем, что все интеграторы недобросовестны. Интегратор нужен: кто-то должен внедрять и обслуживать защиту. Проблема не в интеграции, а в совмещении её с оценкой.
Мы не говорим, что наша оценка «объективнее всех». Она воспроизводима: методика, протокол и данные открыты, ошибки можно найти и оспорить.
Мы не заменяем аттестацию, государственный контроль и сертификацию по обязательным требованиям. Наша работа — измерение поведения системы в заданных условиях и заключение о том, что именно измерено.
Короткий ответ
Оценка — это про то, чтобы сказать правду о системе. Продажа — это про то, чтобы продать. Совмещать их внутри одной организации можно только с убытком для одного из двух дел. Мы выбрали оценку.
Что мы не продаём никогда: средства защиты, лицензии вендоров, интеграцию и «комплексные решения». Что продаём: измерение, заключение, испытание на стенде и наблюдение — поверка вердикта детектора, аудит поведения агентов, red teaming, проверка поставки.
Как это устроено у нас целиком — «Принципы и методы»: независимость оценки, хроника с первоисточниками, границы применимости.