Экспертиза решений детекторов ИИ-текстов
Детектор сказал «написано машиной» — и этого хватило, чтобы отчислить студента, отозвать статью или вернуть рукопись. Разбираем, насколько вывод обоснован и воспроизводится ли он.
Срок 5–10 рабочих дней — после регистрации института · Заключение специалиста и протокол проверки · обсудить случай
Институт регистрируется: ОГРН и ИНН пока нет, договоры — после регистрации (начало 2027 года).
Границы применимости. Мы проверяем, воспроизводится ли вердикт детектора в зафиксированных условиях и на зафиксированной версии модели: протокол подачи, длину текста и дату прогона указываем в отчёте. Мы не устанавливаем авторство текста, не гарантируем безопасность системы и не выдаём сертификат. В каждом заключении отдельным разделом указано, чего мы не измеряли.
Что это такое
Спор идёт не о том, человек ли автор. Спор идёт о том, значит ли что-нибудь вердикт детектора в конкретном случае. Детектор — статистический инструмент: он даёт оценку вероятности, а не устанавливает факт. На коротком тексте, на переводе, на тексте с правками или с машинной вычиткой его ответ смещается.
Что проверяем мы: воспроизводится ли вывод при зафиксированных условиях. Какая версия детектора и какие настройки использовались. Что именно подавалось — полный текст или фрагмент, с OCR или без. Совпадают ли вердикты разных детекторов на одном и том же материале. И какие следы работы остались у текста, кроме отчёта детектора: черновики, правки, письма, ранние копии. Что из этого можно зафиксировать, а что придётся принимать со слов.
Чего проверка не делает: она не выносит вердикт «текст человеческий». Она показывает, можно ли опираться на вывод детектора в этом конкретном споре — и что осталось за пределами проверки.
Когда это нужно
- Получили отчёт детектора и не согласны. Нужен разбор: что именно измерили, в каких условиях и почему к этому выводу стоит относиться осторожно;
- Вуз или издатель разбирает случай. У решения должны быть основания, которые можно проверить и повторить;
- Юрист готовит позицию. Нужен документ о том, что вердикт невоспроизводим или опирается на неприменимую методику;
- Редакция проверяет материал. Автор обвинён, а проверка делалась на бегу, на фрагменте, неизвестной версией.
Как проходит работа
- Фиксация условий. Версия и настройки каждого детектора на дату проверки, режим запуска, язык и длина текста. Без этого вывод невоспроизводим, и первое же возражение «у нас другая версия» обесценивает заключение.
- Протокол подачи. Что именно подаём: полный текст, фрагмент, минимальная длина, разбивка на абзацы, OCR-версия или вычитка. Пишем в протокол, а не прячем: короткие тексты многие детекторы оценивают с оговорками.
- Прогон нескольких детекторов. Смотрим не «кто прав», а где вердикты расходятся и в какую сторону. Расхождение показывает, от чего зависит вывод: от инструмента, от фрагмента или от самого текста.
- Документальные свидетельства происхождения. Даты файлов, черновики, история правок, печатная версия того же текста. Это сбор и фиксация свидетельств — не установление авторства.
- Заключение. Насколько вывод детектора обоснован, где методика не выдерживает, что можно проверить дополнительно. Отдельным разделом — чего мы не проверяли.
Что на выходе
- Заключение специалиста с описанием методики и границ проверки;
- Протокол проверки: версии, настройки, даты, режимы, что подавалось — чтобы было видно, при каких условиях получен каждый вывод и что сегодня уже не перепроверить;
- Таблица расхождений по детекторам и текстам;
- Раздел «чего не проверяли» — обязательный: иначе заключение читается как «проверили всё»;
- Ответы на вопросы заказчика в письменном виде — то, что он может использовать при подготовке своей позиции.
Если при разборе выясняется, что кто-то из сторон — наш контрагент, вуз или вендор этого же детектора, мы фиксируем это в заключении отдельной строкой.
Сроки
Заключение — 5–10 рабочих дней. Экспресс-разбор по одному тексту без прогона всех детекторов — 1–2 дня. Срок зависит не от объёма текста, а от того, сколько материалов нужно проверить и есть ли документы происхождения.
Чего мы не делаем
- Не устанавливаем авторство. Мы собираем и фиксируем документальные свидетельства происхождения; атрибуция текста — не наша работа;
- Мы не государственные судебные эксперты и не называем себя так. Судебным экспертом человек становится не с регистрацией юрлица, а с назначением его судом по конкретному делу. Судебную экспертизу по определению суда мы сможем проводить, когда появятся юрлицо и профильный эксперт: ч. 1 ст. 41 закона № 73-ФЗ допускает экспертизу вне государственных судебно-экспертных учреждений силами лиц со специальными знаниями; назначает эксперта суд, и статус эксперта — персональный. Ограничение — ч. 3 ст. 41: по видам экспертиз из перечня Правительства РФ (распоряжение от 16.11.2021 № 3214-р) экспертизу проводят только государственные судебно-экспертные организации;
- Не обещаем исход дела и не выдаём «сертификат человечности»: доказать, что текст написан человеком, методами детекции нельзя;
- Не сравниваем вендоров публично и не публикуем результаты без согласия заказчика;
- Не работаем с текстами без законного основания у заказчика.
Об ограничении по регистрации. Институт регистрируется: ОГРН и ИНН пока нет, договоры мы не заключаем. Стоимость и порядок договора появятся после регистрации института — начало 2027 года. До этого обсуждаем случай, методику и границы проверки.
Что мы об этом знаем сами
Этот сюжет мы не пересказываем из прессы: у нас есть свой случай, свой протокол и опубликованная заметка, где описаны ограничения.
И отдельно, чтобы не было вопросов: мы не продаём средства защиты и не получаем вознаграждения от вендоров детекторов — почему это условие работы, а не реклама.
Russian-Language Text Detectors: A Three-Text Case
Три русских текста, два коммерческих детектора, одна сессия. Разница между оценками двух детекторов по одному тексту — 93 процентных пункта, а вердикт «человек» с наибольшей уверенностью достался тексту, целиком сгенерированному машиной. В заметке — методика, ограничения и разбор, почему процент без версии детектора не воспроизводится.
Заметка на английском, PDF на три страницы.
Исследования института
Исследовательская программа института, из которой выросла эта работа: протоколы, метрики, воспроизводимость. Отрицательные результаты публикуем наравне с положительными.
Случаи, где за решение системы отвечал человек, собраны в «Хронике инцидентов с ИИ».
Частые вопросы
Чем это отличается от судебной экспертизы?
Судебную экспертизу назначает суд, и у неё свой процессуальный статус: эксперт предупреждается об ответственности за заведомо ложное заключение, а его вывод становится доказательством по делу. Мы делаем заключение специалиста: разбор методики и воспроизводимости вывода. Такой документ используют при подготовке позиции, но он не заменяет экспертизу.
Может ли специалист института быть экспертом в суде?
Да, но не автоматически. Ч. 1 ст. 41 закона № 73-ФЗ допускает судебную экспертизу вне государственных учреждений — силами лиц со специальными знаниями. Эксперта назначает суд по ходатайству или с согласия лиц, участвующих в деле; стороны вправе предложить кандидатуру и заявить отвод, а в определении указывается эксперт либо экспертное учреждение и предупреждение об ответственности за заведомо ложное заключение (ст. 307 УК РФ). Поэтому мы готовы участвовать экспертами по назначению суда — при наличии профильного эксперта, отвечающего требованиям суда (образование, стаж, отсутствие заинтересованности), и если вид экспертизы не отнесён к исключительно государственным (ч. 3 ст. 41). Регистрация юрлица статуса эксперта не даёт: до появления юрлица и профильного эксперта мы работаем как специалисты и ничего не обещаем.
И ещё одно, что снимает вопрос «кто нас туда пустит»: в арбитражном процессе суд не вправе отказать в проведении экспертизы в негосударственной экспертной организации только потому, что её можно поручить государственной (п. 1 постановления Пленума ВАС РФ от 04.04.2014 № 23). А если экспертиза поручена организации, в определении указываются и организация, и фамилия эксперта, которому руководитель поручит работу.
А если детектор обновился после спора?
Фиксируем то, что доступно: дату и версию, указанные в отчёте, и то, что даёт сегодняшняя версия. Расхождение между ними — самостоятельный аргумент: вывод, который не воспроизводится, опирается на инструмент, а не на факт.
Можно ли доказать, что текст написан человеком?
Методами детекции — нет. Можно показать, что вывод детектора не обоснован, что методика применена вне условий, для которых годится, и что есть документы, которые говорят о происхождении текста больше, чем оценка вероятности.
Что нужно от заказчика?
Текст или фрагменты в том же виде, в каком они подавались детектору; сам отчёт детектора, если он есть; сведения о дате и версии; и короткое описание спора — что именно оспаривается и какое решение нужно принять.
Другие услуги — в таблице услуг.
Остальные продукты института
Шесть пакетов, каждый — отдельная услуга. Что входит, чего не упаковываем и от чего считается цена — на странице «Шесть продуктов».
- AI Red Teaming — испытания агентов и моделей на устойчивость.
- Behavioural Audit — аудит поведения системы по наблюдаемым действиям.
- Supply Chain Security — безопасность цепочки поставки моделей и данных.
- Проверка контрагента — досье по открытым источникам с проверяемыми ссылками.
- Разведка рынка — рынок и конкуренты под задачу заказчика.