Экспертиза решений детекторов ИИ-текстов

Детектор сказал «написано машиной» — и этого хватило, чтобы отчислить студента, отозвать статью или вернуть рукопись. Разбираем, насколько вывод обоснован и воспроизводится ли он.

Срок 5–10 рабочих дней — после регистрации института · Заключение специалиста и протокол проверки ·   обсудить случай

Институт регистрируется: ОГРН и ИНН пока нет, договоры — после регистрации (начало 2027 года).

Два прибора на одном документе — и разные показания Два прибора на одном документе — и разные показания
Два прибора на одном документе — и разные показания

Границы применимости. Мы проверяем, воспроизводится ли вердикт детектора в зафиксированных условиях и на зафиксированной версии модели: протокол подачи, длину текста и дату прогона указываем в отчёте. Мы не устанавливаем авторство текста, не гарантируем безопасность системы и не выдаём сертификат. В каждом заключении отдельным разделом указано, чего мы не измеряли.

Что это такое

Спор идёт не о том, человек ли автор. Спор идёт о том, значит ли что-нибудь вердикт детектора в конкретном случае. Детектор — статистический инструмент: он даёт оценку вероятности, а не устанавливает факт. На коротком тексте, на переводе, на тексте с правками или с машинной вычиткой его ответ смещается.

Что проверяем мы: воспроизводится ли вывод при зафиксированных условиях. Какая версия детектора и какие настройки использовались. Что именно подавалось — полный текст или фрагмент, с OCR или без. Совпадают ли вердикты разных детекторов на одном и том же материале. И какие следы работы остались у текста, кроме отчёта детектора: черновики, правки, письма, ранние копии. Что из этого можно зафиксировать, а что придётся принимать со слов.

Чего проверка не делает: она не выносит вердикт «текст человеческий». Она показывает, можно ли опираться на вывод детектора в этом конкретном споре — и что осталось за пределами проверки.

Когда это нужно

  • Получили отчёт детектора и не согласны. Нужен разбор: что именно измерили, в каких условиях и почему к этому выводу стоит относиться осторожно;
  • Вуз или издатель разбирает случай. У решения должны быть основания, которые можно проверить и повторить;
  • Юрист готовит позицию. Нужен документ о том, что вердикт невоспроизводим или опирается на неприменимую методику;
  • Редакция проверяет материал. Автор обвинён, а проверка делалась на бегу, на фрагменте, неизвестной версией.

Как проходит работа

  1. Фиксация условий. Версия и настройки каждого детектора на дату проверки, режим запуска, язык и длина текста. Без этого вывод невоспроизводим, и первое же возражение «у нас другая версия» обесценивает заключение.
  2. Протокол подачи. Что именно подаём: полный текст, фрагмент, минимальная длина, разбивка на абзацы, OCR-версия или вычитка. Пишем в протокол, а не прячем: короткие тексты многие детекторы оценивают с оговорками.
  3. Прогон нескольких детекторов. Смотрим не «кто прав», а где вердикты расходятся и в какую сторону. Расхождение показывает, от чего зависит вывод: от инструмента, от фрагмента или от самого текста.
  4. Документальные свидетельства происхождения. Даты файлов, черновики, история правок, печатная версия того же текста. Это сбор и фиксация свидетельств — не установление авторства.
  5. Заключение. Насколько вывод детектора обоснован, где методика не выдерживает, что можно проверить дополнительно. Отдельным разделом — чего мы не проверяли.

Что на выходе

  • Заключение специалиста с описанием методики и границ проверки;
  • Протокол проверки: версии, настройки, даты, режимы, что подавалось — чтобы было видно, при каких условиях получен каждый вывод и что сегодня уже не перепроверить;
  • Таблица расхождений по детекторам и текстам;
  • Раздел «чего не проверяли» — обязательный: иначе заключение читается как «проверили всё»;
  • Ответы на вопросы заказчика в письменном виде — то, что он может использовать при подготовке своей позиции.

Если при разборе выясняется, что кто-то из сторон — наш контрагент, вуз или вендор этого же детектора, мы фиксируем это в заключении отдельной строкой.

Сроки

Заключение — 5–10 рабочих дней. Экспресс-разбор по одному тексту без прогона всех детекторов — 1–2 дня. Срок зависит не от объёма текста, а от того, сколько материалов нужно проверить и есть ли документы происхождения.

Чего мы не делаем

  • Не устанавливаем авторство. Мы собираем и фиксируем документальные свидетельства происхождения; атрибуция текста — не наша работа;
  • Мы не государственные судебные эксперты и не называем себя так. Судебным экспертом человек становится не с регистрацией юрлица, а с назначением его судом по конкретному делу. Судебную экспертизу по определению суда мы сможем проводить, когда появятся юрлицо и профильный эксперт: ч. 1 ст. 41 закона № 73-ФЗ допускает экспертизу вне государственных судебно-экспертных учреждений силами лиц со специальными знаниями; назначает эксперта суд, и статус эксперта — персональный. Ограничение — ч. 3 ст. 41: по видам экспертиз из перечня Правительства РФ (распоряжение от 16.11.2021 № 3214-р) экспертизу проводят только государственные судебно-экспертные организации;
  • Не обещаем исход дела и не выдаём «сертификат человечности»: доказать, что текст написан человеком, методами детекции нельзя;
  • Не сравниваем вендоров публично и не публикуем результаты без согласия заказчика;
  • Не работаем с текстами без законного основания у заказчика.

Об ограничении по регистрации. Институт регистрируется: ОГРН и ИНН пока нет, договоры мы не заключаем. Стоимость и порядок договора появятся после регистрации института — начало 2027 года. До этого обсуждаем случай, методику и границы проверки.

Что мы об этом знаем сами

Этот сюжет мы не пересказываем из прессы: у нас есть свой случай, свой протокол и опубликованная заметка, где описаны ограничения.

И отдельно, чтобы не было вопросов: мы не продаём средства защиты и не получаем вознаграждения от вендоров детекторов — почему это условие работы, а не реклама.

Russian-Language Text Detectors: A Three-Text Case

Три русских текста, два коммерческих детектора, одна сессия. Разница между оценками двух детекторов по одному тексту — 93 процентных пункта, а вердикт «человек» с наибольшей уверенностью достался тексту, целиком сгенерированному машиной. В заметке — методика, ограничения и разбор, почему процент без версии детектора не воспроизводится.

Заметка на английском, PDF на три страницы.

Исследования института

Исследовательская программа института, из которой выросла эта работа: протоколы, метрики, воспроизводимость. Отрицательные результаты публикуем наравне с       положительными.

Случаи, где за решение системы отвечал человек, собраны в «Хронике инцидентов с ИИ».

Частые вопросы

Чем это отличается от судебной экспертизы?

Судебную экспертизу назначает суд, и у неё свой процессуальный статус: эксперт предупреждается об ответственности за заведомо ложное заключение, а его вывод становится доказательством по делу. Мы делаем заключение специалиста: разбор методики и воспроизводимости вывода. Такой документ используют при подготовке позиции, но он не заменяет экспертизу.

Может ли специалист института быть экспертом в суде?

Да, но не автоматически. Ч. 1 ст. 41 закона № 73-ФЗ допускает судебную экспертизу вне государственных учреждений — силами лиц со специальными знаниями. Эксперта назначает суд по ходатайству или с согласия лиц, участвующих в деле; стороны вправе предложить кандидатуру и заявить отвод, а в определении указывается эксперт либо экспертное учреждение и предупреждение об ответственности за заведомо ложное заключение (ст. 307 УК РФ). Поэтому мы готовы участвовать экспертами по назначению суда — при наличии профильного эксперта, отвечающего требованиям суда (образование, стаж, отсутствие заинтересованности), и если вид экспертизы не отнесён к исключительно государственным (ч. 3 ст. 41). Регистрация юрлица статуса эксперта не даёт: до появления юрлица и профильного эксперта мы работаем как специалисты и ничего не обещаем.

И ещё одно, что снимает вопрос «кто нас туда пустит»: в арбитражном процессе суд не вправе отказать в проведении экспертизы в негосударственной экспертной организации только потому, что её можно поручить государственной (п. 1 постановления Пленума ВАС РФ от 04.04.2014 № 23). А если экспертиза поручена организации, в определении указываются и организация, и фамилия эксперта, которому руководитель поручит работу.

А если детектор обновился после спора?

Фиксируем то, что доступно: дату и версию, указанные в отчёте, и то, что даёт сегодняшняя версия. Расхождение между ними — самостоятельный аргумент: вывод, который не воспроизводится, опирается на инструмент, а не на факт.

Можно ли доказать, что текст написан человеком?

Методами детекции — нет. Можно показать, что вывод детектора не обоснован, что методика применена вне условий, для которых годится, и что есть документы, которые говорят о происхождении текста больше, чем оценка вероятности.

Что нужно от заказчика?

Текст или фрагменты в том же виде, в каком они подавались детектору; сам отчёт детектора, если он есть; сведения о дате и версии; и короткое описание спора — что именно оспаривается и какое решение нужно принять.

Другие услуги — в таблице услуг.

Остальные продукты института

Шесть пакетов, каждый — отдельная услуга. Что входит, чего не упаковываем и от чего считается цена — на странице «Шесть продуктов».

Страница обновлена 13.11.2026 · версия сборки 2026.11.13 · АНО «Институт социологии и безопасности искусственного интеллекта»