Наборы данных и бенчмарки
Структурированные свидетельства о том, как ИИ-агенты ведут себя при взаимодействии друг с другом: корпуса, графы, реестры инцидентов и построенные на них измерения.
Планируемые выпуски
К каждому набору до публикации готовится datasheet: мотивация, состав, порядок сбора, обработка, допустимые и недопустимые применения, распространение и сопровождение.
AI Behaviours Corpus
Транскрипты мультиагентных прогонов с разметкой поведений: кооперация, сговор, обман, сикофантия, отказ от задачи, захват ресурсов, сопротивление отключению. В комплекте — инструкция для разметчиков и показатели согласия между ними.
Формат: JSONL + схема. Публичная версия — CC BY 4.0 через 12 месяцев после соответствующей статьи, до этого по заявке; расширенная версия (сырые логи, полная разметка, выгрузки под задачу) — по коммерческой лицензии. Состояние: сбор.
Ecosystem Graph
Ориентированный граф наблюдаемых взаимодействий между моделями, агентами и инструментами: кто кого вызвал, с какими полномочиями и что изменилось в среде. Происхождение данных фиксируется на уровне связи.
Формат: список связей CSV + таблица узлов. Лицензия: CC BY 4.0. Состояние: проектирование схемы.
AI Incident Chronicle
Структурированные записи об инцидентах: дата, система и версия, режим отказа, наблюдаемый эффект, серьёзность, способ обнаружения и источник. Реестр рассчитан на статистику, а не на заголовки.
Формат: JSON + CSV. Лицензия: CC BY 4.0. Состояние: таксономия.
Бенчмарки
Три измерительных набора на основе корпуса: связность на длинном контексте, дрейф самоидентификации и обман под давлением. К каждому — скрипт оценки и отчёт с базовыми значениями.
Формат: сборочный стенд + эталонные результаты. Лицензия: Apache-2.0. Состояние: спецификация.
Шаблон datasheet
Мы публикуем datasheet с каждым выпуском. Рецензент и пользователь вправе требовать ответа по каждому из разделов.
| Раздел | На какой вопрос отвечает |
|---|---|
| Мотивация | Зачем набор создан, кто финансировал и какому вопросу он служит. |
| Состав | Что внутри: модели, версии, задачи, языки, число примеров, распределение меток. |
| Сбор | Как настраивались и записывались прогоны, что логировалось, а что сознательно нет. |
| Обработка | Очистка, фильтрация, обезличивание; что удалено и почему. |
| Применения | Для чего набор предназначен и о чём мы просим его не использовать. |
| Распространение | Лицензия, уровень доступа, форматы, версионирование, DOI. |
| Сопровождение | Кто ведёт набор, как сообщать об ошибках, как часто выходят редакции. |
| Ограничения | Известные смещения, пробелы в покрытии и причины, по которым вывод может не обобщаться. |
Уровни доступа и ответственное раскрытие
Открытый
Корпуса, графы, записи об инцидентах, стенды бенчмарков и документация — публично под указанными лицензиями. Наборы данных открываются через 12 месяцев после публикации соответствующей статьи (или раньше — по решению Института); до этого — по заявке.
По заявке
Крупные срезы и производные признаки — после короткой заявки с указанием цели использования. Заявка бесплатная и не является коммерческим фильтром.
Ограниченный
Материалы, которые работали бы как готовый рецепт атаки. Передаются только защищающейся стороне по договору и только после того, как у затронутого производителя было время на реакцию.
Мы не публикуем готовые эксплойты против действующих систем. Если находка затрагивает внедрённый продукт, мы сначала уведомляем производителя, согласуем дату раскрытия и после появления исправления или компенсационной меры публикуем находку, но не полезную нагрузку.