Воспроизводимый agent evaluation · MIT + CC BY 4.0

Гейт релиза ИИ-агента

Сравните новую версию агента с baseline для каждого сценария. Fixture проверяет завершение задачи, правила вызова инструментов, порядок, ссылки и лимиты выполнения без обращения к модели или внешнему API.

Candidate намеренно проваливает проверки: так fixture демонстрирует механику gate. Результат ничего не говорит о качестве модели, реальной задержке, стоимости production, покрытии dataset или калибровке judge.
Шесть синтетических сценариев ИИ-агента: один пройден, семь новых ошибок, релиз заблокирован

Файлы

agent_gate.ts Строгий TypeScript evaluator для release gate fixture.ts Шесть синтетических сценариев baseline и candidate agent_gate_test.ts Тесты детерминизма, policy и кодов ошибок run_fixture.ts Manifest runner без сторонних dependencies agent-evaluation-manifest-2026-08-29.json Проверенный manifest с failing candidate render_manifest.ts Детерминированный SVG renderer agent-evaluation-gate-2026-08-29.svg Диаграмма из сохранённого manifest agent-release-gate-checklist.md Checklist для адаптации gate к продукту evidence_artifact_test.ts Проверки evidence и credential patterns evidence-run-2026-08-29.md Команды, хеши, результаты и ограничения README.md Состав файлов и команды повторного запуска

Контракт для сценария

Каждый сценарий задаёт свои инструменты, запрещённые действия, порядок, источники и лимиты. Универсального проходного балла нет.

Проверка регрессий

Старые ошибки остаются в отчёте. Релиз блокируют только новые нарушения с настроенной критической или серьёзной важностью.

Проверяемый результат

Manifest сохраняет все причины в стабильном порядке. JSON и SVG побайтно совпадают с результатом повторного запуска.

Что проверено

Девятнадцать tests покрывают все коды ошибок, некорректные policy, дубликаты, стабильный порядок, сравнение с baseline, сохранённые JSON и SVG, лицензии и credential или direct-PII patterns. В fixture шесть синтетических сценариев и ни одного платного запроса.

Лицензия MIT Лицензия CC BY 4.0 Читать гайд по тестированию ИИ-агентов