# Проверка LLM-релиза перед production

Лицензия CC BY 4.0. Условия атрибуции:
`https://futurecraft.pro/artifacts/production-llm-release-manifest/LICENSE-CC-BY-4.0.md`.

Release ID: ____________________

Ответственный: ____________________

Дата проверки: ____________________

## Зафиксировать кандидата

- [ ] Manifest проходит `manifest.schema.json`.
- [ ] Ссылки на prompt, policy, router, retrieval, toolset, adapter, dataset и runbook
  неизменяемы и доступны.
- [ ] Source commit и build ID однозначно указывают на запускаемый артефакт.
- [ ] Input/output contract и обязательные capabilities совпадают с production.
- [ ] В manifest нет текста prompt с секретами, пользовательских данных и raw traces.

## Проверить политику и исполнение

- [ ] Authentication и tenant context приходят из проверенного состояния приложения.
- [ ] Разрешенные providers подходят для заявленного класса данных и регионов.
- [ ] Tool permissions уже, чем полный набор действий, которые может предложить модель.
- [ ] Provider attempts и tool steps укладываются в общий дедлайн.
- [ ] Повторяемая запись идемпотентна или имеет явный путь сверки результата.
- [ ] Human-review trigger останавливает side effect, а не добавляет незаметное
  предупреждение.

## Прогнать evaluation gate

- [ ] Текущий и новый релизы прошли одну версию dataset.
- [ ] Пороги contract, task quality, latency и cost заданы до запуска.
- [ ] В каждом заявленном slice достаточно случаев для выбранного порога.
- [ ] Candidate scores получены из сохраненного прогона, а не вручную исправлены в
  dashboard.
- [ ] Каждый failed case разобран отдельно: среднее значение не скрывает policy breach.
- [ ] Для новых production failures есть очищенный от чувствительных данных тест или
  записанная причина, почему такой тест создать нельзя.

## Проверить rollout и rollback

- [ ] Canary получает только подходящие запросы и один известный release ID.
- [ ] Guardrail windows, ответственные и alert routes включены до подачи трафика.
- [ ] Предыдущий релиз доступен для отката.
- [ ] Rollback проверен на текущих schema, tools и data migrations.
- [ ] Для partial stream, committed side effect и provider timeout задано recovery
  behavior.
- [ ] Kill switch останавливает новую работу и не портит состояние активных задач.

## Проверить после deploy

- [ ] Traces содержат release ID и component references из manifest.
- [ ] Task success, contract failures, latency, fallback и cost видны по релизам.
- [ ] Logs и traces проверены на случайные секреты и пользовательские payloads.
- [ ] Canary review сравнивает продуктовый исход вместе с model-level scores.
- [ ] Решение расширить rollout, оставить текущую долю или откатиться записано вместе с
  использованными данными.

Если обязательный пункт остается неизвестным, релиз рано запускать без наблюдения.
Запишите исключение, ответственного, срок действия и безопасный лимит вместо галочки.