Устойчивость ответа (pass^k)
англ. pass^k
Устойчивость ответа (pass^k) — доля задач, которые ИИ-агент решил верно во всех k повторах подряд, а не хотя бы в одном из них.
Метрику pass^k предложили авторы бенчмарка τ-bench (июнь 2024 года), чтобы оценивать надёжность агента, а не удачу. Её пара — привычная pass@k: задача засчитана, если верна хотя бы одна из k попыток. Для агента, который тратит деньги, важна именно устойчивость: человек получает один ответ и не знает, повезло ли ему.
Разница бывает огромной. В бенчмарке агентной коммерции Visa (05.11.2026) модели в среднем проходили 57,2% попыток, а все три попытки подряд — только 34,2% сценариев.
По-русски для pass^k удобнее говорить «три из трёх» (при k = 3) или «устойчивость ответа». Так её называет методика checkeragent.ru: с версии 1.1 вопрос ассистенту задают трижды и засчитывают только совпавшие ответы.
Вопросы и ответы
Чем pass^k отличается от pass@k?
pass@k — верна хотя бы одна из k попыток; pass^k — верны все k. Первая показывает, может ли агент решить задачу, вторая — можно ли на него полагаться.
| Термин | Устойчивость ответа (pass^k) |
|---|---|
| Английский эквивалент | pass^k |
| Раздел | Агентные системы |
| История | Метрика τ-bench с июня 2024 года; в отраслевом тесте покупок — Visa, 05.11.2026 |
| Как цитировать | Устойчивость ответа (pass^k) // Агентономика. https://agentonomika.ru/terminy/ustoychivost-otveta/ |
| Лицензия | CC BY 4.0 — со ссылкой на эту страницу |