# Устойчивость ответа (pass^k)

Англ.: pass^k

> Устойчивость ответа (pass^k) — доля задач, которые ИИ-агент решил верно во всех k повторах подряд, а не хотя бы в одном из них.

Метрику pass^k предложили авторы бенчмарка τ-bench (июнь 2024 года), чтобы оценивать надёжность агента, а не удачу. Её пара — привычная pass@k: задача засчитана, если верна хотя бы одна из k попыток. Для агента, который тратит деньги, важна именно устойчивость: человек получает один ответ и не знает, повезло ли ему.

Разница бывает огромной. В бенчмарке агентной коммерции Visa (05.11.2026) модели в среднем проходили 57,2% попыток, а все три попытки подряд — только 34,2% сценариев.

По-русски для pass^k удобнее говорить «три из трёх» (при k = 3) или «устойчивость ответа». Так её называет методика checkeragent.ru: с версии 1.1 вопрос ассистенту задают трижды и засчитывают только совпавшие ответы.

## Вопросы и ответы

**Чем pass^k отличается от pass@k?**

pass@k — верна хотя бы одна из k попыток; pass^k — верны все k. Первая показывает, может ли агент решить задачу, вторая — можно ли на него полагаться.

## Связанные термины

- [Бенчмарк агентной коммерции](https://agentonomika.ru/terminy/benchmark-agentnoy-kommercii/)
- [Мультиагентная система](https://agentonomika.ru/terminy/multiagentnaya-sistema/)
- [Агентная коммерция](https://agentonomika.ru/terminy/agentnaya-kommerciya/)

Как цитировать: Устойчивость ответа (pass^k) // Агентономика. https://agentonomika.ru/terminy/ustoychivost-otveta/ (CC BY 4.0)