Агенты подписывают запросы и игнорируют robots.txt
Дачари Кэри опубликовала новый срез визитов ИИ-агентов на свой сайт. 64% сигнальных записей несли подписи Web Bot Auth, а в апреле их не было вовсе. Самым активным агентом за неделю стал Claude Code, Google Antigravity сам запросил llms.txt, а ни один из отслеживаемых кодинг-агентов не обратился к robots.txt.
Что это значит
Чтобы сайт был готов к агентам, одного robots.txt мало: агенты начинают представляться подписями, а машиночитаемые файлы вроде llms.txt они ищут сами. Это стоит учесть в правилах антибот-защиты.
- Опубликовано
- Первоисточник
- dacharycarey.com
- Рубрики
- Готовность бизнеса, ИИ-агенты
- Теги
- #agentready #ИИагенты
- В Telegram
- пост в канале
- Автор
- Редакция Агентономики · CC BY 4.0