BandejaBot
BandejaBot — программа, которой Бандеха проверяет цены и наличие ракеток в магазинах. Вот как она работает.
Что скачивает
Только страницы товаров, которые уже есть в нашем каталоге: карточку конкретной ракетки или, у некоторых магазинов, YML-фид с ценами. Бот не обходит сайт целиком и не индексирует другие страницы.
Как часто
Раз в сутки, и не чаще одного запроса в 3 секунды на один и тот же сайт — так, чтобы не заметно нагружать магазин.
Robots.txt
Бот всегда сначала читает robots.txt сайта и уважает его правила: если каталог товаров закрыт для роботов, мы туда не заходим.
Как запретить
Добавь в robots.txt своего сайта:
User-agent: BandejaBot Disallow: /
Правило подействует при следующей проверке; предложения с сайта пропадут из каталога, когда истечёт срок действия уже собранных цен.