JobronaBot
JobronaBot — сканировщик за Jobrona. Он читает открытые вакансии, чтобы люди могли находить роли, а Jobrona вела каталог живых вакансий.
Что он читает
Открытые страницы вакансий, которые любой посетитель может открыть без личной записи: сайты компаний, открытые API вакансий у ATS-поставщиков (Greenhouse, Ashby, Lever, Workable, SmartRecruiters и другие) и ленты вакансий в RSS или sitemap. Он берёт только то, что сама страница говорит о вакансии: компания, название, место, зарплата, когда она дана. Он не входит в аккаунты, не создаёт их, не заполняет формы отклика и ничего не отправляет сайту.
Как он называет себя
Каждый запрос несёт честную подпись: JobronaBot/<version> (+https://jobrona.com/bot; bot@jobrona.com). С нашими выпусками меняется только номер версии; эта страница и контакт не меняются.
Как часто он обращается
Токенные вёдра на каждый хост в нашем сервисе лимитов: не больше одного HTML-запроса в секунду (короткие очереди), два запроса к лентам в секунду, три запроса в секунду к открытому API ATS. За лимитом запрос ждёт своей очереди. Если сайт отвечает 429 Too Many Requests, бот молчит столько, сколько просит заголовок Retry-After.
robots.txt
Перед любой HTML-страницей бот читает /robots.txt этого сайта и держится его: закрытый путь никогда не читается. Открытые источники данных читаются в пределах лимитов выше. Сайт Jobrona открыт каждому сканировщику (см. /robots.txt).
Отказ от сканирования
Напишите на bot@jobrona.com или через страницу контакта: назовите свой сайт и что на нём изменить (медленнее, меньше запросов или не читать вовсе). Просьба остановиться выполняется первой, и ваш сайт больше не читается.
Открыть страницу контакта