JobronaBot
JobronaBot — сканувальна програма за Jobrona. Вона читає відкриті вакансії, щоб люди могли знаходити ролі, а Jobrona вела перелік живих вакансій.
Що вона читає
Відкриті сторінки вакансій, які будь-який відвідувач може відкрити без облікового запису: сайти компаній, відкриті API вакансій постачальників ATS (Greenhouse, Ashby, Lever, Workable, SmartRecruiters та інші) та стрічки вакансій в RSS або sitemap. Вона бере лише те, що сама сторінка каже про вакансію: компанія, назва, місце, зарплата, коли вона вказана. Вона не входить в облікові записи, не створює їх, не заповнює форми відгуку і нічого не надсилає сайту.
Як вона називає себе
Кожен запит несе чесний підпис: JobronaBot/<version> (+https://jobrona.com/bot; bot@jobrona.com). З нашими випусками змінюється лише номер версії; ця сторінка і контакт не змінюються.
Як часто вона звертається
Токенні відра на кожен хост у нашому сервісі лімітів: не більше одного HTML-запиту на секунду (короткі порції), два запити до стрічок на секунду, три запити на секунду до відкритого API ATS. За лімітом запит чекає своєї черги. Якщо сайт відповідає 429 Too Many Requests, програма мовчить стільки, скільки просить заголовок Retry-After.
robots.txt
Перед будь-якою HTML-сторінкою програма читає /robots.txt цього сайту й дотримується його: закритий шлях ніколи не читається. Відкриті джерела даних читаються в межах лімітів вище. Сайт Jobrona відкритий будь-якому сканеру (див. /robots.txt).
Відмова від сканування
Напишіть на bot@jobrona.com або через сторінку контакту: назвіть свій сайт і що на ньому змінити (повільніше, менше запитів або не читати взагалі). Прохання зупинитися виконується першим, і ваш сайт більше не читається.
Відкрити сторінку контакту