JobronaBot
JobronaBot ist der Crawler hinter Jobrona. Er liest öffentliche Stellenangebote, damit Menschen offene Rollen finden und Jobrona ein Verzeichnis echter Stellen führt.
Was er lädt
Öffentliche Stellen-Seiten, die jeder Besucher ohne Konto öffnen kann: Websites von Unternehmen, die öffentlichen Stellen-APIs von ATS-Anbietern (Greenhouse, Ashby, Lever, Workable, SmartRecruiters und andere) und Stellen-Feeds in RSS oder Sitemaps. Er übernimmt nur, was die Seite selbst zum Job sagt: Unternehmen, Titel, Ort, Gehalt, wenn angegeben. Er meldet sich nicht an, erstellt keine Konten, füllt keine Bewerbungsformulare aus und sendet nie etwas an eine Website.
Wie er sich nennt
Jede Anfrage nennt sich selbst: JobronaBot/<version> (+https://jobrona.com/bot; bot@jobrona.com). Nur die Versionsnummer ändert sich mit unseren Veröffentlichungen; diese Seite und der Kontakt bleiben gleich.
Wie oft er fragt
Token-Buckets pro Host in unserem Rate-Limit-Dienst: höchstens eine HTML-Anfrage pro Sekunde (kurze Schübe), zwei Feed-Anfragen pro Sekunde, drei Anfragen pro Sekunde an eine öffentliche ATS-API. Über dem Limit wartet die Anfrage, bis sie drankommt. Antwortet eine Website mit 429 Too Many Requests, schweigt der Bot so lange, wie der Retry-After-Kopf verlangt.
robots.txt
Vor jeder HTML-Seite liest der Bot /robots.txt der Website und hält sich daran: eine ausgeschlossene Seite wird nie geladen. Öffentliche Daten-Schnittstellen liest er innerhalb der Limits oben. Die eigene Website ist für jeden Crawler offen (siehe /robots.txt).
Opt-out
Schreiben Sie an bot@jobrona.com oder über die Kontaktseite: nennen Sie Ihre Website und was gelten soll (langsamerer Takt, kleineres Limit oder gar kein Laden). Der Wunsch, nicht mehr geladen zu werden, gilt zuerst — Ihre Website wird dann nicht wieder angesteuert.
Zur Kontaktseite