Crawler
AusschauBot liest öffentliche Daten. Nach festen Regeln.
Ausschau verbindet amtliche Veröffentlichungen zu öffentlichen Aufträgen in Österreich. Der AusschauBot ruft diese Daten ab, vorrangig über offizielle Schnittstellen, Datensätze und Feeds.
So erkennen Sie ihn
Sein User-Agent beginnt so:
AusschauBot/1.0 (+https://ausschau.at/bot; responsible public-data crawler)Beim Abruf von Websites und Wikidata folgt eine Kontaktadresse, etwa „(+mailto:…)“. So erreichen Sie uns direkt aus Ihren Server-Protokollen.
Sein Produkt-Token für robots.txt ist AusschauBot.
Seine Regeln
Amtliche Quellen zuerst
- Offizielle Schnittstellen, Datensätze und Feeds haben Vorrang vor Webseiten.
- Welche Quellen das sind, mit Lizenz und Abrufhäufigkeit, steht in der Datenbasis.
Rücksicht auf Ihre Server
- Abstand und Zahl gleichzeitiger Anfragen je Host werden zentral begrenzt, auch wenn mehrere Worker laufen.
- Auf „429 Too Many Requests“ und Retry-After folgt eine Pause.
- Antworten sind in der Größe begrenzt; jede Weiterleitung wird erneut geprüft.
Websites von Organisationen
- Diese Quelle ist zunächst ausgeschaltet und wird erst nach einer Prüfung freigegeben.
- Nur die geprüfte eigene Domain einer Organisation, etwa über die Firmenbuchnummer, UID oder ZVR-Zahl im Impressum.
- robots.txt (RFC 9309) und Vorbehalte gegen Text- und Data-Mining sind verbindlich: HTTP-Header, HTML-Meta-Angabe, /.well-known/tdmrep.json, noai und ai.txt.
- Mindestens 3 Sekunden zwischen zwei Anfragen an einen Host, oder Ihr längeres Crawl-delay.
- Höchstens 50 Seiten je Organisation in 30 Tagen, nur HTML. Kontakt-, Team- und Datenschutzseiten werden nie abgerufen.
- Gespeichert werden abgeleitete Angaben mit Auszügen von höchstens 300 Zeichen und Link zur Seite; das HTML höchstens 7 Tage.
Aussperren
Mit diesem Eintrag in Ihrer robots.txt liest der AusschauBot Ihre Website nicht mehr:
User-agent: AusschauBot
Disallow: /Schließen Sie ihn später aus oder setzen Sie einen Vorbehalt, löschen wir die gespeicherten Kopien Ihrer Seiten, ziehen die daraus abgeleiteten Angaben zurück und entfernen das Website-Profil.