Der SereneReader Bot

Was unser Feed-Abrufdienst macht, wie er sich identifiziert und wie Sie ihn abweisen können.

Was SereneReader ist

SereneReader ist ein Feed-Reader. Wenn jemand Ihren RSS- oder Atom-Feed abonniert, rufen unsere Server ihn in deren Namen ab und zeigen ihnen neue Artikel.

Hat ein Feed-Eintrag kein Bild, rufen wir die Artikelseite einmalig ab, um das og:image-Tag für ein Vorschaubild auszulesen. Außerdem laden wir das Icon Ihrer Website für die Seitenleiste.

User-Agent

Jede Anfrage unserer Server identifiziert sich mit diesem String:

SereneReader/1.0 (+https://serenereader.com/bot)

Was wir abrufen

  • Feed-URLs, die Nutzer abonniert haben.
  • Artikelseiten für Einträge ohne Bild, in der Regel einmalig, wobei maximal 1 MB HTML gelesen wird, um das og:image-Tag zu finden.
  • Das Icon Ihrer Website: das in Ihrem Feed angegebene, /favicon.ico, /apple-touch-icon.png oder /apple-touch-icon-precomposed.png.

Wir crawlen keine Websites und folgen keinen Links von Artikelseiten. Neben abonnierten Feeds rufen wir einen Feed aus unserem Discover-Katalog ab, wenn ein angemeldeter Nutzer ihn in der Vorschau anzeigt und wir keine Artikel dafür gespeichert haben, sowie wenn wir einen Feed vor der Aufnahme in den Katalog prüfen.

Wie oft

Feeds werden nach einem festen Zeitplan aktualisiert. Sendet Ihr Server einen ETag- oder Last-Modified-Header, übermittelt die nächste Aktualisierung If-None-Match oder If-Modified-Since — ein unveränderter Feed kostet Sie dann nur eine 304-Antwort ohne Inhalt.

Artikelseiten rufen wir in der Regel einmalig für das Vorschaubild ab. Ein dauerhafter Fehler wie ein 404 wird 30 Tage lang gespeichert. Ein vorübergehender Fehler, z. B. ein Timeout oder ein 500-Fehler, wird bis zu drei weitere Male wiederholt – mit Abständen von etwa 30 Sekunden, 1 Minute und 2 Minuten –, danach wird die Seite mindestens eine Stunde lang nicht mehr abgerufen.

Ein 429- oder 503-Status signalisiert uns, eine Pause einzulegen. Bei Feeds verschiebt jeder fehlgeschlagene Abruf den nächsten Versuch weiter nach hinten, beginnend bei 15 Minuten mit Verdoppelung bis zu einem Tag; bei einem 429 warten wir zusätzlich so lange, wie Ihr Retry-After-Header angibt, oder länger. Bei Artikelseiten gilt ein 429 oder 503 als vorübergehender Fehler, sodass wir bis zu dreimal über etwa dreieinhalb Minuten wiederholen. Danach warten wir so lange, wie Ihr Retry-After angibt, maximal sieben Tage, oder sieben Tage, wenn Sie keinen senden.

robots.txt

Bevor unsere geplanten Fetcher eine Artikelseite oder das Icon Ihrer Website abrufen, lesen sie Ihre robots.txt und folgen Disallow-Regeln sowie crawl-delay für User-agent: SereneReader, mit Rückfall auf die *-Gruppe. Die Icon-Anfrage beim erstmaligen Hinzufügen Ihres Feeds prüft robots.txt nicht.

Feed-URLs werden anders behandelt. Ein Feed wird im Auftrag eines Nutzers abgerufen, der ihn abonniert hat; daher behandeln wir ihn wie Googles Feedfetcher: Die Disallow-Regeln der *-Gruppe gelten nicht dafür. Eine User-agent: SereneReader-Gruppe, die den Feed-Pfad verbietet, wird dennoch beachtet, auch beim erstmaligen Hinzufügen des Feeds. Unsere geplanten Fetcher berücksichtigen crawl-delay auch für Feeds, bis zu 60 Sekunden zwischen Anfragen (längere Verzögerungen werden als 60 Sekunden behandelt). Der einmalige Abruf beim erstmaligen Hinzufügen eines Feeds und unsere Prüfungen vor der Aufnahme eines Feeds in den Discover-Katalog warten crawl-delay nicht ab.

Ist Ihre robots.txt aufgrund eines Serverfehlers nicht erreichbar, behandeln wir dies als Erlaubnis zum Abruf. Ein Abonnement ist die ausdrückliche Zustimmung eines Lesers – eine fehlerhafte robots-Datei sollte seinen Feed nicht blockieren.

So blockieren Sie uns

Blockieren oder drosseln Sie den obigen User-Agent auf Ihrem Server oder Ihrer Firewall, oder weisen Sie uns in der robots.txt mit einer benannten Gruppe ab. Eine allgemeine Bot-Regel verhindert keine Feed-Abrufe; diese hier schon:

User-agent: SereneReader
Disallow: /

Das Blockieren Ihrer Feed-URL stoppt die Aktualisierungen für alle Abonnenten – nicht nur für einen einzelnen Leser.

Anfrage-Signaturen

Anfragen werden mit Web Bot Auth (HTTP-Nachrichtensignaturen, RFC 9421) signiert, damit Sie überprüfen können, dass sie von uns stammen. Unsere öffentlichen Schlüssel sind veröffentlicht unter:

https://serenereader.com/.well-known/http-message-signatures-directory

Ausgehende IP-Adressen

Geplante Feed-Aktualisierungen, Discover-Vorschauen und Vorschaubild-Abrufe stammen von diesen statischen Adressen. Einige Anfragen kommen von anderen Adressen: Die Feed-Prüfung und der Icon-Abruf beim erstmaligen Hinzufügen eines Feeds erfolgen von unseren Webservern, Prüfungen vor der Aufnahme eines Feeds in den Discover-Katalog kommen von unseren Admin-Tools, und unsere Staging-Umgebung sendet Anfragen mit demselben User-Agent. Eine IP-basierte Positivliste allein wird diese Anfragen ablehnen.

162.220.234.241
152.55.180.242
152.55.180.243

Maschinenlesbare Liste/bot/ips.json

Kontakt

Fragen zu unserem Traffic oder etwas, das wir beheben sollen? Schreiben Sie uns.