De SereneReader bot

Wat SereneReader is

SereneReader is een feedlezer. Wanneer iemand zich abonneert op uw RSS- of Atom-feed, halen onze servers die namens hen op en tonen nieuwe artikelen.

Als een feeditem geen afbeelding heeft, halen we de artikelpagina eenmalig op om de og:image-tag te lezen voor een voorbeeldafbeelding. We halen ook het pictogram van je site op voor de zijbalk.

User-Agent

Elk verzoek van onze servers identificeert zichzelf met deze string:

SereneReader/1.0 (+https://serenereader.com/bot)

Wat we ophalen

• Feed-URL's waarop mensen zijn geabonneerd.
• Artikelpagina's voor items zonder afbeelding, meestal eenmalig, waarbij maximaal 1 MB HTML wordt gelezen om de og:image-tag te vinden.
• Het pictogram van uw site: het pictogram dat uw feed opgeeft, /favicon.ico, /apple-touch-icon.png of /apple-touch-icon-precomposed.png.

We crawlen geen sites en volgen geen links vanuit artikelpagina's. Naast geabonneerde feeds halen we een feed op uit onze Discover-catalogus wanneer een ingelogde lezer er een voorbeeld van bekijkt en we geen artikelen hebben opgeslagen, en wanneer we een feed controleren voordat we deze aan de catalogus toevoegen.

Hoe vaak

Feeds worden volgens een schema vernieuwd. Wanneer uw server een ETag- of Last-Modified-header stuurt, verzendt de volgende vernieuwing If-None-Match of If-Modified-Since, zodat een ongewijzigde feed slechts een 304 kost zonder body.

Elke artikelpagina wordt normaal gesproken eenmalig opgehaald, voor de voorbeeldafbeelding. Een permanente fout, zoals een 404, wordt 30 dagen onthouden. Een tijdelijke fout, zoals een time-out of een 500-fout, wordt tot drie keer opnieuw geprobeerd — na ongeveer 30 seconden, 1 minuut en 2 minuten — waarna de pagina ten minste een uur met rust wordt gelaten.

Een 429 of 503 geeft aan dat we moeten wachten. Voor feeds verschuift elke mislukte vernieuwing de volgende verder naar achteren, beginnend bij 15 minuten en verdubbeld tot maximaal een dag; bij een 429 wachten we ook ongeveer zo lang als uw Retry-After-header aangeeft, of langer. Voor artikelpagina's telt een 429 of 503 als een tijdelijke fout, dus we kunnen tot drie keer opnieuw proberen over ongeveer drieënhalve minuut. Daarna wachten we zo lang als uw Retry-After aangeeft, tot maximaal zeven dagen, of zeven dagen als u geen header stuurt.

robots.txt

Voordat onze geplande fetchers een artikelpagina of het pictogram van uw site opvragen, lezen ze uw robots.txt en volgen ze Disallow-regels en crawl-delay voor User-agent: SereneReader, met * als terugvalgroep. Het pictogramverzoek bij het eerste toevoegen van uw feed controleert robots.txt niet.

Feed-URL's werken anders. Een feed wordt opgehaald namens een lezer die erop is geabonneerd, dus we behandelen hem zoals Google's Feedfetcher dat doet: de Disallow-regels van de *-groep gelden er niet voor. Een User-agent: SereneReader-groep die het feedpad niet toestaat, wordt wel gerespecteerd, ook bij het eerste toevoegen van de feed. Onze geplande fetchers respecteren ook crawl-delay voor feeds, tot 60 seconden tussen verzoeken (een langere vertraging wordt behandeld als 60 seconden). Het eenmalige ophalen bij het eerste toevoegen van een feed en onze controles vóór toevoeging aan de Discover-catalogus wachten niet op crawl-delay.

Als uw robots.txt onbereikbaar is door een serverfout, behandelen we dit als toestemming om op te halen. Een abonnement is expliciete toestemming van een lezer — een onbetrouwbaar robots-bestand mag hun feed niet tegenhouden.

Hoe u ons kunt blokkeren

Blokkeer of beperk de bovenstaande User-Agent op uw server of firewall, of wijs ons af in robots.txt met een groep die ons benoemt. Een regel voor alle bots stopt geen feed-ophaalverzoeken; deze wel:

User-agent: SereneReader
Disallow: /

Het blokkeren van uw feed-URL stopt vernieuwingen voor iedereen die erop is geabonneerd, niet slechts voor één lezer.

Verzoekhandtekeningen

Verzoeken worden ondertekend met Web Bot Auth (HTTP-berichthandtekeningen, RFC 9421), zodat u kunt verifiëren dat ze van ons afkomstig zijn. Onze openbare sleutels zijn gepubliceerd op:

https://serenereader.com/.well-known/http-message-signatures-directory

Uitgaande IP-adressen

Geplande feed-verversingen, Discover-voorbeelden en voorbeeldafbeeldingen komen van deze vaste adressen. Sommige verzoeken komen van andere adressen: de feedcontrole en het pictogramverzoek bij het eerste toevoegen van een feed komen van onze webservers, controles vóór toevoeging aan de Discover-catalogus komen van onze beheerhulpmiddelen, en onze testomgeving stuurt verzoeken met dezelfde User-Agent. Een allowlist op basis van alleen IP zal die verzoeken weigeren.

162.220.234.241
152.55.180.242
152.55.180.243

Machineleesbare lijst/bot/ips.json

Contact

Vragen over ons verkeer, of iets dat u wilt laten aanpassen? Neem contact op.