Le bot SereneReader

Ce que fait notre collecteur de flux, comment il se présente, et comment le bloquer.

Ce qu'est SereneReader

SereneReader est un lecteur de flux. Quand quelqu'un s'abonne à votre flux RSS ou Atom, nos serveurs le récupèrent en son nom et lui affichent les nouveaux articles.

Lorsqu'une entrée de flux ne contient pas d'image, nous récupérons la page de l'article une seule fois pour lire sa balise og:image et afficher une image d'aperçu. Nous récupérons également l'icône de votre site pour le panneau latéral.

User-Agent

Chaque requête émise par nos serveurs s'identifie avec cette chaîne :

SereneReader/1.0 (+https://serenereader.com/bot)

Ce que nous récupérons

  • Les URL de flux auxquelles des personnes se sont abonnées.
  • Les pages d'articles pour les entrées sans image, généralement une seule fois chacune, en lisant au maximum 1 Mo de HTML pour trouver la balise og:image.
  • L'icône de votre site : celle déclarée dans votre flux, /favicon.ico, /apple-touch-icon.png ou /apple-touch-icon-precomposed.png.

Nous n'explorons pas les sites ni ne suivons les liens depuis les pages d'articles. En dehors des flux abonnés, nous récupérons un flux de notre catalogue Discover lorsqu'un lecteur connecté le prévisualise et que nous n'avons aucun article stocké pour celui-ci, ainsi que lors de nos vérifications avant d'ajouter un flux au catalogue.

Fréquence

Les flux sont actualisés selon un calendrier. Lorsque votre serveur envoie un en-tête ETag ou Last-Modified, l'actualisation suivante transmet If-None-Match ou If-Modified-Since, de sorte qu'un flux inchangé ne génère qu'une réponse 304 sans corps.

Nous récupérons normalement chaque page d'article une seule fois, pour son image d'aperçu. Un échec permanent tel qu'une erreur 404 est mémorisé pendant 30 jours. Un échec temporaire, comme un délai d'expiration ou une erreur 500, est réessayé jusqu'à trois fois, à environ 30 secondes, 1 minute et 2 minutes d'intervalle, puis la page est laissée au repos pendant au moins une heure.

Un code 429 ou 503 nous indique de ralentir. Pour les flux, chaque échec de rafraîchissement repousse le suivant, en commençant à 15 minutes et en doublant jusqu'à un jour ; sur un 429, nous attendons aussi aussi longtemps que votre en-tête Retry-After le demande, voire plus. Pour les pages d'articles, un 429 ou 503 est traité comme un échec temporaire, donc nous pouvons réessayer jusqu'à trois fois sur environ trois minutes et demie. Ensuite, nous attendons aussi longtemps que votre Retry-After l'indique, jusqu'à sept jours, ou sept jours si vous n'en envoyez pas.

robots.txt

Avant que nos robots planifiés ne demandent une page d'article ou l'icône de votre site, ils lisent votre robots.txt et respectent les règles Disallow ainsi que le crawl-delay pour User-agent: SereneReader, en se rabattant sur le groupe *. La requête d'icône effectuée lors du premier ajout de votre flux ne vérifie pas le robots.txt.

Les URL de flux sont différentes. Un flux est récupéré pour le compte d'un lecteur qui s'y est abonné ; nous le traitons donc comme le fait le Feedfetcher de Google : les règles Disallow du groupe * ne lui sont pas appliquées. Un groupe User-agent: SereneReader qui interdit le chemin du flux est néanmoins respecté, y compris lors du premier ajout du flux. Nos robots planifiés respectent également le crawl-delay pour les flux, jusqu'à 60 secondes entre les requêtes (un délai plus long est traité comme 60 secondes). La récupération unique lors du premier ajout d'un flux, et nos vérifications avant d'ajouter un flux au catalogue Discover, n'attendent pas le crawl-delay.

Si votre robots.txt est inaccessible en raison d'une erreur serveur, nous considérons que la récupération est autorisée. Un abonnement est un consentement explicite de la part d'un lecteur, et un fichier robots défaillant ne devrait pas interrompre son flux.

Comment nous bloquer

Bloquez ou limitez le User-Agent ci-dessus au niveau de votre serveur ou pare-feu, ou écartez-nous dans robots.txt avec un groupe qui nous désigne. Une règle visant tous les bots ne bloque pas les récupérations de flux ; celle-ci, si :

User-agent: SereneReader
Disallow: /

Bloquer l'URL de votre flux arrête les actualisations pour tous les abonnés, pas seulement pour un lecteur.

Signatures de requêtes

Les requêtes sont signées avec Web Bot Auth (signatures de messages HTTP, RFC 9421) afin que vous puissiez vérifier qu'elles proviennent de nous. Nos clés publiques sont publiées à l'adresse :

https://serenereader.com/.well-known/http-message-signatures-directory

Adresses IP sortantes

Les actualisations planifiées des flux, les aperçus Discover et les récupérations d'images de prévisualisation proviennent de ces adresses statiques. Certaines requêtes viennent d'autres adresses : la vérification du flux et la récupération d'icône lors du premier ajout d'un flux sont effectuées depuis nos serveurs web, les vérifications avant l'ajout d'un flux au catalogue Discover proviennent de nos outils d'administration, et notre environnement de staging envoie des requêtes avec le même User-Agent. Une liste d'autorisation par IP seule rejettera ces requêtes.

162.220.234.241
152.55.180.242
152.55.180.243

Liste lisible par machine/bot/ips.json

Contact

Des questions sur notre trafic, ou quelque chose à nous signaler ? Contactez-nous.