El bot de SereneReader

Qué es SereneReader

SereneReader es un lector de feeds. Cuando alguien se suscribe a tu feed RSS o Atom, nuestros servidores lo obtienen en su nombre y le muestran los artículos nuevos.

Cuando una entrada de fuente no tiene imagen, obtenemos la página del artículo una vez para leer su etiqueta og:image y obtener una imagen de vista previa. También obtenemos el icono de su sitio para la barra lateral.

User-Agent

Cada solicitud de nuestros servidores se identifica con esta cadena:

SereneReader/1.0 (+https://serenereader.com/bot)

Qué consultamos

• Las URL de feeds a las que la gente se ha suscrito.
• Páginas de artículos para entradas sin imagen, normalmente una vez cada una, leyendo como máximo 1 MB de HTML para encontrar la etiqueta og:image.
• El icono de su sitio: el que declara su fuente, /favicon.ico, /apple-touch-icon.png o /apple-touch-icon-precomposed.png.

No rastreamos sitios ni seguimos enlaces desde páginas de artículos. Además de las fuentes suscritas, obtenemos una fuente de nuestro catálogo Discover cuando un lector autenticado la previsualiza y no tenemos artículos almacenados para ella, y al verificar una fuente antes de añadirla al catálogo.

Con qué frecuencia

Los feeds se actualizan según un horario. Cuando tu servidor envía una cabecera ETag o Last-Modified, la siguiente actualización incluye If-None-Match o If-Modified-Since, de modo que un feed sin cambios solo genera un 304 sin cuerpo.

Normalmente obtenemos cada página de artículo una vez, para su imagen de vista previa. Un error permanente, como un 404, se recuerda durante 30 días. Uno temporal, como un tiempo de espera agotado o un error 500, se reintenta hasta tres veces más, con intervalos de unos 30 segundos, 1 minuto y 2 minutos, y luego la página se deja en paz durante al menos una hora.

Un 429 o 503 nos indica que debemos esperar. Para las fuentes, cada actualización fallida retrasa la siguiente, comenzando en 15 minutos y duplicándose hasta un día; ante un 429, también esperamos aproximadamente lo que indica su encabezado Retry-After, o más. Para páginas de artículos, un 429 o 503 se trata como error temporal, por lo que podemos reintentar hasta tres veces en unos tres minutos y medio. Después esperamos lo que indique su Retry-After, hasta siete días, o siete días si no envía ninguno.

robots.txt

Antes de que nuestros rastreadores programados soliciten una página de artículo o el icono de su sitio, leen su robots.txt y siguen las reglas Disallow y crawl-delay para User-agent: SereneReader, recurriendo al grupo *. La solicitud de icono que se realiza cuando alguien añade su fuente por primera vez no verifica robots.txt.

Las URLs de fuentes son diferentes. Una fuente se obtiene en nombre de un lector que se suscribió a ella, por lo que la tratamos como lo hace el Feedfetcher de Google: las reglas Disallow del grupo * no se aplican. Un grupo User-agent: SereneReader que prohíba la ruta de la fuente sí se respeta, incluso cuando alguien la añade por primera vez. Nuestros rastreadores programados también respetan crawl-delay para fuentes, hasta 60 segundos entre solicitudes (un retraso mayor se trata como 60 segundos). La obtención única al añadir una fuente por primera vez, y las verificaciones antes de añadirla al catálogo Discover, no esperan crawl-delay.

Si su robots.txt es inaccesible por un error del servidor, lo tratamos como si permitiera la solicitud. Una suscripción es el consentimiento explícito de un lector, y un archivo robots inestable no debería interrumpir su feed.

Cómo bloquearnos

Bloquee o limite al User-Agent indicado en su servidor o firewall, o rechácenos en robots.txt con un grupo que nos nombre. Una regla para todos los bots no detiene las solicitudes de feed; esta sí lo hace:

User-agent: SereneReader
Disallow: /

Bloquear la URL de su feed detiene las actualizaciones para todos los suscriptores, no solo para un lector.

Firmas de solicitud

Las solicitudes se firman con Web Bot Auth (firmas de mensajes HTTP, RFC 9421) para que pueda verificar que provienen de nosotros. Nuestras claves públicas están publicadas en:

https://serenereader.com/.well-known/http-message-signatures-directory

Direcciones IP de salida

Las actualizaciones programadas de fuentes, las vistas previas de Discover y las obtenciones de imágenes de vista previa provienen de estas direcciones estáticas. Algunas solicitudes provienen de otras direcciones: la verificación de fuente y la obtención de icono al añadir una fuente por primera vez provienen de nuestros servidores web, las verificaciones antes de añadir una fuente al catálogo Discover provienen de nuestras herramientas de administración, y nuestro entorno de pruebas envía solicitudes con el mismo User-Agent. Una lista de permitidos solo por IP rechazará esas solicitudes.

162.220.234.241
152.55.180.242
152.55.180.243

Lista legible por máquina/bot/ips.json

Contacto

¿Preguntas sobre nuestro tráfico o algo que desea que corrijamos? Escríbanos.