SereneReader botu

Akış toplayıcımızın ne yaptığı, kendini nasıl tanıttığı ve nasıl engellenebileceği.

SereneReader nedir

SereneReader bir akış okuyucusudur. Birisi RSS veya Atom akışınıza abone olduğunda, sunucularımız akışı onun adına çeker ve yeni makaleleri gösterir.

Bir besleme girdisinde görsel yoksa önizleme görseli için og:image etiketini okumak amacıyla makale sayfasını bir kez çekeriz. Ayrıca kenar çubuğu için sitenizin simgesini de alırız.

User-Agent

Sunucularımızdan gelen her istek şu dizgeyle kendini tanıtır:

SereneReader/1.0 (+https://serenereader.com/bot)

Ne çekeriz

  • Kişilerin abone olduğu akış URL'leri.
  • Görseli olmayan girdiler için makale sayfaları; genellikle her biri bir kez, og:image etiketini bulmak için en fazla 1 MB HTML okunur.
  • Sitenizin simgesi: beslemenizin belirttiği, /favicon.ico, /apple-touch-icon.png veya /apple-touch-icon-precomposed.png.

Siteleri taramaz ya da makale sayfalarındaki bağlantıları izlemeyiz. Abone olunan beslemelerin dışında, oturum açmış bir okuyucu Keşfet kataloğundaki bir beslemeyi önizlediğinde ve o besleme için depolanmış makalemiz yoksa ve bir beslemeyi kataloğa eklemeden önce kontrol ederken beslemeyi çekeriz.

Ne sıklıkta

Akışlar belirli bir programa göre yenilenir. Sunucunuz bir ETag veya Last-Modified başlığı gönderdiğinde, bir sonraki yenileme If-None-Match veya If-Modified-Since ile yapılır; böylece değişmemiş bir akış için yalnızca 304 yanıtı alınır, içerik aktarılmaz.

Makale sayfalarını önizleme görseli için normalde bir kez çekeriz. 404 gibi kalıcı bir hata 30 gün boyunca hatırlanır. Zaman aşımı veya 500 hatası gibi geçici bir hata ise yaklaşık 30 saniye, 1 dakika ve 2 dakika arayla en fazla üç kez daha denenir; ardından sayfa en az bir saat boyunca bırakılır.

429 veya 503 yanıtı geri çekilmemizi bildirir. Beslemeler için her başarısız yenileme bir sonrakini ötelemektedir; 15 dakikadan başlayarak en fazla bir güne kadar iki katına çıkar. 429 durumunda Retry-After başlığınızın belirttiği süre kadar veya daha uzun bekleriz. Makale sayfaları için 429 veya 503, geçici hata sayıldığından yaklaşık üç buçuk dakika içinde üç kez daha denenebilir. Sonrasında Retry-After başlığının belirttiği süre kadar, en fazla yedi gün beklenir; başlık gönderilmezse yedi gün beklenir.

robots.txt

Zamanlanmış çekicilerimiz bir makale sayfasını veya sitenizin simgesini talep etmeden önce robots.txt dosyanızı okur ve User-agent: SereneReader için Disallow kurallarını ve crawl-delay değerini uygular; eşleşme yoksa * grubuna geri düşer. Birisi beslemenizi ilk eklediğinde yapılan simge isteği robots.txt'yi kontrol etmez.

Besleme URL'leri farklı davranır. Bir besleme, ona abone olan bir okuyucu adına çekilir; bu nedenle Google'ın Feedfetcher'ının yaptığı gibi davranırız: * grubunun Disallow kuralları beslemeye uygulanmaz. Besleme yolunu engelleyen bir User-agent: SereneReader grubu, birinin beslemeyi ilk eklediği durum dahil yine de dikkate alınır. Zamanlanmış çekicilerimiz beslemeler için crawl-delay değerine de uyar; istekler arasında en fazla 60 saniye (daha uzun bir gecikme 60 saniye olarak değerlendirilir). Birinin bir beslemeyi ilk eklediğinde yapılan tek seferlik çekme ve bir beslemeyi Keşfet kataloğuna eklemeden önce yaptığımız kontroller crawl-delay'i beklemez.

robots.txt dosyanıza sunucu hatası nedeniyle ulaşamazsak, getirmeye izin verildiği şeklinde değerlendiririz. Abonelik, okuyucudan alınan açık bir onayıdır; kararsız bir robots dosyası onların feed'ini durdurmamalıdır.

Bizi nasıl engellersiniz

Yukarıdaki User-Agent'ı sunucunuzda veya güvenlik duvarınızda engelleyin ya da hız sınırı uygulayın; ya da robots.txt'de bizi adıyla belirten bir grupla reddedebilirsiniz. Her bot için geçerli bir kural feed getirmelerini durdurmaz; şu kural durdurur:

User-agent: SereneReader
Disallow: /

Besleme URL'nizi engellemek, yalnızca bir okuyucu için değil, o beslemeye abone olan herkes için yenilemeyi durdurur.

İstek imzaları

İstekler, bizden geldiğini doğrulayabilmeniz için Web Bot Auth (HTTP ileti imzaları, RFC 9421) ile imzalanır. Genel anahtarlarımız şu adreste yayımlanmaktadır:

https://serenereader.com/.well-known/http-message-signatures-directory

Giden IP adresleri

Zamanlanmış besleme yenilemeleri, Keşfet önizlemeleri ve önizleme görseli çekimleri bu statik adreslerden gelir. Bazı istekler farklı adreslerden gelir: birinin beslemeyi ilk eklediğinde yapılan besleme kontrolü ve simge çekimi web sunucularımızdan, bir beslemeyi Keşfet kataloğuna eklemeden önce yapılan kontroller yönetim araçlarımızdan gelir; hazırlık ortamımız da aynı User-Agent ile istek gönderir. Yalnızca IP'ye dayalı izin listesi bu istekleri reddeder.

162.220.234.241
152.55.180.242
152.55.180.243

Makine tarafından okunabilir liste/bot/ips.json

İletişim

Trafiğimizle ilgili sorularınız mı var ya da düzeltmemizi istediğiniz bir şey mi? Bize ulaşın.