Google, robots.txt protokolünü internet standardı haline getirmek istiyor. robots.txt dosyalarını ayrıştıran kütüphane açık kaynak kodlu olarak paylaşıldı. İşte Detaylar.
Arama robotları, bir sitenin hangi kısımlarını inceleyip hangilerini atlayacağını öğrenmek amacıyla robots.txt dosyasından yararlanıyor. REP (Robots Exclusion Protocol) olarak adlandırılan robots.txt protokolü, Google tarafından standart haline getirilmeye çalışıyor. Bu amaçla robots.txt ayrıştırıcı kütüphanesi açık kaynak olarak paylaşıldı.
Robots.txt ayrıştırması standart hale geliyor
25 yıllık REP, standart gibi gözükse de farklı web geliştiriciler robots.txt dosyasını ayrıştırırken farklı yöntemler kullanabiliyor. Haliyle bu da karışıklığa sebebiyet veriyor. Bazı arama robotlarının da boyutları yüzlerce megabayta varan robots.txt dosyalarını okumakta zorlanması durumları zorlaştıran bir başka mesele. Kısacası Google, kendi ayrıştırıcısını açık kaynak kodlu yayınlayarak bu tarz sorunların ortadan kalkıp, belli bir standardın oluşmasını istiyor.
Google, birçok iş koluna ayrılmış olsa da arama motoru kısmı şirketin temelini oluşturuyor. Sitelerin indekslenip arama sonuçlarında çıkması da Googlebot isimli arama robotu sayesinde sağlanıyor. Farklı geliştiricilerin de kendi arama robotları var. Robots.txt ayrıştırması için Google’ın yayınladığı bu kütüphane kullanılırsa, arama robotlarının da siteleri indekslemesi çok daha rahat olacak.
Tabii ki geliştiriciler tarafından benimsenmediği sürüce standart haline gelmesi mümkün değil. Ancak Google “Web site sahiplerinin ve geliştiricilerin internet deneyimini geliştirmeye odaklanıp, arama robotlarını nasıl kontrol edecekleriyle uğraşmamalarını istiyoruz.” açıklamasında bulundu. Geliştiricilerden kütüphane hakkında geri dönüşler bekleniyor. Google tarafından yayınlanan açık kaynak kütüphaneye
bu bağlantı üzerinden ulaşabilirsiniz.Kaynak: https://www.engadget.com/2019/07/01/google-open-sources-robots-txt-tool/
