Robots.txt Nedir? Arama Motoru Botlarını Yönetme Rehberi

Robots.txt nedir sorusu, bir web sitesinin arama motorları ve tarayıcı botlarla iletişim kurmasını sağlayan temel metin dosyasını ifade eder. 1994 yılından bu yana kullanılan bu standart metin dosyası, web sitenizin hangi bölümlerinin taranıp hangilerinin taranmayacağını belirlemenize olanak tanır. Doğru bir yapılandırma, sitenizin SEO performansını korumak ve sunucu kaynaklarını verimli kullanmak için hayati önem taşır.

Robots.txt Nedir ve Nasıl Çalışır?

Arama Motoru Engelleme Protokolü (Robots Exclusion Protocol) olarak bilinen standart, web sitelerinin kök dizinine yerleştirilen ve tarayıcı robotlara talimat veren bir dosyadır. Bir arama motorı botu sitenizi ziyaret ettiğinde, ilk olarak kök adreste yer alan robots.txt dosyasını arar. Örneğin, bir bot sitenizdeki sayfaları taramadan önce https://www.example.com/robots.txt adresini kontrol eder. Dosya mevcutsa, içerisindeki kuralları okur ve bu talimatlara göre hareket eder. Dosyanın bulunmadığı durumlarda ise bot, tüm web sitesinin taranmasına izin verildiğini varsayar.

Protokol, 1994 yılında Martijn Koster tarafından sunucuların aşırı yüklenmesini önlemek amacıyla önerilmiştir. 2022 yılında RFC 9309 standart kuralı olarak internet ekosisteminde resmi bir yere kavuşmuştur. Arama motorları ve saygın web tarayıcıları bu dosyadaki kurallara gönüllü olarak uyarlar. Ancak bu dosya kesin bir erişim engelleme mekanizması değildir; kötü niyetli botlar veya bazı veri kazıma yazılımları bu kuralları göz ardı edebilir.

Bir sayfanın robots.txt ile engellenmesi, o sayfanın arama sonuçlarında hiçbir şekilde görünmeyeceği anlamına gelmez. Engellenen bir sayfaya internet üzerindeki başka bir adresten güçlü bağlantılar veriliyorsa, arama motorları sayfa içeriğini tarayamasa bile yalnızca URL başlığı ve dış verilerle bu sayfayı dizine ekleyebilir. Sayfaların tamamen arama sonuçlarından çıkarılması hedefleniyorsa, SEO optimizasyon süreçlerinde noindex etiketleri veya HTTP yanıt başlıkları tercih edilmelidir.

Robots.txt Dosyası Nasıl Oluşturulur?

Bir robots.txt dosyası oluşturmak teknik açıdan oldukça basittir. Düz metin (plain text) biçiminde düzenlenmesi ve UTF-8 karakter kodlamasıyla kaydedilmesi yeterlidir. Dosya adı tamamen küçük harflerle ‘robots.txt’ şeklinde yazılmalıdır. Hazırlanan dosya web sunucunuzun ana kök dizinine (public_html, www root vb.) yüklenir.

Birden fazla alt alan adına (subdomain) sahip sitelerde, her bir alt alan adının kendi robots.txt dosyasına sahip olması şarttır. Yani blog.example.com adresi için geçerli olan kurallar, example.com ana alan adının robots.txt dosyasından etkilenmez. Aynı kural farklı bağlantı noktaları (port) ve HTTPS/HTTP protokol farklılıkları için de geçerlidir.

Dosyanızı oluşturduktan sonra dizinleme hatalarını önlemek ve kuralların doğru çalışıp çalışmadığını denetlemek kritik bir adımdır. Hazırladığınız dosyayı test etmek için Google Search Console kullanımı araçlarından veya çevrimiçi doğrulama yazılımlarından faydalanabilirsiniz. Bu araçlar, yazdığınız engelleme kurallarının hedeflediğiniz sayfaları etkileyip etkilemediğini açıkça gösterir.

Temel Komutlar ve Kullanım Örnekleri

Robots.txt dosyası belirli direktifler (komutlar) ve değerler kümesinden oluşur. Standart dosya yapısında en sık kullanılan komutlar şunlardır:

• User-agent: kuralın hangi bot veya arama motorı için geçerli olduğunu belirtir. Yıldız (*) simgesi tüm botları kapsar.
• Disallow: botların erişmesine izin verilmeyen dizin veya dosya yolunu tanımlar.
• Allow: engellenmiş bir dizin içerisinde özel bir alt sayfaya izin vermek için kullanılır.
• Sitemap: sitenin XML site haritasının tam URL adresini gösterir.

Aşağıdaki tabloda en yaygın robots.txt kullanım senaryoları ve karşılık gelen komut yapıları özetlenmiştir:

Standart komutların dışında bazı arama motorları desteklediği özel komutlar da sunar. Örneğin Yandex ve Bing, botların sunucuya yapacağı istekler arasındaki süreyi düzenleyen ‘Crawl-delay’ komutunu destekler. Google ise bu komutu göz ardı eder ve tarama hızının yönetimini arama konsolu üzerinden sunar.

Yapay Zeka Botları ve Robots.txt İlişkisi

Üretken yapay zeka modellerinin yaygınlaşmasıyla birlikte, web sitelerindeki verilerin eğitim amaçlı toplanması yeni bir tartışma konusu haline gelmiştir. Birçok içerik üreticisi ve yayıncı, kendi özgün içeriklerinin yapay zeka sistemleri tarafından taranmasını istememektedir. Bu noktada robots.txt, yapay zeka botlarını engellemek için ana kontrol mekanizması haline gelmiştir.

Örneğin OpenAI firmasının verileri toplamak için kullandığı ‘GPTBot’ veya Google’ın eğitim botu ‘Google-Extended’, robots.txt dosyasındaki kurallara uymaktadır. Yayıncılar, bu botların kullanıcı adlarını (User-agent) dosyaya ekleyerek içeriklerinin taranmasını engelleyebilirler. Güncel gelişmelere göre büyük medya kuruluşları ve blog platformları bu yolla tarayıcılara sınır getirmektedir. Yapay zeka ve içerik koruma konularındaki son düzenlemeler için Meta yapay zeka veri kazıma kararları başlıklı incelememize göz atabilirsiniz.

Ancak tüm veri kazıma botlarının bu protokole uymadığını bilmek önemlidir. Bazı yapay zeka botları isim değiştirerek veya kuralları atlatarak içerik çekmeye devam edebilir. Cloudflare gibi altyapı sağlayıcıları, bilinen botların listesini tutarak ve ‘Content-Signal’ gibi yeni direktifler geliştirerek site sahiplerine ek koruma katmanları sunmaktadır.

Robots.txt Yapılandırırken Yapılan Hatalar

Robots.txt dosyasında yapılan küçük bir yazım hatası, sitenizin arama motorlarındaki görünürlüğüne zarar verebilir. En sık karşılaşılan hata, yanlışlıkla tüm siteyi taramaya kapatan Disallow: / kuralının canlı ortamda unutulmasıdır. Yazılım geliştirme aşamasında kullanılan bu kural canlıya geçişte kaldırılmazsa, arama motorları sitenin tüm sayfalarını taramayı keser.

Diğer bir kritik hata ise robots.txt dosyasını bir güvenlik duvarı olarak görmektir. Dosyaya yazılan gizli yönetim paneli adresleri veya özel klasör yolları (örneğin Disallow: /gizli-admin/) tüm internet kullanıcıları tarafından açıkça okunabilir. Bu durum, kötü niyetli kişilere gizlemek istediğiniz yolları doğrudan gösterir. Gerçek bir koruma sağlamak için yetkilendirme ve sistem düzeyinde güvenlik adımları atılmalıdır. Bu hususta detaylı bilgi için WordPress güvenliği önlemleri rehberimizi inceleyebilirsiniz.

Son olarak dosya boyutuna ve standart kısıtlamalara dikkat edilmelidir. Google, boyutu 500 KB (kibibayt) üzerinde olan robots.txt dosyalarının sadece ilk kısmını okur ve kalanını yok sayar. Ayrıca büyük-küçük harf duyarlılığı nedeniyle klasör isimlerinin tam doğru yazılması gerekir.

SEO Açısından Sitenize Neler Kazandırır?

Robots.txt dosyası doğru kurgulandığında tarama bütçesini (crawl budget) verimli kullanmanıza yardımcı olur. Arama motorı botlarının sitenizde harcayacağı zaman ve kaynak sınırlıdır. Binlerce önemsiz filtre sayfasının, arama sonuçları sayfalarının veya sistem dosyalarının taranmasını engellediğinizde, botlar zamanını değerli ürün ve blog sayfalarınıza ayırır.

Sitede yer alan tekrar eden içeriklerin (duplicate content) taranmasını engellemek de SEO performansını olumlu etkiler. Benzer şekilde, veritabanını yoran veya sunucuyu kilitlenme noktasına getiren gereksiz bot trafikleri engellenerek sitenin açılış hızı ve sunucu yanıt süresi korunmuş olur.

Robots.txt, doğru yapıda hazırlanmış XML site haritası bağlantısı ile desteklendiğinde arama motorlarının sitenizdeki yeni içerikleri çok daha hızlı keşfetmesini sağlar. SEO stratejinizin başarısı için bu metin dosyasının periyodik olarak kontrol edilmesi tavsiye edilir.