Robots.txt ve sitemap.xml: Hosting’te en iyi yerleşim

Giriş

Robots.txt ve sitemap.xml dosyaları, arama motorlarının sitenizi nasıl tarayacağını ve hangi sayfaları keşfedeceğini doğrudan etkiler. Hosting tarafında doğru konumlandırma yapılmadığında tarama bütçesi boşa harcanabilir, yeni içerikler geç indexlenebilir ve hatalı yönlendirmeler oluşabilir. Bu rehberde robots.txt ile sitemap.xml’in dosya yolu, içerik mantığı ve hosting üzerinde uygulanacak test adımlarını net bir plan olarak bulacaksınız.

Dosya yerleşimi: Robots.txt ve sitemap.xml nereye konur?

Her iki dosya da “hangi panelde çalıştığınızdan” bağımsız olarak standart URL yollarıyla yayınlanmalıdır.

Robots.txt için doğru URL

• Robots.txt dosyası: /robots.txt
• Örneğiniz: https://ornek.com/robots.txt

Bu dosya web kök dizinine (document root) yerleştirilmelidir. Örneğin kontrol panelinizde “public_html” ya da “www” gibi kök dizin görüyorsanız, robots.txt dosyasını doğrudan oraya koyun.

Sitemap.xml için doğru URL (tek sitemap senaryosu)

• Sitemap dosyası: /sitemap.xml
• Örneğiniz: https://ornek.com/sitemap.xml

Birden fazla sitemap varsa

Birden fazla sitemap üretiyorsanız genellikle şu desen kullanılır: - Ana indeks dosyası: /sitemap_index.xml (veya uygulamanın tercih ettiği sabit dosya) - Bireysel sitemap’ler: /sitemaps/sitemap-1.xml gibi alt yollarda

Önemli olan robots.txt içinde doğru URL’lerin listelenmesidir. Hosting’de fark etmez; sunucu bu dosyaların URL’lerini “aynı şekilde” servis etmelidir.

Robots.txt içeriği: Yanlış yerleştirme nasıl hata üretir?

Robots.txt çoğu zaman “şu klasörü kapat” mantığıyla ele alınır. Ancak hosting yerleşimi ve URL doğruluğu bozulduğunda arama motoru sinyalleri beklenenden farklı davranır.

Robots.txt en temel şablon

Aşağıdaki örnek, genel amaçlı ve temiz bir başlangıç şablonudur. Sitelerde dizin/altyapı farklı olacağı için “mutlaka uyarlayın”.

Örnek (düz metin):

• Dosya: /robots.txt

User-agent: *
Disallow:
Sitemap: https://ornek.com/sitemap.xml

Bu durumda tarama başlangıcı sorunsuz olur. Sonra gerçekten kapatmanız gereken alanları ekleyin.

Hosting’te sık yapılan 6 hata (net kontrol)

1. robots.txt’yi yanlış dizine koymak (ör. /public_html/somefolder/robots.txt): Arama motoru https://site.com/robots.txt arar, bulamaz.
2. Sitemap satırında hatalı alan adı: http/https karışır ya da alias domain kullanılır.
3. Zorunlu olmayan Disallow ile taramayı gereksiz sınırlamak: Özellikle Disallow: / yanlış planla tüm siteyi taramaya kapatır.
4. Sitemap URL’sini robots.txt içinde olmayan dosyaya işaret etmek: Dosya aslında /sitemaps/sitemap.xml iken /sitemap.xml yazılması gibi.
5. CDN arkasında cache gecikmesi: robots.txt veya sitemap.xml cache’lenirse yeni içerik hemen görünmeyebilir.
6. Sunucu hataları: 403/404 dönen dosyalar robots.txt ve sitemap.xml için arama motoru tarafında “kalıcı sinyal” gibi değerlendirilir.

Sitemap.xml içeriği: Hosting performansını da etkileyen detaylar

Sitemap.xml, arama motoruna URL listesini verir. Ancak hosting üzerinde dosya büyüklüğü, kodlama ve sık güncelleme senaryolarında doğru tasarım kritikleşir.

Tek sitemap mi, sitemap index mi?

Genel pratik kural şudur: - URL sayısı büyüdükçe sitemap’i bölmek daha yönetilebilir olur. - Tek dosya çok büyüdüğünde tarayıcı ve altyapı daha uzun süreli işlem gerektirir.

Bu bölme mantığı, VDS/VPS üzerinde otomasyonla üretildiğinde ayrıca kolaylaşır.

sitemap.xml kodlama ve URL formatı

• Dosya standardı olarak UTF-8 kullanılmalıdır.
• URL’ler tam (absolute) olmalı: https://ornek.com/urun/123
• Varsa trailing slash (sona / ekleme) ve normalize kuralları tutarlı olmalıdır.

Son modifikasyon (lastmod) kullanımı

<lastmod> alanını kullanıyorsanız, içerik güncellemeleri ile tutarlılık arayın. - Tutarsız lastmod: Gereksiz yeniden tarama veya yanlış “yeni” sinyali doğurur. - Otomasyonla lastmod üretme: CMS (WordPress gibi) veya site jeneratörü en doğru kaynağı bilir.

Hosting üzerinde en iyi yerleşim için uygulama planı

Aşağıdaki adımlar “dosyayı koydum ama çalışmıyor” sorunlarını minimuma indirir.

1) Dosyayı web köküne yerleştirin

• Robots.txt: document root içinde /robots.txt
• Sitemap: document root içinde /sitemap.xml

Eğer alt klasör kullanacaksanız ör. /sitemaps/: - Dosyalar: /sitemaps/sitemap-1.xml - robots.txt içinde URL: Sitemap: https://ornek.com/sitemaps/sitemap-1.xml

2) CDN/WAF cache davranışını kontrol edin

CDN kullanıyorsanız şu hedef davranışı sağlayın: - robots.txt ve sitemap.xml için cache politikasını “makul” yapın - Güncelleme yaptığınızda uzun süre eski halin servis edilmemesini sağlayın

Net pratik: - Yeni bir sitemap yayınladıktan sonra aynı gün https://ornek.com/robots.txt ve https://ornek.com/sitemap.xml tekrar kontrol edin.

3) HTTP durum kodlarını doğrulayın

Aşağıdaki durumlar kabul edilemez seviyede risklidir: - sitemap için 404: Arama motoru dosyayı görmez. - robots için 403: Botlar erişemez. - İstemciye dönen redirect zinciri: Örneğin http->https->www->non-www şeklinde uzuyorsa sinyal gecikir.

4) robots.txt içinde sitemap satırı bulunmasını sağlayın

Standart: robots.txt içinde en az bir sitemap satırı olmalı.

Örnek (sitemap index):

User-agent: *
Disallow:
Sitemap: https://ornek.com/sitemap_index.xml

5) Sunucu seviyesinde yanlış yönlendirme/kururalarını temizleyin

Hosting sağlayıcınızın yönetim panelinde yönlendirme kuralları veya .htaccess benzeri kurallar varsa şunları kontrol edin: - /robots.txt veya /sitemap.xml için özel rewrite kuralı var mı? - Dil/alt klasör yapısı (ör. /tr/) sitemap dosyasını etkiliyor mu? - Baz URL üzerinden servis edilen bir uygulama kullanıyorsanız (ör. https://ornek.com/app), dosya kök yoluna yine doğru çıkıyor mu?

Hız ve ölçek: VDS/VPS’te dosya üretimi ve servis yaklaşımı

Özellikle içerik üretimi sık olan sitelerde sitemap ve robots dosyalarının güncelliği performansla doğrudan ilişkilidir.

Dinamik sitemap üretimi ile statik üretim farkı

• Statik sitemap: Dosya belirli aralıklarla üretilir ve sabit servis edilir. Sunucu üzerindeki yük düşer.
• Dinamik sitemap: Her istek geldiğinde üretilir. URL sayısı artınca tepki süresi büyür.

Arama motoru sitemap istekleri düzenli olduğu için dinamik yaklaşım, yük altında daha hızlı risk üretir.

VDS/VPS için net öneri

• Sitemap üretimini “belirli zamanlarda” otomatikleştirin.
• Üretilen dosyayı web köküne atomik şekilde yazın (kısmi yazım riskini azaltır).
• Yüksek trafik senaryosunda CDN üzerinden statik dosya dağıtımı daha stabil olur.

Test adımları: Doğru yerleşimi nasıl kanıtlarsınız?

Dosyaları koyduktan sonra 3 kontrol adımı “net sonuç” verir.

Kontrol 1: URL erişilebilir mi?

Tarayıcıdan veya curl ile şunları doğrulayın: - https://ornek.com/robots.txt - https://ornek.com/sitemap.xml

Beklenen: - 200 OK - İçerikte sitemap satırı görünür

Kontrol 2: İçerik doğru mu?

• robots.txt içinde doğru alan adı (https)
• sitemap.xml içinde doğru URL şeması
• Girinti/etiket hatası yok (XML hatası varsa arama motoru dosyayı reddedebilir)

Kontrol 3: Otomatik keşif davranışı

Arama motoru tarafında “hemen” değişim beklemeyin; ancak şu ölçütleri hedefleyin: - yeni sayfalar sitemaps üzerinden daha düzenli keşfedilir - indexleme gecikmesi azalır - yanlış Disallow kaynaklı tarama düşüşü olmaz

Karşılaştırma: Yaygın senaryolara göre en iyi kurulum

Aşağıdaki tablo, hosting koşullarına göre net bir “yerleşim” kararını özetler.

Sonuç: Bugün yapabileceğiniz aksiyon planı

Şu anki kurulumunuzu hızla doğrulamak için önce https://ornek.com/robots.txt ve https://ornek.com/sitemap.xml URL’lerinin doğru konumda, 200 ile döndüğünü ve içerikteki sitemap URL’lerinin birebir eşleştiğini kontrol edin. Ardından CDN/WAF ve rewrite/yönlendirme kurallarını gözden geçirip robots.txt ve sitemap.xml’in hiç kimse tarafından yanlışlıkla yönlendirilmediğinden emin olun. Bu kontrolleri yaptıktan sonra gerekirse sitemap’i index + parça mantığıyla ölçekleyin; böylece hosting tarafında hem keşif düzeni hem de sunucu yükü daha öngörülebilir hale gelir.