Robots.txt ve sitemap.xml: Hosting’de en iyi yerleşim rehberi

Robots.txt ve sitemap.xml, arama motorlarının sitenizi keşfetme ve tarama davranışını doğrudan etkiler. Hosting tarafında yapılan küçük bir dizin hatası (yanlış klasöre koyma, kodlama problemi, erişim engeli) tarama bütçesini düşürür ve indekslemeyi geciktirir. Bu rehberde dosyaların tam konumunu, hangi ayarların “yanlış” sayıldığını ve kontrol adımlarını net şekilde öğreneceksiniz. Böylece SEO çabasını uygulama seviyesinde boşa harcamazsınız.

Robots.txt: doğru konum ve en sık yapılan hatalar

Robots.txt dosyası arama motorlarına “hangi URL’leri tarayabilirim, hangilerini taramam” sinyali verir. Bu yüzden dosyanın erişilebilirliği ve içeriğinin doğruluğu kritik bir teknik gerekliliktir.

En doğru yerleşim: kök dizin (document root)

Robots.txt’nin adresi her zaman şu şablonla aynı olmalıdır: - https://siteadi.com/robots.txt

Bu adrese gelebilmesi için dosyanın sunucudaki web kök dizininde (document root) durması gerekir.

Örnek (WordPress kurulumlarında): - WordPress alt klasörde değilse: /var/www/wordpress/robots.txt - WordPress alt klasördeyse (ör. public_html/wordpress): public_html/robots.txt değil, public_html/wordpress/robots.txt değil—asıl kritik nokta şu: Dosya https://siteadi.com/robots.txt URL’siyle görünmelidir. Yani alt klasör kurulumlarında bile robots.txt “domain kökünde” olmalı, alt klasöre sıkıştırılmamalıdır.

Hosting kontrolü: 3 saniyede doğrulama

Şu doğrulamalar “yanlış dizine koydum” hatasını hemen yakalar: - Tarayıcıda https://siteadi.com/robots.txt açılır mı? - Sunucu hata sayfası (404/403) dönüyor mu? - İçerik okunuyor mu, yoksa zip indirme gibi davranıyor mu?

Bir çok kurulumda yanlışlık, robots.txt’nin yanlış klasörde kalmasından kaynaklanır.

Robots.txt’te net içerik ilkeleri

Robots.txt metninde en kritik konu “gereksiz agresif engelleme”dir. En sık hatalar: - Tüm siteyi engellemek (ör. Disallow: /) — Bu durumda tarama neredeyse durur. - Sadece belirli sayfa türleri engellenirken yanlış yol kullanmak (ör. WordPress için yanlış slug). - User-agent: * altında çelişkili kurallar.

Örnek bir temel şablon (içeriği sitenize göre uyarlayın): - Admin paneli veya arama sonuç sayfaları gibi taranmaması gereken bölümleri hedefleyin. - Görünmesini istemediğiniz ancak indekslenmesini de istemediğiniz sayfaları robots.txt ile “tarama”dan mahrum bırakabilirsiniz; ancak indeks istekleri için çoğu zaman noindex mantığı daha doğru olur.

Not: Robots.txt “indeksleme” kararını tek başına vermek için tasarlanmamıştır. Arama motoru, taramasına izin verilmeyen sayfaları indekslemeyebilir; fakat farklı senaryolarda sayfa linkleri başka yerlerden gelerek indekslenebilir. Bu nedenle robots.txt’in kapsamını dar tutun.

Sitemap.xml: doğru konum, içerik ve gönderim

Sitemap.xml, arama motorlarına sitenizde hangi URL’lerin mevcut olduğunu yapısal şekilde bildirir. Robots.txt taramayı kısıtlar; sitemap.xml ise taranacak/keşfedilecek sayfaların listesini hızlandırır.

En doğru yerleşim: kök dizin

Sitemap.xml için de en pratik ve yaygın konum şudur: - https://siteadi.com/sitemap.xml

Dosya web kök dizininde olmalıdır. Ancak büyük sitelerde birden fazla sitemap kullanılabilir (ör. sitemap-posts.xml, sitemap-pages.xml). Yine de asıl “index sitemap” genellikle kökte bulunur.

Sitemap dosyası mutlaka şu sinyalleri taşımalı

Tek bir sitemap.xml kullanıyorsanız <urlset>, birden fazla sitemap kullanıyorsanız <sitemapindex> yapısını kullanmalısınız.

Ayrıca pratik kontrol maddeleri: - Dosya gerçek URL’leri barındırmalı (ör. yanlış domain veya yanlış protokol http/https). - XML hatasız olmalı (kapanmayan etiketler taramayı bozar). - İçeride gereksiz dinamik URL’ler (parametreli rastgele sayfalar) kontrolsüz çoğalmamalı.

Hosting tarafında 2 kritik tuzak

1) Uygulama URL yönlendirmesi (redirect): https:// zorunluyken sitemap http:// üretiyorsa tutarsızlık oluşur. 2) Önbellek/CGI hataları: CDN veya cache yanlış konfigüre edilirse sitemap “eski haliyle” kalabilir.

Bu tuzakları azaltmak için sitemap üretimi ile erişilen çıktı arasında uyum sağlayın.

Robots.txt ve sitemap.xml birlikte nasıl konumlandırılır? (Net senaryo)

En iyi yerleşim, iki dosyanın birbiriyle bağlantılı çalışmasıdır. Önerilen yaklaşım: - Robots.txt içinde sitemap referansı mutlaka bulunur. - Sitemap dosyası https://siteadi.com/sitemap.xml adresiyle erişilebilir olur.

Robots.txt içindeki sitemap referansı örneği

Robots.txt’nizde en az şu satır olmalıdır (domaininizi güncelleyin): - Sitemap: https://siteadi.com/sitemap.xml

Bu, arama motorlarının sitemap’i hızlı keşfetmesini sağlar.

Sunucuda doğru yerleşimi doğrulamak için kontrol listesi

Aşağıdaki liste, “dosyalar var ama çalışmıyor” durumlarını en hızlı teşhis eder.

1) Dosya erişilebilirliği

• GET /robots.txt 200 dönüyor mu?
• GET /sitemap.xml 200 dönüyor mu?
• 301/302 zinciri var mı? (Çoklu yönlendirme gereksiz geciktirir.)

2) MIME türü ve içerik kodlaması

• Sitemap doğru içerik türüyle sunulmalı (genelde application/xml veya text/xml).
• Sitemap UTF-8 olmalı.

3) Yanlış dizin kontrolü (özellikle control panel kullananlarda)

Plesk/cPanel gibi panellerde dosyaların yanlış klasöre yüklenmesi çok sık görülür. Şu kontrolleri yapın: - “Dosya yöneticisi”nde robots.txt hangi klasörde duruyor? - Bu klasör web kökü mü? Yoksa alt klasör mü?

4) WordPress/benzeri sistemlerde üretim uyumu

Eğer sitemap bir eklenti (plugin) ile üretiliyorsa: - Eklentinin ürettiği sitemap URL’si ile gerçekte tarayıcıda açılan URL aynı mı? - Güncelleme sonrası sitemap tekrar üretiliyor mu?

Performans ve SEO açısından “en iyi yerleşim” karar rehberi

Bu bölüm, doğrudan karar vermenize yardımcı olacak net kriterleri içerir.

Tek site mi, çoklu dil mi, çoklu sitemap mi?

Aşağıdaki tablo pratik eşleştirme sağlar:

Robots.txt ile engelleme yapmanız gereken durumlar

Aşağıdaki URL türleri çoğu projede taranmaya değmez: - Arama sonuç sayfaları (ürün filtreleme gibi dinamik sayfalar) - Yönetim/otorizasyon gerektiren alanlar - Sürekli değişen ve indekslenmesi gerekmeyen sayfa türleri

Ancak “her şeyi tarama dışı bırakma” yaklaşımı yerine, hedefli engelleme yapın.

Yaygın sorunlar: Net teşhis ve düzeltme

Aşağıda, robots.txt ve sitemap.xml ile ilgili en sık görülen problemler ve hızlı düzeltmeler var.

Sorun 1: robots.txt 404 dönüyor

Neden: Dosya yanlış klasöre yüklenmiştir ya da web kökü farklıdır. Düzeltme: https://siteadi.com/robots.txt doğrudan açılana kadar dosyanın konumunu web köküne taşıyın.

Sorun 2: sitemap.xml indiriliyor / XML görünmüyor

Neden: Yanlış dosya türü veya sunucu konfigürasyonu. Düzeltme: Sitemap’i XML olarak servis edecek şekilde dosya uzantısı ve çıktı ayarlarını kontrol edin. Panellerde “dosya türü” otomatik işaretleme bazen etkileyebilir.

Sorun 3: Sitemap var ama indeksleme yavaş

Neden: Sitemap içerikleri güncel değil (cache), yanlış domain (http/https), gereksiz URL şişmesi. Düzeltme: - Sitemap’i tarayıcıdan açıp en güncel URL’leri içerdiğini doğrulayın. - http/https tutarlılığını kontrol edin. - URL sayısı aşırıysa sadece indekslenmesi gerekenleri bırakın.

Sonuç: Hosting’de en iyi yerleşimi bugün netleştirin

Aksiyon önerisi: İlk olarak https://siteadi.com/robots.txt ve https://siteadi.com/sitemap.xml adreslerini açın; ikisinin de 200 döndüğünü ve doğru içerik ürettiğini doğrulayın. Ardından robots.txt içine Sitemap: https://siteadi.com/sitemap.xml referansını ekleyin. Son olarak sitemap içindeki URL’lerin https ile uyumlu, gereksiz parametre kalabalığı olmadan ve doğru domainle üretildiğini kontrol edin. Bu 3 adım, hosting tarafında yapılan dizin/erişim hatalarının SEO üzerindeki etkisini hızlıca minimize eder.