Robots.txt ve Sitemap: Taranabilirlik Sanatı
Yönetici Özeti: Bilmeniz Gerekenler
- Robots.txt dosyasını UTF-8 formatında kaydedin ve mutlaka kök dizinde (root) barındırın.
- Sitemap.xml dosyanızı Search Console'a gönderin ve hata raporlarını düzenli kontrol edin.
- Tarama bütçesini verimli kullanmak, büyük sitelerin (10k+ sayfa) SEO performansını doğrudan etkiler.
Botları Evinize Davet Edin (Veya Kovun)
Dünyanın en iyi içeriğini de yazsanız, Googlebot o sayfayı bulamazsa (Crawl) veya dizine ekleyemezse (Index), o sayfa yok hükmündedir. Teknik SEO'nun bu iki temel dosyası, sitenizin Google ile konuştuğu dildir.
Robots.txt: Kapı Bekçisi
Bu dosya, botlara "Buraya gir" veya "Buraya girme" der. Özellikle e-ticaret sitelerinde filtre sayfaları, sepet sayfaları ve admin panelleri gibi binlerce gereksiz URL'in taranmasını engellemek, Tarama Bütçesi (Crawl Budget) yönetimi için hayati önem taşır.
User-agent: *
Disallow: /admin/
Disallow: /sepet/
Allow: /
Sitemap: https://site.com/sitemap.xmlSitemap (Site Haritası): Adres Defteri
Sitemap, botlara sitenizdeki önemli sayfaların listesini verir. Ancak sitemap'e "her şeyi" koymak hatadır.
- Sadece 200 OK: Yönlendirilmiş (301), bulunamayan (404) veya canonical etiketi başka yeri gösteren sayfaları sitemap'e eklemeyin.
- Bölünmüş Haritalar: Eğer 50.000'den fazla URL'iniz varsa (veya dosya 50MB'ı aşıyorsa), sitemap'i alt parçalara bölün (sitemap-blog.xml, sitemap-urunler.xml gibi).
- Lastmod Etiketi: Sayfanın ne zaman güncellendiğini belirten bu etiketi doğru kullanırsanız, Google güncel sayfalarınızı daha hızlı keşfeder.
Sıkça Sorulan Sorular
Robots.txt ile bir sayfayı Google'dan silebilir miyim?
Dinamik sitemap nedir?
İlgili Hizmetlerimiz
Google Ads Yönetimi
Yapay zeka destekli teklif stratejileri ve negatif anahtar kelime optimizasyonu ile reklam bütçenizi maksimum verimle yönetiyoruz.
SEO - Arama Motoru Optimizasyonu
Teknik SEO, içerik optimizasyonu ve backlink stratejileri ile web sitenizi arama motorlarında zirveye taşıyoruz.