Teknik SEO'nun üç önemli bileşeni—sitemap, robots.txt ve schema markup—farklı işlevlere sahiptir ancak birbirini tamamlar. Bu rehberde sitemap'ın indekslemeyi nasıl desteklediğini, robots.txt kurallarının ne yaptığını ve schema markup'ın keşfedilebilirlik ve zengin sonuçlardaki rolünü ele alacağız.
Sitemap, arama motorlarına hangi URL'lerin var olduğunu bildirir; robots.txt hangi alanların taranabileceğini veya taranmaması gerektiğini söyler; schema markup ise taranan sayfaların içeriğini yapılandırılmış şekilde açıklar. Üçü de arama motoru tarayıcısı (crawler) ve indeksleme sürecinde rol oynar. Birinin eksikliği diğerlerini tamamen etkisiz bırakmaz; ancak birlikte kullanıldığında en iyi sonuç elde edilir.
Sitemap Nasıl İndekslemeyi Destekler?
XML sitemap, sitenizdeki sayfaların listesini arama motorlarına sunar. Özellikle büyük sitelerde, derin bağlantısı az sayfaların veya yeni eklenen içeriğin keşfedilmesini hızlandırır. Sitemap'ta lastmod (son değişiklik tarihi), changefreq (değişim sıklığı) ve priority (öncelik) gibi opsiyonel alanlar kullanılabilir. Google bu bilgileri ipucu olarak kullanır; mutlaka sitemap'taki önceliğe göre indeksleme yapacağı garanti değildir.
Sitemap, schema markup içermez. Sadece URL listesi ve meta bilgiler sunar. Schema markup sayfa içeriğinin parçasıdır; her sayfa taranıp HTML indirildiğinde JSON-LD oradan okunur. Yani sitemap "hangi sayfalar var" sorusuna, schema "bu sayfada ne var" sorusuna cevap verir.
Robots.txt Kuralları
Robots.txt, site kök dizininde yer alan metin dosyasıdır. Crawler'lara belirli yolları tarama veya taramama talimatı verir. Örneğin Disallow: /admin/ ile yönetim paneli taranmaz. Allow ve Disallow kuralları birlikte kullanılabilir. Sitemap'ın konumu da robots.txt'te belirtilebilir: Sitemap: https://site.com/sitemap.xml.
Önemli nokta: robots.txt ile engellenen sayfalar taranmaz; taranmayan sayfada schema da okunmaz. Yani bir sayfayı robots.txt ile engellerseniz, o sayfadaki yapılandırılmış veri Google tarafından hiç değerlendirilmez. Genelde sitemap'ta listelenen URL'ler robots.txt ile engellenmemelidir; aksi halde crawler sitemap'taki URL'yi görür ancak erişemez.
Schema Markup'ın Keşfedilebilirlikteki Rolü
Schema markup sayfanın keşfedilmesine doğrudan yardımcı olmaz. Keşif, linkler ve sitemap ile sağlanır. Ancak schema, sayfa taranıp indekslendikten sonra içeriğin anlamını netleştirir. Google, yapılandırılmış veriyi kullanarak sayfayı "makale", "SSS", "yerel işletme" gibi kategorilere ayırır ve uygun sorgularda zengin sonuç göstermeye karar verebilir. Dolaylı olarak, doğru schema kullanan sayfalar daha iyi anlaşıldığı için uzun kuyruklu (long-tail) sorgularda daha iyi eşleşebilir.
Teknik SEO Temelleri: Birlikte Çalışma
Optimal kurulum şöyle olmalıdır: (1) robots.txt, taranmasını istemediğiniz alanları Disallow edin; sitemap URL'nizi Sitemap direktifiyle ekleyin. (2) Sitemap'ı güncel tutun; yeni sayfalar eklendiğinde sitemap'a ekleyin, Search Console üzerinden gönderin. (3) Taranan tüm önemli sayfalarda uygun schema markup kullanın. Article, FAQPage, LocalBusiness gibi türler içeriğe göre seçilmeli.
Yaygın hatalar: sitemap'ta canonical olmayan veya yönlendirme veren URL'ler listelemek; robots.txt'te yanlışlıkla önemli sayfaları engellemek; schema'da hatalı veya eksik URL'ler kullanmak. Schema'daki mainEntityOfPage ve url alanları mutlak (absolute) URL olmalı; sitemap'taki URL'lerle uyumlu olmalıdır.
Özet
Sitemap keşfi kolaylaştırır, robots.txt taramayı yönetir, schema içeriği anlamlandırır. Üçü birbirini tamamlar; schema sayfa keşfinde rol oynamaz ancak indekslendikten sonra anlamayı güçlendirir. Kendi şemanızı oluşturmak için Schema JSON-LD Oluşturucu aracımızı kullanabilirsiniz.