Eklenti Dosyaların İndexlenmesi Nasıl Önlenir?
Seo / Ağustos 22, 2018

İnternet arama motorları, kullanıcılarına aradıkları bilgileri sunmak için, web sayfalarının klasörlerine ve klasörlerin içerisindeki web sayfalarına göz atarlar. Bazı durumlarda bu klasörlere ve içlerindeki, web sayfalarına da erişirler. Arama motorlarının bu erişimlerini kontrol etmek aslında çok kolaydır. İndekslemeyi engelleme yöntemi İndekslemeyi engellemenin, çok yaygın kullanılan iki yöntemi vardır. “Robots.txt” yöntemi ve “noindeks” yöntemi. Web sitelerinin kök dizinlerinde, robots.txt alır. Google indeksleme botlarının web sitesinde nerelere bakabileceğini ve hangi ekltenti dosyasayfalarına bakamayacağının kuralını belirler. Web masterlar, popüler olarak kendi sitelerinde robots.txt yöntemi kullanırlar. Robots.txt file içeriği nasıl düzenlenir ve oluşturulur? Robots.txt oluşturularak, içerisine belirtilen komutlar, komut dizilim mantığına göre yerleştirilir. Google botlarına indeksleme izini verme ve izinini sınırlamak için iki adet komut kullanılır: Allow: İzin ver Disallow: İzinini iptal et. *: Yıldızın anlamı, erişim izni serbest, tüm Google botları dizine erişip indeksleyebilir. /: Slaşın anlamı, botlar web sayfasının tüm sayfalarına erişim yapamasın. User-agent: * Allow: / Bütün botlar indeksleme yapabilir. User-agent: DeepCrawl Disallow: /private/ DeepCrawl bir Google botudur. Uzun aralıklarla, web sitenizi ziyaret ederek indekslemektir.Komutun anlamı bu bot belirtilen klasörü indeksleyemesin. User-agent: * Disallow:/directory/file.html file.html hariç tüm sayfaları indeksleyebilirsin. User-agent: * Allow:/file1/Turkiye.html Disallow:/anadolu/ /file1 klasöründeki, Turkiye.html file hariç, hiçbir sayfaya index erişim sağlayamaz. Disallow:/ındex.php User-agent:Googlebot Disallow: /wp-content/ Disallow: /*.php$ Disallow: /*.js$…