Robots.txt Dosyası Hakkında

SEO açısından oldukça mühim ve dikkat bir çekici konu olan robots.txt dosyalarının oluşturulma hikayesi ilk olarak 1994 yılında gündeme gelmiştir. Bu dosyanın mucidi, dünyanın ilk arama motoru olan aliweb'in de kurucusu olan Martijin Koster tarafından bulunmuştur.

 

Ne amaçla kullanılır?

Sahip olduğunuz web sitenizde değerli içerik linklerinin yanı sıra iletişim, hakkımda, gizlilik sözleşmesi, sıkça sorulan sorular gibi sitenin footer kısmında yer alan alanların google arama sonuçlarında çıkmasını engellemek maksadıyla kullanılan bir yöntemdir.

 

Robots.txt dosyasını oluşturmak için herhangi bir programlama bilgisine ihtiyaç yoktur. Bilgisayarınızda notepad dosyası açıp bunu robots.txt ismiyle kaydediyor olmanız bu işin ilk aşamasıdır. Sonrasında ise bu dosyayı kök dizine atıyor olmanız gerekir. Yani URL nizin aktif hali şu şekilde olacaktır:

sitenizinadi.com/robots.txt

 

Bu dosya üç komuttan oluşur:

1) User-agent : İlgili komutun hangi robota uygulandığını ifade eder."*" derseniz tüm robotları kapsasın anlamı taşır.

2) Disallow : Ziyaret edilmesini istemediğiniz kısımları buraya yazıyorsunuz. "Disallow:/linkadi" şeklinde yazılır. "Disallow:" şeklinde bir yazım ise herhangi bir kısıt olmadığını, tüm web sitesinin robot tarafından taranabileceğini ifade eder.

3) Allow : Botlar tarafından taranmasını istediğiniz alanları buraya yazabilirsiniz. Bu arada belirtmekte fayda var. Birden fazla alanı alt alta "Allow :" diyip tanımlayabilirsiniz. Bunların dışında yorum satırı eklemek isterseniz, "#" işaretini kullanmanız gerekir. Bu işaretden sonra yazılan sözcükler google botları tarafından görülmez.