robots.txt Nedir?
Robots.txt, arama motoru robotlarına hangi sayfaları taramaları ve taramamaları gerektiğini söyleyen talimatları içeren bir metin dosyasıdır.
Bu talimatlar, belirli (veya tüm) botların davranışına “izin vermek” veya “izin vermemek” şeklinde belirtilir.
Bir robots.txt dosyası şöyle görünür.
Robots.txt dosyaları başlangıçta karmaşık görünebilir, ancak sözdizimi (bilgisayar dili) oldukça basittir. Bu ayrıntılara daha sonra gireceğiz.
Bu yazıda şunları ele alacağız.
- robots.txt Dosyaları Neden Önemlidir?
- robots.txt Dosyaları Nasıl Çalışır?
- robots.txt Dosyası Nasıl Oluşturulur?
Bir robots.txt dosyası, web tarayıcısı etkinliklerinin yönetilmesine yardımcı olur. Böylece web sitenizi veya herkesin görmesi amaçlanmayan dizin sayfalarınızı fazla çalıştırmazlar.
Bir robots.txt dosyası kullanmak istemenizin birkaç nedeni.
1. Tarama Bütçesini Optimize Edin
2. Yinelenen ve Herkese Açık Olmayan Sayfaları Engelleyin
Arama motorlarının sitenizdeki her sayfayı taramasına izin vermenize gerek yok çünkü hepsinin sıralanması gerekmiyor.
Örnekler arasında hazırlama siteleri, dahili arama sonuçları sayfaları, yinelenen sayfalar veya oturum açma sayfaları yer alır.
Örneğin WordPress, tüm tarayıcılar için /wp-admin/ öğesine otomatik olarak izin vermez .
Bu sayfaların var olması gerekir, ancak indekslenmeleri ve arama motorlarında bulunmaları gerekmez. Bu sayfaları tarayıcılardan ve robotlardan engellemek için robots.txt’yi kullanacağınız mükemmel bir durum.
3. Kaynakları Gizle
Bazen Google’ın PDF’ler, videolar ve resimler gibi kaynakları arama sonuçlarından hariç tutmasını isteyebilirsiniz.
Belki de bu kaynakları gizli tutmak veya Google’ın daha önemli içeriğe odaklanmasını istiyorsunuz.
Bu durumda, dizine eklenmesini önlemenin en iyi yolu robots.txt kullanmaktır.
Bir Robots.txt Dosyası Nasıl Çalışır?
-
İçeriği Keşfetmek İçin Web’de Gezinme.
-
Bilgi Arayanlara Gösterilebilmesi İçin İçeriği İndeksleme.
Sözdizimi çok basittir.
Kullanıcı aracısını (arama motoru botu) ve ardından yönergeleri (kurallar) belirterek botlara kurallar atarsınız.
Her kullanıcı aracısına yönergeler atamak için yıldız (*) joker karakterini de kullanabilirsiniz. Yani kural, belirli bir bot için değil, tüm botlar için geçerlidir.
Not : Bir robots.txt dosyası talimatlar sağlarken bunları uygulayamaz. Davranış kuralları gibi. İyi botlar kurallara uyar, ancak kötü botlar onları görmezden gelir.
Robots.txt Dosyası Nasıl Oluşturulur?
Halihazırda bir robots.txt dosyanız yoksa oluşturmak kolaydır.
Bir robots.txt oluşturma aracı kullanabilir veya kendiniz oluşturabilirsiniz.
Sadece dört adımda bir robots.txt dosyasını nasıl oluşturacağınız aşağıda açıklanmıştır:
- Bir Dosya Oluşturun ve Robots.txt Olarak Adlandırın.
- robots.txt Dosyasına Kurallar Ekleyin.
- robots.txt Dosyasını Sitenize Yükleyin.
- robots.txt Dosyasını Test Edin.
1. Bir Dosya Oluşturun ve Robots.txt Olarak Adlandırın
2. Robots.txt Dosyasına Direktifler Ekleyin
Bir robots.txt dosyası, bir veya daha fazla yönerge grubundan oluşur ve her grup birden çok yönerge satırından oluşur.
Her grup bir “User-agent” ile başlar ve aşağıdaki bilgilere sahiptir:
- Grubun kime başvurduğu.
- Aracının Hangi Dizinlere veya Dosyalara Erişebileceği.
- Aracının Hangi Dizinlere veya Dosyalara Erişemeyeceği.
- Arama Motorlarına Hangi Sayfaların ve Dosyaların Önemli Olduğunu Düşündüğünüzü Söyleyen Bir Site Haritası.
Tarayıcılar, bu yönergelerin hiçbiriyle eşleşmeyen satırları yok sayar.
Örneğin, yalnızca dahili kullanım için olduğu için Google’ın /clients/ dizininizi taramasını engellemek istediğinizi varsayalım .
İlk grup şuna benzer:
User-agent: Googlebot
Disallow: /clients/
Google için bunun gibi başka talimatlarınız olsaydı, bunları hemen aşağıdaki gibi ayrı bir satıra eklerdiniz.
User-agent: Googlebot
Disallow: /clients/
Disallow: /not-for-google
Google’ın özel talimatlarıyla işiniz bittiğinde, yeni bir yönerge grubu oluşturmak için enter tuşuna iki kez basabilirsiniz.
Bunu tüm arama motorları için yapalım ve /archive/ ve /support/ dizinlerinizi taramalarını önleyelim çünkü bunlar özel ve yalnızca dahili kullanım içindir.
Şöyle görünecek.
User-agent: Googlebot
Disallow: /clients/
Disallow: /not-for-google
User-agent: *
Disallow: /archive/
Disallow: /support/
İşiniz bittiğinde, site haritanızı ekleyebilirsiniz.
Bitmiş robots.txt dosyanız şuna benzer.
User-agent: Googlebot
Disallow: /clients/
Disallow: /not-for-google
User-agent: *
Disallow: /archive/
Disallow: /support/
Sitemap: https://www.yourwebsite.com/sitemap.xml
robots.txt dosyanızı kaydedin. Unutmayın, robots.txt olarak adlandırılmalıdır.
Not : Tarayıcılar yukarıdan aşağıya doğru okur ve en özel ilk kural grubuyla eşleşir. Bu nedenle, önce robots.txt dosyanızı belirli kullanıcı aracılarıyla başlatın ve ardından tüm tarayıcılarla eşleşen daha genel joker karaktere (*) geçin.
3. Robots.txt Dosyasını Yükleyin
Robots.txt dosyanızı bilgisayarınıza kaydettikten sonra sitenize yükleyin ve arama motorlarının taraması için uygun hale getirin.
Ne yazık ki, bu adımda yardımcı olabilecek evrensel bir araç yok.
robots.txt dosyasının yüklenmesi, sitenizin dosya yapısına ve web barındırmaya bağlıdır.
Robots.txt dosyanızı nasıl yükleyeceğiniz konusunda yardım için çevrimiçi arama yapın veya barındırma sağlayıcınıza ulaşın.
Örneğin, özel talimatlar almak için “robots.txt dosyasını WordPress’e yükleyin” araması yapabilirsiniz.
Robots.txt dosyasını yükledikten sonra, herhangi birinin dosyayı görüp göremediğini. Ve Google’ın okuyup okuyamadığını kontrol edin.
4. Robots.txt Dosyanızı Test Edin
Öncelikle, robots.txt dosyanızın herkesin erişimine açık olup olmadığını (yani, doğru bir şekilde yüklenip yüklenmediğini) test edin.
Tarayıcınızda özel bir pencere açın ve robots.txt dosyanızı arayın.
Örneğin, https://leventdemirbas.com/robots.txt
Eklediğiniz içerikle birlikte robots.txt dosyanızı görürseniz, işaretlemeyi (HTML kodu) test etmeye hazırsınız demektir.
Google, robots.txt işaretlemesini test etmek için iki seçenek sunar.
- Search Console’daki robots.txt Test Aracı.
- Google’ın Açık Kaynak robots.txt Kitaplığı.
İkinci seçenek daha çok ileri düzey geliştiricilere yönelik olduğundan. robots.txt dosyanızı Search Console’da test edelim.
Not : robots.txt dosyanızı test etmek için ayarlanmış bir Search Console hesabınız olmalıdır.
robots.txt Tester’a gidin ve “robots.txt Tester’ı Aç”a tıklayın.
Web sitenizi Google Search Console hesabınıza bağlamadıysanız, önce bir mülk eklemeniz gerekir.
Ardından, sitenin gerçek sahibi olduğunuzu doğrulamanız gerekir.
Mevcut doğrulanmış mülkleriniz varsa Test Kullanıcısının ana sayfasındaki açılır listeden bir mülk seçin.
Test Cihazı, tüm sözdizimi uyarılarını veya mantık hatalarını belirleyecek ve bunları vurgulayacaktır.
Ayrıca, düzenleyicinin hemen altında size uyarı ve hata sayısını da gösterecektir.
Hataları veya uyarıları doğrudan sayfada düzenleyebilir ve gerektiği kadar tekrar test edebilirsiniz.
Sayfada yapılan değişikliklerin sitenize kaydedilmediğini unutmayın. Araç, sitenizdeki gerçek dosyada herhangi bir değişiklik yapmaz. Yalnızca araçta barındırılan kopyaya karşı test yapar.
Değişiklikleri uygulamak için bunları kopyalayıp sitenizdeki robots.txt dosyasına yapıştırın.
Sonuç
Bu yazım da robots.txt detaylı olarak anlatmaya çalıştım. Umarım faydalı bulursunuz. Bir sonraki SEO aracın da görüşmek dileğiyle! Aklınıza takılan herhangi bir soru olursa yorumlar kısmına yazabilirsiniz.
