Robots.txt Oluşturucu ve Test Aracı

Ücretsiz robots.txt oluşturucu ve test aracı: Googlebot, Bingbot ve yapay zekâ tarayıcıları için kural oluşturun, bir URL'nin engelli olup olmadığına bakın.

Ayrıca: Meta Etiket Oluşturucu · Open Graph Oluşturucu · UTM Link Oluşturucu

Ne yapar

robots.txt bir sitenin kök dizininde bulunur ve tarayıcılara hangi yolları getirebileceklerini söyler. Kurallar user agent'a göre gruplanır; bir tarayıcı kendisini adıyla anan en belirgin gruba ya da * grubuna uyar. Bir grupta en uzun eşleşen yola sahip kural kazanır, eşitlikte allow kazanır; * her diziyle eşleşir, $ URL'nin sonunu belirtir. Bir sayfayı robots.txt'de engellemek onu arama sonuçlarından kaldırmaz: bunun için noindex etiketi kullanın.

Nasıl kullanılır

  1. Oluştur sekmesinde neye izin verileceğini veya neyin engelleneceğini seçin, yapay zekâ tarayıcılarını ve site haritanızı ekleyin.
  2. Sonucu sitenizin kök dizinindeki robots.txt adlı bir dosyaya kopyalayın.
  3. Test et sekmesinde herhangi bir robots.txt yapıştırın ve belirli bir tarayıcı için bir URL'yi kontrol edin.

Sık sorulan sorular

robots.txt bir sayfanın dizine eklenmesini engeller mi?
Hayır. Taramayı durdurur, ancak başka siteler bağlantı verirse engellenmiş bir URL yine de sonuçlarda görünebilir. Bir sayfayı dizinin dışında tutmak için taramaya izin verin ve noindex meta etiketi ekleyin.

Yapay zekâ eğitimi için hangi tarayıcıları engelleyebilirim?
En bilinenleri GPTBot (OpenAI), Google-Extended (Google'ın yapay zekâ modelleri, Arama'yı etkilemez), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot ve Applebot-Extended'dır. Sahipleri robots.txt'ye uyduklarını söylüyor.