ตัวสร้างและทดสอบ Robots.txt

ตัวสร้างและทดสอบ robots.txt ฟรี: สร้างกฎสำหรับ Googlebot, Bingbot และ crawler ของ AI แล้วตรวจว่า URL ถูกบล็อกหรือไม่ตามกฎการจับคู่ของ Google

ดูเพิ่ม: ตัวสร้าง Meta Tag · ตัวสร้าง Open Graph · ตัวสร้างลิงก์ UTM

ใช้ทำอะไร

robots.txt อยู่ที่รากของเว็บไซต์และบอก crawler ว่าดึง path ใดได้บ้าง กฎถูกจัดกลุ่มตาม user agent โดย crawler จะใช้กลุ่มที่เจาะจงที่สุดที่ระบุชื่อมัน หรือกลุ่ม * ภายในกลุ่ม กฎที่ path ตรงกันยาวที่สุดชนะ และ allow ชนะเมื่อเสมอ * ตรงกับลำดับใด ๆ และ $ ระบุจุดสิ้นสุดของ URL การบล็อกหน้าใน robots.txt ไม่ได้เอาหน้าออกจากผลการค้นหา: ให้ใช้แท็ก noindex

วิธีใช้

  1. ในแท็บสร้าง เลือกสิ่งที่จะอนุญาตหรือบล็อก เพิ่ม crawler ของ AI และ sitemap ของคุณ
  2. คัดลอกผลลัพธ์ไปไว้ในไฟล์ชื่อ robots.txt ที่รากของเว็บไซต์
  3. ในแท็บทดสอบ วาง robots.txt ใด ๆ แล้วตรวจ URL สำหรับ crawler ที่ระบุ

คำถามที่พบบ่อย

robots.txt ป้องกันไม่ให้หน้าถูกจัดทำดัชนีหรือไม่
ไม่ มันหยุดการ crawl แต่ URL ที่ถูกบล็อกยังอาจปรากฏในผลลัพธ์ได้หากเว็บอื่นลิงก์มา หากไม่ต้องการให้หน้าอยู่ในดัชนี ให้อนุญาตการ crawl แล้วเพิ่ม meta tag noindex

crawler ใดที่บล็อกได้เพื่อไม่ให้ใช้ฝึก AI
ที่รู้จักมากที่สุดคือ GPTBot (OpenAI), Google-Extended (โมเดล AI ของ Google โดยไม่กระทบ Search), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot และ Applebot-Extended เจ้าของระบุว่าเคารพ robots.txt