Trình tạo và kiểm tra Robots.txt

Trình tạo và kiểm tra robots.txt miễn phí: tạo quy tắc cho Googlebot, Bingbot và crawler AI, rồi kiểm tra URL có bị chặn không theo quy tắc khớp của Google.

Xem thêm: Trình tạo meta tag · Trình tạo Open Graph · Trình tạo liên kết UTM

Công cụ này làm gì

robots.txt nằm ở thư mục gốc của trang web và cho crawler biết chúng được lấy những đường dẫn nào. Các quy tắc được nhóm theo user agent; crawler theo nhóm cụ thể nhất có tên nó, hoặc nhóm *. Trong một nhóm, quy tắc có đường dẫn khớp dài nhất thắng và allow thắng khi hòa; * khớp mọi chuỗi và $ đánh dấu cuối URL. Chặn trang trong robots.txt không gỡ trang khỏi kết quả tìm kiếm: hãy dùng thẻ noindex.

Cách sử dụng

  1. Ở tab Tạo, chọn cho phép hay chặn gì, thêm crawler AI và sitemap của bạn.
  2. Sao chép kết quả vào tệp tên robots.txt ở thư mục gốc của trang web.
  3. Ở tab Kiểm tra, dán robots.txt bất kỳ và kiểm tra một URL với crawler nhất định.

Câu hỏi thường gặp

robots.txt có ngăn trang bị lập chỉ mục không?
Không. Nó chỉ ngăn thu thập dữ liệu, nhưng URL bị chặn vẫn có thể hiện trong kết quả nếu trang khác liên kết tới. Để giữ trang khỏi chỉ mục, hãy cho phép thu thập và thêm thẻ meta noindex.

Tôi có thể chặn crawler nào để ngăn huấn luyện AI?
Phổ biến nhất là GPTBot (OpenAI), Google-Extended (mô hình AI của Google, không ảnh hưởng Search), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot và Applebot-Extended. Chủ sở hữu cho biết họ tôn trọng robots.txt.