Robots.txt உருவாக்கி மற்றும் சோதனையாளர்
இலவச robots.txt உருவாக்கி மற்றும் சோதனையாளர்: Googlebot, Bingbot, AI crawler-களுக்கு விதிகளை உருவாக்கி, URL தடுக்கப்பட்டதா எனப் பாருங்கள்.
மேலும்: மெட்டா டேக் ஜெனரேட்டர் · Open Graph ஜெனரேட்டர் · UTM இணைப்பு உருவாக்கி
இது என்ன செய்கிறது
robots.txt தளத்தின் மூலத்தில் இருக்கும்; எந்த path-களை எடுக்கலாம் என crawler-களுக்குச் சொல்லும். விதிகள் user agent வாரியாகத் தொகுக்கப்படும்; crawler தன் பெயரைக் குறிப்பிடும் மிகத் துல்லியமான தொகுப்பை அல்லது * தொகுப்பைப் பின்பற்றும். தொகுப்பினுள், மிக நீளமான path பொருந்தும் விதி வெல்லும்; சமநிலையில் allow வெல்லும்; * எந்த வரிசையுடனும் பொருந்தும், $ URL-இன் முடிவைக் குறிக்கும். robots.txt-இல் ஒரு பக்கத்தைத் தடுப்பது தேடல் முடிவுகளிலிருந்து அதை நீக்காது: அதற்கு noindex குறிச்சொல்லைப் பயன்படுத்துங்கள்.
எப்படிப் பயன்படுத்துவது
- உருவாக்கு தாவலில், எதை அனுமதிக்க அல்லது தடுக்க வேண்டும் எனத் தேர்ந்தெடுத்து, AI crawler-களையும் உங்கள் sitemap-ஐயும் சேர்க்கவும்.
- முடிவை உங்கள் தளத்தின் மூலத்தில் robots.txt என்ற கோப்பில் நகலெடுக்கவும்.
- சோதி தாவலில், எந்த robots.txt-ஐயும் ஒட்டி, குறிப்பிட்ட crawler-க்கு ஒரு URL-ஐச் சரிபார்க்கவும்.
அடிக்கடி கேட்கப்படும் கேள்விகள்
robots.txt ஒரு பக்கம் index ஆவதைத் தடுக்குமா?
இல்லை. அது crawl செய்வதைத் தடுக்கும், ஆனால் பிற தளங்கள் இணைத்திருந்தால் தடுக்கப்பட்ட URL முடிவுகளில் வரலாம். பக்கத்தை index-இலிருந்து விலக்க, crawl செய்ய அனுமதித்து noindex meta tag சேர்க்கவும்.
AI பயிற்சிக்கு எந்த crawler-களைத் தடுக்கலாம்?
மிகவும் அறியப்பட்டவை GPTBot (OpenAI), Google-Extended (Google-இன் AI மாதிரிகள், Search-ஐப் பாதிக்காமல்), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot, Applebot-Extended. இவற்றின் உரிமையாளர்கள் robots.txt-ஐ மதிப்பதாகக் கூறுகின்றனர்.