உங்கள் வலைத்தளத்தின் மூலத்தில் சேமிக்கப்பட்டுள்ள ஒரு robots.txt கோப்பு, தேடுபொறியைச் சிதறடித்த வலை ரோபோக்கள், என்ன அடைவுகள் மற்றும் கோப்புகளில் அவை வலைவலம் செய்ய அனுமதிக்கின்றன என்பதைத் தெரிவிக்கும். ஒரு robots.txt கோப்பை பயன்படுத்த எளிதானது, ஆனால் நீங்கள் நினைவில் கொள்ள வேண்டிய சில விஷயங்கள் உள்ளன:
- கருப்பு தொப்பி வலை ரோபோக்கள் உங்கள் robots.txt கோப்பை புறக்கணிக்கும். மிகவும் பொதுவான வகைகள் தீம்பொருள் போட்களாகும் மற்றும் ரோபோக்கள் அறுவடை செய்ய மின்னஞ்சல் முகவரிகளை தேடுகின்றன.
- சில புதிய புரோகிராமர்கள் robots.txt கோப்பை புறக்கணிக்கும் ரோபோக்களை எழுதுவார்கள். இது பொதுவாக தவறாக செய்யப்படுகிறது.
- யாரும் உங்கள் robots.txt கோப்பை பார்க்க முடியும். அவர்கள் எப்போதும் robots.txt என அழைக்கப்படுவர், எப்போதும் வலைத்தளத்தின் மூலையில் சேமிக்கப்படுவார்கள்.
- கடைசியாக, உங்கள் robots.txt கோப்பில் இருந்து விலக்கப்படாத பக்கத்திலிருந்து உங்கள் robots.txt கோப்பினைக் காட்டிய கோப்பு அல்லது கோப்பகத்தில் யாரோ ஒருவர் இணைத்தால், தேடுபொறிகள் அதைக் கண்டறிந்து இருக்கலாம்.
முக்கியமான எதையும் மறைக்க, robots.txt கோப்புகளை பயன்படுத்த வேண்டாம். அதற்கு பதிலாக, பாதுகாப்பான கடவுச்சொற்களைப் பின்வருவனவற்றில் முக்கியமான தகவலை நீங்கள் வைக்க வேண்டும் அல்லது வலை முழுவதையும் முழுவதுமாக விட்டுவிட வேண்டும்.
இந்த மாதிரி கோப்புகள் எப்படி பயன்படுத்துவது
நீங்கள் என்ன செய்ய வேண்டும் என்பதற்கு மிகவும் நெருக்கமான மாதிரி இருந்து உரை நகலெடுத்து உங்கள் robots.txt கோப்பில் ஒட்டவும். உங்கள் விருப்பமான கட்டமைப்புடன் பொருந்தும்படி ரோபோ, அடைவு மற்றும் கோப்பு பெயர்களை மாற்றவும்.
இரண்டு அடிப்படை Robots.txt கோப்புகள்
பயனர்-முகவர்: *
அனுமதிக்காதே: /
இந்த கோப்பு எந்த ரோபோ (பயனர்-முகவர்: *) அணுகுவதென்பது, தளத்தின் ஒவ்வொரு பக்கத்தையும் புறக்கணிக்க வேண்டும் (அனுமதிக்காதே: /).
பயனர்-முகவர்: *
அனுமதிக்காதே:
இந்த கோப்பு எந்த ரோபோ (பயனர்-முகவர்: *) அணுகுவதென்பது, தளத்தின் ஒவ்வொரு பக்கத்தையும் பார்வையிட அனுமதிக்கப்படுகிறது (அனுமதிக்காதே).
உங்கள் robots.txt கோப்பை வெறுமையாக்குவதன் மூலமோ அல்லது உங்கள் தளத்திலுள்ள ஒன்றைக் கொண்டிராததன் மூலமோ இதை செய்யலாம்.
ரோபாட்களிலிருந்து குறிப்பிட்ட கோப்பகங்களை பாதுகாக்கவும்
பயனர்-முகவர்: *
அனுமதிக்காதே: / cgi-bin /
அனுமதிக்காதே: / தற்காலிக /
அணுகக்கூடிய எந்த ரோபோ (பயனர்-முகவர்: *) இது அடைவுகள் / cgi-bin / மற்றும் / temp / (அனுமதிக்காது: / cgi-bin / disallow: / temp /) ஐ தவிர்க்க வேண்டும் என்று இந்த கோப்பு கூறுகிறது.
ரோபோக்கள் இருந்து குறிப்பிட்ட பக்கங்கள் பாதுகாக்க
பயனர்-முகவர்: *
அனுமதிக்காதே: /jenns-stuff.htm
அனுமதிக்காதே: /private.php
இந்த கோப்பு அணுகும் எந்த ரோபோ (பயனர் முகவர்: *) அதை கோப்புகளை /jenns-stuff.htm மற்றும் /private.php புறக்கணிக்க வேண்டும் (அனுமதிக்க கூடாது: /jenns-stuff.htm அனுமதி: / / Private.php).
உங்கள் தளத்தை அணுகுவதில் இருந்து ஒரு குறிப்பிட்ட ரோபோவை தடுக்கவும்
பயனர்-முகவர்: Lycos / xx
அனுமதிக்காதே: /
Lycos bot (User-agent: Lycos / xx) தளத்தில் எங்கும் அணுகலை அனுமதிக்காது என்று இந்த கோப்பு கூறுகிறது (அனுமதிக்காதது: /).
ஒரு குறிப்பிட்ட ரோபோ அணுகலை மட்டும் அனுமதிக்கவும்
பயனர்-முகவர்: *
அனுமதிக்காதே: /
பயனர்-முகவர்: Googlebot
அனுமதிக்காதே:
இந்த கோப்பு முதல் நாம் மேலே செய்ததைப்போல அனைத்து ரோபோக்களையும் அனுமதிக்காது, பின்னர் Googlebot (பயனர்-முகவர்: Googlebot) அனைத்தையும் அணுகுவதற்கு வெளிப்படையாக அனுமதிக்கின்றது (அனுமதிக்காதே).
நீங்கள் விரும்பும் சரியான விலக்குகளை பெற பல கோடுகள் இணைக்க
பயனர்-முகவரைப் போலவே, ஒரு உள்ளடங்கிய பயனர்-முகவரகத்தைப் பயன்படுத்துவது நல்லது: *, நீங்கள் விரும்பியவாறே குறிப்பிட்டவராக இருக்கலாம். அந்த ரோபோக்கள் படிப்படியாக படிக்கும்படி நினைவில் கொள்ளவும். முதல் வரிசைகள் எல்லா ரோபோட்களையும் எல்லாம் தடுக்கின்றன, பின்னர் பின்னர் கோப்பில் இருக்கும் அனைத்து ரோபோட்களும் எல்லாவற்றையும் அணுக அனுமதிக்கின்றன, ரோபோக்கள் எல்லாவற்றையும் அணுக முடியும்.
நீங்கள் உங்கள் robots.txt கோப்பை சரியாக எழுதவில்லை என்பதை உறுதியாக தெரியாவிட்டால், உங்கள் robots.txt கோப்பை சரிபார்க்க அல்லது புதிய ஒன்றை எழுத Google இன் வெப்மாஸ்டர் கருவிகளைப் பயன்படுத்தலாம்.