தேடும் பட்டியலில் இருந்து தேவையற்ற உள்ளடக்கத் தரவுகளைத் தவிர்ப்பதற்காக, களத்தின் முதன்மை கோப்பகத்தில் நிலையாக இருக்கும் robots.txt கோப்பின் மூலமாக, சில குறிப்பிட்ட கோப்புகள் அல்லது கோப்பகங்களைக் தவழுகை செய்ய வேண்டாம் என்று வலைத்தலைமைகள் உளவிகளுக்கு தகவல் அனுப்பிவிடும். மேலும், robots-க்கு ஏற்ற ஒரு குறிப்பிட்ட முதன்மை குறிச்சொல்லைப் பயன்படுத்தி தேடுபொறியின் தரவுகளஞ்சியத்தில் இருந்து ஒரு வலைப்பக்கத்தை வெளியில் எடுத்துவிடும். ஒரு வலைத்தளத்தை ஒரு தேடுபொறி பார்வையிடும் போது, முதன்மை கோப்பகத்தில் இருக்கும் robots.txt என்ற கோப்பு தான் முதலில் தவழுகை செய்யப்படும். பிறகு இந்த robots.txt கோப்பை விட்டுவிட்டு, அது எந்தெந்த பக்கங்களைக் தவழுகை செய்ய வேண்டியதில்லை என்பதை robots-க்கு தெரிவிக்கும். ஒரு தேடுபொறி தவழுமி இந்த கோப்பின் ஒரு சேமிப்பு நகலை வைத்திருக்கும் என்பதால், தவழுகை செய்ய வேண்டாம் என்று வலைத்தலைமை விரும்பும் பக்கங்களை இது எப்போதாவது தான் தவழுகை செய்யும். பொதுவாக, இணைய விற்பனை கூடைகள் மற்றும் உள்தேடுதல்களில் இருந்து கிடைத்த தேடல் முடிவுகள் போன்ற பயனரின் பிரத்யேக உள்ளடக்க தரவுகள் போன்ற உள்நுழைவு தேவைப்படும் குறிப்பிட்ட பக்கங்கள் உட்பட சில பக்கங்கள் தவழுகை செய்யப்படுவது தடுக்கப்பட்டிருக்கும். உள்தேடல் முடிவுகளில் கிடைக்கும் பக்கங்கள் தேடல் மோசடிதரவு என்பதால், உள்தேடல் முடிவுகளைப் பட்டியலிடுவதை வலைத்தலைமைகள் நிறுத்தி கொள்ள வேண்டும் என்று கூகுள் 2007 மார்ச்சில் எச்சரிக்கை விடுத்தது.

தவழுகையைத் தடுத்தல்
உள்ளடக்கத்தில் சேர்க்க
தேடுபொறிகளுடனான தொடர்பு
நுட்பங்கள்