റോബോട്ടുകൾ. txt
റോബോട്ട്സ് എക്സ്ക്ലൂഷൻ സ്റ്റാൻഡേർഡിന്റെ ഭാഗമായി റോബോട്ട്സ്. txt ഉപയോഗിക്കുന്നു, ഇന്റർനെറ്റ് ആർക്കൈവ് ബഹുമാനിക്കുന്ന ഒരു സ്വമേധയാ പ്രോട്ടോക്കോളായ ഇത് സ്രഷ്ടാവ് നിർവചിച്ച ചില പേജുകളെ ഓഫ്-ലിമിറ്റുകളായി സൂചികപ്പെടുത്തുന്നതിൽ നിന്ന് ബോട്ടുകളെ അനുവദിക്കുന്നില്ല.
ഒരു സൈറ്റ് ഇൻറർനെറ്റ് ആർക്കൈവ് റെക്കോർഡ് ചെയ്യുന്നതിനെ തടഞ്ഞാൽ, ഏത് ഫയൽ ഇപ്പോഴും സംരക്ഷിക്കപ്പെടുന്നു?