Robots. txt
Robots. txt କୁ Robots Exclusion Standard ର ଅଂଶବିଶେଷ ଭାବେ ବ୍ୟବହାର କରାଯାଇଥାଏ, ଏକ ସ୍ୱେଚ୍ଛାକୃତ ପ୍ରୋଟୋକଲ ଯାହା ଇଣ୍ଟରନେଟ୍ ଆର୍କାଇଭ ସମ୍ମାନ କରେ ଯାହା ବଟଗୁଡ଼ିକୁ ଏହାର ସୃଷ୍ଟିକର୍ତ୍ତାଙ୍କ ଦ୍ୱାରା ସୀମିତ ଭାବେ ବର୍ଣ୍ଣନା କରାଯାଇଥିବା କେତେକ ପୃଷ୍ଠାକୁ ସୂଚୀବଦ୍ଧ କରିବା ପାଇଁ ଅନୁମତି ଦିଏ ନାହିଁ।
ଯଦି କୌଣସି ସାଇଟ ଇଣ୍ଟରନେଟ ଆର୍କାଇଭକୁ ରେକର୍ଡିଂରୁ ନିବାରଣ କରିଥାଏ, ତେବେ କେଉଁ ଫାଇଲ ଏବେବି ସଂରକ୍ଷିତ ଅଛି?