Robots. txt
Robots. txt କୁ Robots Exclusion Standard ର ଅଂଶବିଶେଷ ଭାବେ ବ୍ୟବହାର କରାଯାଇଥାଏ, ଏକ ସ୍ୱେଚ୍ଛାକୃତ ପ୍ରୋଟୋକଲ ଯାହା ଇଣ୍ଟରନେଟ୍ ଆର୍କାଇଭ ସମ୍ମାନ କରେ ଯାହା ବଟଗୁଡ଼ିକୁ ଏହାର ସୃଷ୍ଟିକର୍ତ୍ତାଙ୍କ ଦ୍ୱାରା ସୀମିତ ଭାବେ ବର୍ଣ୍ଣନା କରାଯାଇଥିବା କେତେକ ପୃଷ୍ଠାକୁ ସୂଚୀବଦ୍ଧ କରିବା ପାଇଁ ଅନୁମତି ଦିଏ ନାହିଁ।
ରୋବୋଟ ଏକ୍ସକ୍ଲୁସନ ଷ୍ଟାଣ୍ଡାର୍ଡ ଦ୍ୱାରା ପ୍ରୋତ୍ସାହିତ ଅଧିକାରକୁ ବ୍ୟବହାର କରିବା ପାଇଁ କେଉଁ ଫାଇଲର ବ୍ୟବହାର କରାଯାଇଥାଏ?