ସ୍ବେଚ୍ଛାକୃତ
Robots. txt କୁ Robots Exclusion Standard ର ଅଂଶବିଶେଷ ଭାବେ ବ୍ୟବହାର କରାଯାଇଥାଏ, ଏକ ସ୍ୱେଚ୍ଛାକୃତ ପ୍ରୋଟୋକଲ ଯାହା ଇଣ୍ଟରନେଟ୍ ଆର୍କାଇଭ ସମ୍ମାନ କରେ ଯାହା ବଟଗୁଡ଼ିକୁ ଏହାର ସୃଷ୍ଟିକର୍ତ୍ତାଙ୍କ ଦ୍ୱାରା ସୀମିତ ଭାବେ ବର୍ଣ୍ଣନା କରାଯାଇଥିବା କେତେକ ପୃଷ୍ଠାକୁ ସୂଚୀବଦ୍ଧ କରିବା ପାଇଁ ଅନୁମତି ଦିଏ ନାହିଁ।
ରୋବଟଗୁଡିକର ବର୍ଜନ ମାନକ କିପରି?