রোবট বর্জন মান
"এই" "ক্রলার" "ওয়েবসাইটগুলির জন্য রোবটগুলির বর্জন মানদণ্ডকেও সম্মান করে, যার মালিকরা তাদের অনুসন্ধানের ফলাফলে উপস্থিত না হতে বা ক্যাশ হতে পছন্দ করে।"
কোন সাইটগুলো রেকর্ড করা হবে, তা নির্ধারণ করার সময় ক্রলাররা কোন নিয়ম মেনে চলে?