റോബോട്ടുകൾ ഒഴിവാക്കൽ മാനദണ്ഡം
സെർച്ച് ഫലങ്ങളിൽ പ്രത്യക്ഷപ്പെടാനോ കാഷ് ചെയ്യപ്പെടാനോ ഇഷ്ടപ്പെടാത്ത വെബ്സൈറ്റുകൾക്കുള്ള റോബോട്ടിന്റെ ഒഴിവാക്കൽ മാനദണ്ഡത്തെ ഈ ക്രോളർമാർ ബഹുമാനിക്കുന്നു.
ഏതൊക്കെ സൈറ്റുകൾ റെക്കോർഡ് ചെയ്യണമെന്ന് തീരുമാനിക്കുമ്പോൾ ക്രൌളർമാർ ഏതു നിയമം അനുസരിക്കുന്നു?