The standard specifies how to inform the web robot about which areas of the website should not be processed or scanned.
Стандарт визначає, як повідомити веб-робота про те, які частини веб-сайту не повинні бути оброблені або відскановані.