Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Синтаксис robots.txt
User-agent: *
# - запретить индексацию. новый раздел указывается через слеш до и после (/). важно: новый блок раздела - новый дисалоу
Disallow: /backup/
Disallow: /images/
Disallow: /files/
# - как НЕ нужно индексировать сайт
Disallow:host: www.artemmian.ru
#указываем карту сайта
sitemap: https://artemmian.ru/sitemap.xml
