Создаем файл robots.txt

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Синтаксис robots.txt

User-agent: * 

# - запретить индексацию. новый раздел указывается через слеш до и после (/). важно: новый блок раздела - новый дисалоу 
Disallow: /backup/
Disallow: /images/
Disallow: /files/

# - как НЕ нужно индексировать сайт
Disallow:host: www.artemmian.ru 

#указываем карту сайта
sitemap: https://artemmian.ru/sitemap.xml

Подробнее о robots.txt на сайте Яндекса