Создаем файл robots.txt

robots txt - Создаем файл robots.txt

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Синтаксис robots.txt

User-agent: * 

# - запретить индексацию. новый раздел указывается через слеш до и после (/). важно: новый блок раздела - новый дисалоу 
Disallow: /backup/
Disallow: /images/
Disallow: /files/

# - как НЕ нужно индексировать сайт
Disallow:host: www.artemmian.ru 

#указываем карту сайта
sitemap: https://artemmian.ru/sitemap.xml

Подробнее о robots.txt на сайте Яндекса

Читайте также

Похожие записи

Почему для поднятия позиций сайта требуются месяцы?
Для того, чтобы сайт поднялся на самые высокие позиции, его необходимо привести в соответствие требованиям поисковых систем. Поисковая система —...
EWS — скрипт для мгновенного ручного парсинга выдачи Yandex.Wordstat
Yandex Wordstat — безусловно, один из лучших инструментов по подбору ключевых слов под SEO. Собственный сервис от поисковой системы сливает...
Как продвигать сайт самостоятельно — с чего начать?
Продвижение сайта всегда начинается с внутренней оптимизации. Лучше всего начинать оптимизацию, непосредственно, со старта разработки. Почему мы говорим, что оптимизация...
SEO — популярные заблуждения при выборе ссылочной стратегии
Покупка ссылок ощутимо влияет на сео продвижение сайта, является важнейшей его частью и до сих пор будоражит сознание многих оптимизаторов....
Реклама в Youtube — виды, особенности, нюансы
Youtube уже давно вышел за рамки просто социальной сети вполне может потягаться с Google за право называться альтернативной поисковой системой....

Комментарии

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *