Создаем файл robots.txt

robots txt - Создаем файл robots.txt

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Синтаксис robots.txt

User-agent: * 

# - запретить индексацию. новый раздел указывается через слеш до и после (/). важно: новый блок раздела - новый дисалоу 
Disallow: /backup/
Disallow: /images/
Disallow: /files/

# - как НЕ нужно индексировать сайт
Disallow:host: www.artemmian.ru 

#указываем карту сайта
sitemap: https://artemmian.ru/sitemap.xml

Подробнее о robots.txt на сайте Яндекса

Читайте также

Похожие записи

Views.su — продвижение музыки через накрутку прослушиваний VK
Стать узнаваемым музыкантом очень дорогое удовольствие. Можно быть никем с талантом, а можно стать звездой с посредственными данными при правильном...
Продвижение в 2021 — SEO или контент-маркетинг
Правильный ответ — оба варианты и много чего еще. Вопрос лишь в распределении усилий и бюджетов. Нельзя запускать в продакшн...
Зачем сайту нужна перелинковка
Перелинковка сайта – это связывание страниц между собой с помощью проставления гиперссылок. Этот инструмент применяется в различных целях. Наиболее значимыми...
Парсинг и продвижение поисковыми подсказками
Поисковые подсказки — очень крутой и ходовой инструмент для пользователей. Помогает сократить объем набираемого текста и попасть в «правильный» запрос....
SEO в 2020 — оценка эффективности продвижения сайта
После выполнения работ по продвижению сайта необходимо провести анализ полученных результатов. Для этого необходимо ценить использованные методы и технологии. Это...

Комментарии

Бесполезно писать спамные сообщения. Все комментарии проверяются;
Можно оставлять ссылки (через <a href), если они несут полезную информацию или дополняют статью;

Добавить комментарий