Создаем файл robots.txt

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Синтаксис robots.txt

User-agent: * 

# - запретить индексацию. новый раздел указывается через слеш до и после (/). важно: новый блок раздела - новый дисалоу 
Disallow: /backup/
Disallow: /images/
Disallow: /files/

# - как НЕ нужно индексировать сайт
Disallow:host: www.artemmian.ru 

#указываем карту сайта
sitemap: https://artemmian.ru/sitemap.xml

Подробнее о robots.txt на сайте Яндекса

Похожие записи

Тренды в SEO для украинских бренд-медиа в 2023 году
В Украинских СМИ с 24 февраля 2022 года в SEO и поисковой оптимизации сайтов произошли тектанические сдвиги.  Процесс отказа от...
Поисковые апдейты: способы отслеживания и какими бывают
Апдейт (от англ. update) — обновление поисковой выдачи, при котором меняются результат для конечных пользователей.  Почти всегда после апдейта в...
Digital тренды 2023: что будет актуально в цифровом бизнесе в этом году
Цифровой маркетинг не стоит на месте и продолжает развиваться. Причем, налицо явная смена тренда на рекламу в интернете и постепенное...
Тренды в SEO и продвижении сайтов на 2023 год
Базовые принципы SEO продвижения остаются неизменными многие годы: качественные тексты, оптимизация сайта, ссылки и т.д. Но инструменты и методы работы...
Факторы ранжирования, которые важно учитывать при формировании контент-маркетинга
Контент важен. Пользователи приходят за ответами на свои вопросы. Их не интересует красивый интерфейс, быстрая загрузка и оптимизированные страницы. В...

Добавить комментарий