Создаем файл robots.txt

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Синтаксис robots.txt

User-agent: * 

# - запретить индексацию. новый раздел указывается через слеш до и после (/). важно: новый блок раздела - новый дисалоу 
Disallow: /backup/
Disallow: /images/
Disallow: /files/

# - как НЕ нужно индексировать сайт
Disallow:host: www.artemmian.ru 

#указываем карту сайта
sitemap: https://artemmian.ru/sitemap.xml

Подробнее о robots.txt на сайте Яндекса

Похожие записи

Digital тренды 2023: что будет актуально в цифровом бизнесе в этом году
Цифровой маркетинг не стоит на месте и продолжает развиваться. Причем, налицо явная смена тренда на рекламу в интернете и постепенное...
Тренды в SEO и продвижении сайтов на 2023 год
Базовые принципы SEO продвижения остаются неизменными многие годы: качественные тексты, оптимизация сайта, ссылки и т.д. Но инструменты и методы работы...
Факторы ранжирования, которые важно учитывать при формировании контент-маркетинга
Контент важен. Пользователи приходят за ответами на свои вопросы. Их не интересует красивый интерфейс, быстрая загрузка и оптимизированные страницы. В...
Продуктовое SEO — продвижение продуктов питания в интернете
Продуктовое SEO — это ниша с высокой конкуренцией и низкой лояльностью аудитории. А все из-за того, что главным фактором здесь...
Длинные домены — нужны ли они и почему ценятся короткие имена
С точки зрения маркетинга и психологии короткий домен имеет преимущества не только в запоминании, но и в скорости написания. К...

Добавить комментарий