logo

Создаем файл robots.txt

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Синтаксис robots.txt

User-agent: * 

# - запретить индексацию. новый раздел указывается через слеш до и после (/). важно: новый блок раздела - новый дисалоу 
Disallow: /backup/
Disallow: /images/
Disallow: /files/

# - как НЕ нужно индексировать сайт
Disallow:host: www.artemmian.ru 

#указываем карту сайта
sitemap: https://artemmian.ru/sitemap.xml

Подробнее о robots.txt на сайте Яндекса

Похожие записи


Как продвинуть молодой сайт и занять место в Google
Запуск нового сайта — это всегда волнительно и ответственно. Многие владельцы бизнеса или блогеры надеются, что сайт сразу начнёт приносить...
5 ошибок начинающих SEO-специалистов и как их избежать
SEO постоянно развивается, появляются новые алгоритмы и подходы к продвижению сайтов. Новички часто сталкиваются с одними и теми же подводными...
Контекстная реклама в Минске: почему стоит выбрать Империю Seo для настройки в Яндексе и Google
Контекстная реклама стала неотъемлемой частью успешной маркетинговой стратегии для бизнеса любого масштаба. В Минске, где конкуренция на рынке постоянно растет,...
Каталоги в современном SEO: реально ли получить качественную обратную ссылку
Каталоги — это сайты, где владельцы бизнеса размещают информацию о своих товарах, услугах. Чем авторитетнее каталог, тем желаннее для владельца...
Первые шаги в SEO: с чего начать продвижение сайта
SEO продвижение для молодого сайта в 2023 году — крайне непростая задача. Выдача переполнена старыми трастовыми сайтами, которые так просто...

Комментарии

Добавить комментарий