Создаем файл robots.txt

robots txt - Создаем файл robots.txt

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Синтаксис robots.txt

User-agent: * 

# - запретить индексацию. новый раздел указывается через слеш до и после (/). важно: новый блок раздела - новый дисалоу 
Disallow: /backup/
Disallow: /images/
Disallow: /files/

# - как НЕ нужно индексировать сайт
Disallow:host: www.artemmian.ru 

#указываем карту сайта
sitemap: https://artemmian.ru/sitemap.xml

Подробнее о robots.txt на сайте Яндекса

Читайте также

Похожие записи

Парсинг и продвижение поисковыми подсказками
Поисковые подсказки — очень крутой и ходовой инструмент для пользователей. Помогает сократить объем набираемого текста и попасть в «правильный» запрос....
SEO в 2020 — оценка эффективности продвижения сайта
После выполнения работ по продвижению сайта необходимо провести анализ полученных результатов. Для этого необходимо ценить использованные методы и технологии. Это...
Nofollow-ссылки не зло и не вредят SEO. Разбираемся с очередным мифом поисковой оптимизации
С точки зрения SEO nowollow ссылки не имеют смысла т.к. считаются поисковыми системами таковыми, что не передают вес, а значит...
Контекстолог — кто такой и что делает или необычные профессии SEO
В современном SEO все становится все сложнее совмещать различные задачи в рамках одного специалиста. Так появился контекстолог — специалист по...
Digital агентство ВЕДЕНИЕ САЙТОВ
Наверное, каждый задумывался о качественном и продающем сайте? Сегодня мы расскажем об агентстве, которое поможет в реализации даже самых смелых...

Комментарии

Бесполезно писать спамные сообщения. Все комментарии проверяются;
Можно оставлять ссылки (через <a href), если они несут полезную информацию или дополняют статью;

Добавить комментарий