Создаем файл robots.txt

robots txt - Создаем файл robots.txt

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Синтаксис robots.txt

User-agent: *

# - запретить индексацию. новый раздел указывается через слеш до и после (/). важно: новый блок раздела - новый дисалоу
Disallow: /backup/
Disallow: /images/
Disallow: /files/

# - как НЕ нужно индексировать сайт
Disallow:host: www.artemmian.ru 
#указываем карту сайта
sitemap: https://artemmian.ru/sitemap.xml

Подробнее о robots.txt на сайте Яндекса

Читайте также

Похожие записи

SEO, как инструмент рекламы в интернет бизнесе
Понятие «SEO-оптимизация» появилось практически параллельно с появлением первых поисковых систем. Основным алгоритмом поиска было совпадение текста на сайте с поисковым...
Почему для поднятия позиций сайта требуются месяцы?
Для того, чтобы сайт поднялся на самые высокие позиции, его необходимо привести в соответствие требованиям поисковых систем. Поисковая система —...
EWS — скрипт для мгновенного ручного парсинга выдачи Yandex.Wordstat
Yandex Wordstat — безусловно, один из лучших инструментов по подбору ключевых слов под SEO. Собственный сервис от поисковой системы сливает...
Как продвигать сайт самостоятельно — с чего начать?
Продвижение сайта всегда начинается с внутренней оптимизации. Лучше всего начинать оптимизацию, непосредственно, со старта разработки. Почему мы говорим, что оптимизация...
SEO — популярные заблуждения при выборе ссылочной стратегии
Покупка ссылок ощутимо влияет на сео продвижение сайта, является важнейшей его частью и до сих пор будоражит сознание многих оптимизаторов....

Комментарии

Бесполезно писать спамные сообщения. Все комментарии проверяются;
Можно оставлять ссылки (через <a href), если они несут полезную информацию или дополняют статью;

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *