Создаем файл robots.txt

Раздел: Веб разработка » Оптимизация и SEO

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Основной синтаксис:

User-agent: *
# - запретить индексацию. новый раздел указывается через слеш до и после (/). важно: новый блок раздела - новый дисалоу
Disallow: /backup/
Disallow: /images/
Disallow: /files/
# - как НЕ нужно индексировать сайт подробнее
Disallow:host: www.artemmian.ru
#указываем карту сайта
sitemap: https://artemmian.ru/sitemap.xml подробнее

User-agent: * - для всех поисковых роботов
# - комментарий для файлов robots.txt

Подробнее о robots.txt на сайте яндекса

« Шерлок / Sherlock 3-й сезон от...

Карта сайта строим sitemap.xml »

Понравилась статья "Создаем файл robots.txt" из раздела Веб разработка » Оптимизация и SEO? Подпишись на RSS. Будь в курсе всего происходящего на сайте

Комментариев: 0 • Просмотров: 2735 Дата: 22-дек-2011, 18:35 Автор: devarts