На скриншоте выше данные с webmaster.yandex этого сайта artemmian.ru на которых видно, что проиндексировано 48318, но из них в поиске всего 321. Как минимум 40 тыс. страниц заслужили этот фильтр, остальные 8к – спорно, но тоже заслужили мусорку, а именно:
- страницы профилей пользователей, а их у меня свыше 70 тыс. доступны для индекации и выстроены в специальном каталоге по алфавиту;
- страницы с тегами так же доступны для индексации и их так же очень много
Вот собственно и есть искусственная накрутка страниц, но яндекс не дурак и научился отсеивать поисковый мусор. Это главная причина отсеивания страниц!
Так же основными проблемами плохой индексации являются:
Карта сайта
Поисковый робот не может в реальном времени отслеживать обновления на всех сайтах сразу и на обработку поступающей информации требуется определенное время.
Также на некоторые статьи может отсутствовать прямая ссылка или цепочка переходов с главной страницы.
Техническая оптимизация
Из-за ошибок в технической оптимизации сайта, часть страниц может оказаться заблокированной для индексации, а именно:
- запрет роботу на индексирование разделов или отдельных страниц через robots.txt;
- запрет индексирования через meta-robots, размещаемый между head и являющийся аналогом robots.txt;
- тег noindex;
- нет страницы ошибок для 403 и 404
Санкции поисковых систем
- черное seo;
- создан для торговли ссылками;
- плохая история домена;
Технические ошибки
- некорректный http заголовок;
- кривой doctype;
- кривые редиректы, например 301;
- сайт с www и без это абсолютно разные сайты и может индексироваться немного не то;
- проблема с кодировкой, когда мы видим “крякозябры” вместо текста;
Переспамленность
- ворованный контент;
- статья частично или полностью повторяется на сайте и может не попасть в выдачу;
- одинаковые или близкие заголовки так же не любят поисковые системы;
- мало текста, оптимальный размер свыше 500 символов;
- плохая скорость загрузки сайта;
Обращая внимание на эти факторы можно решить много проблем с индексацией!