web разработка по низким ценам
ул. Шевченко, 37а / офис 1
Украина, ЧО, г. Нежин
+38 068 681 00 08
ежедневно с 08:00 до 22:00
Оставьте заявку, и мы перезвоним вам в течении 15 минут
отправить
Представьтесь пожалуйста *Например, Виктор Смирнов
Ваш номер телефона *Например, +38 (068)-681-00-08
Примечание для оператораНапример, Пожалуйста, свяжитесь со мной во второй половине дня
* - поля, обязательные для заполнения
x
Оставьте заявку, и мы свяжемся с вами в ближайшее время
отправить
Тема обращенияНапример, Требуется продвижение сайта
Представьтесь пожалуйстаНапример, Виктор Смирнов
Ваш номер телефонаНапример, +38 (068)-681-00-08
Ваш e-mailНапример, youname@site.com
Сообщение для оператораНапример, Пожалуйста, помогите мне определиться с тарифом
Все поля, обязательны для заполнения
x
» Как улучшить индексацию сайта

Как улучшить индексацию сайта

Опубликовано: 05.01.2017 в 15:55

Часто веб-мастера сталкиваются с проблемой, когда страницы их сайта не могут неделями попасть в индекс поисковых систем Google и Яндекс. Особенно актуальна ситуация с последней поисковой системой – новые страницы появляются намного позже, чем в Google. К тому же апдейты поисковой системы Яндекс случаются не настолько часто, как бы нам этого хотелось. И ниже рассмотрим, как улучшить индексацию сайта, приведем самые эффективные способы.

Что влияет на частоту индексации сайта поисковиками

  • Качество хостинга (загруженность сервера).

Если на хостинге находится много других сайтов, а его технические характеристики не позволяют быстро справляться с запросами робота, он начинает посещать сайт намного реже. Поэтому ему понадобится больше времени, чтобы проиндексировать ресурс.

  • Частота обновления сайта.

Поисковики отслеживают частоту обновления контента на сайте, определяют, с какой периодичностью нужно его посещать. Чем чаще Вы публикуете новые материалы на сайте, тем чаще поисковые роботы будут его посещать.

  • Поведенческие факторы (интерес пользователей к сайту).

Поисковики могут пересмотреть политику планирования и заходить на сайт чаще, чем на нем регулярно появляются новые материалы, которые интересуют пользователей (к примеру, статьи, новости): пользователи задерживаются на сайте, добавляют сайт в закладки, активно переходят по внутренним страницам, делятся материалами в социальных сетях и т.д.

Как улучшить индексацию сайта в Google и Яндекс

За один визит поисковый робот индексирует определенное число страниц согласно выделенной квоте (она зависит от многих параметров сайта). То есть если бот посетил Ваш ресурс, это еще не значит, что он его обязательно проиндексирует и включит все страницы в свою базу. Поэтому важно, чтобы робот-индексатор не просто посетил Ваш веб-проект, но и включил в свою базу все измененные и новые страницы сайта.

Дальше мы рассмотрим, как заставить поискового робота чаще посещать сайт, и увеличить количество страниц, которые за один заход могут быть проиндексированными – краулинговый бюджет.

  • Проанализируйте ресурс на наличие дублей.

Этот пункт поставили первым, поскольку дубли страниц – одна из главных проблем, ухудшающая индексацию сайта в поисковых системах.

Если на сайте есть дубли, краулинговый бюджет тратится на совершенно бесполезные страницы, в то время как должен быть расходован на новые или те, на которых произошли изменения. Как устранить дубли на сайте, Вы можете почитать здесь.

  • Настройте хостинг на выдачу правильного HTTP-статуса.

Правильная настройка статуса HTTP крайне важна для индексации сайта.

Когда поисковый робот запрашивает страницу ресурса, код статуса предоставляет ему информацию о конкретной странице и сайте в целом. Он узнает, существует ли страница, нет ли на сервере ошибки, настроена ли переадресация.

К примеру, код 404 Not Found сообщает, что страница не существует по запрашиваемому запросу, а код OK 200 говорит, что страница доступна.

Вместе с тем советуем выполнить настройку заголовка Last-Modified. Он информирует бота о дате изменения документа. Так, поисковый бот проверяет не только наличие новых страниц, но и заходит на существующие, которые были изменены после предыдущего обхода, не тратя краулинговый бюджет на те страницы, которые не изменились.

  • Проанализируйте скорость загрузки страниц и время отклика сервера.

Ни для кого не секрет, что время ответа хостинга на запрос браузера тоже сказывается на скорости индексации сайта. Оно должно быть не больше 300 мс (с учетом всех сетевых задержек). Сервисы по измерению отклика: www.host-tracker.com и Яндекс.Вебмастер. 

Как улучшить индексацию сайта

Также для индексации сайта важна скорость загрузки страниц. Оптимальное значение – 3-5 секунд на загрузку одной страницы. Сервисы по проверке скорости загрузки страниц - www.webpagetest.org и tools.pingdom.com/fpt/. Посмотреть недочеты можно с помощью Google PageSpeed.

  • Внимательно продумайте структуру сайта.

Чем понятнее будет выглядеть структура ресурса в глазах поискового робота, тем быстрее он будет индексироваться. 

Советы по структуре веб-сайта:

Уровень вложенности страниц. Каждая продвигаемая страница сайта должна быть не дальше, чем в трех кликах от главной. Это важно для индексации, поскольку поисковому роботу понадобится намного меньше времени на индексацию неглубокого и простого сайта, чем на сложный ресурс, отличающийся запутанной навигацией.

Сделайте на сайте хабовые страницы. Это страницы, включающие ссылки на подразделы и разделы, служащие для лучшей навигации пользователей по сайту. Чтобы улучшить индексацию сайта, их нужно реализовать в один клик от главной. Таким образом, Вы получите следующие преимущества: уменьшите уровень вложенности, поможете посетителям быстрее найти необходимый материал, ускорите индексацию страниц поисковиками.

Приведем пример хабовой страницы

Как улучшить индексацию сайта

Выводите на главную сайта анонсы новых страниц.

Поисковый бот чаще всего заходит на главную страницу сайта. Если Вы разместите ссылки на страницы с обновленным контентом или ведущие на новые страницы, то, вероятнее всего, они будут быстро проиндексированы.

Например: 

Как улучшить индексацию сайта

Сделайте виджет последних статей в сайдбаре.

Еще один прекрасный способ связать страницы ресурса:

Как улучшить индексацию сайта

Не делайте меню на flash и на скриптах.

Основной недостаток использования flash и скриптов для меню заключается в том, что поисковики его просто не видят.

Настройте robots.txt.

Правильно составленный robots.txt позволяет исключить проблемы, которые возникают при сканировании ресурса поисковым роботом. Это существенно ускорит индексацию сайта в целом. В этом файле нужно прописать команды для поисковых ботов: какие страницы нужно индексировать, а какие  нет. В этом случае поисковикам понадобится меньше времени для индексации сайта.

В robots.txt лучше закрыть:

  1. папки CMS и служебные файлы;
  2. внешние и внутренние дубли;
  3. технические страницы;
  4. формы ответа на форуме;
  5. файлы, которые не имеют никакой пользы (к примеру, страницы с результатами поиска, статистика посещений).

Как создать грамотный robots.txt?

  1. Он создается в текстовом редакторе.
  2. Заполните файл в соответствии с правилами (узнать больше информации можно в сервисе Яндекс.Вебмастер или по ссылке, которую мы привели выше).
  3. Проверьте файл в Яндекс.Вемастер.

Скрин из Яндекс.Вебмастера:

Как улучшить индексацию сайта

Если проверка была успешной и ошибок не выявлено, загрузите его в корень сайта.

  • Внешние сигналы поисковому боту с помощью ссылок.

Для того чтобы улучшить индексацию сайта, советуем привлекать поисковых ботов с помощью внешних ссылок. К примеру:

  1. Добавьте сайт в трастовые справочники, каталоги и рейтинги (например, DMOZ, Яндекс.Каталог и т.д.).
  2. Публикуйте пресс-релизы и статьи на трастовых сайтах Вашей тематики.
  3. Общайтесь на тематических форумах.
  4. Интегрируйте сайт с социальными сетями.
  5. Работайте с социальными закладками.
  6. Размещайте статьи в сервисах соц. новостей.
  • Пишите уникальный и качественный контент.

На скорость индексации сайта также влияет качество контента. Плохие тексты, не дающие ответа на запрос посетителя, с грамматическими ошибками, высокой плотностью вхождения ключевых слов, как правило, индексируются намного хуже.

При написании текста необходимо учитывать следующее:

  1. Тексты должны включать только самую важную информацию, которая окажется полезной для пользователей.
  2. Материал должен давать ответ на запрос пользователя, прочитав который он не вернется в поисковую выдачу.
  3. Уделите максимум внимания важным нюансам, уберите рассуждения ни о чем и воду.
  4. Тексты должны иметь грамотную структуру (делите текст на абзацы, используйте заголовки и подзаголовки, делайте списки, если они будут уместны, и т.д.).
  5. Тексты должны включать ключевые слова, но в небольшом количестве – старайтесь избегать переспама.
  6. Придерживайтесь уникальности текстов от 70-80%.

Как следить за скоростью индексации сайта

Добавьте сайт в сервис Google Search Console и Яндекс.Вебмастер.

Если он еще не добавлен в панель веб-мастеров популярных поисковых систем, не затягивайте с этим. С их помощью Вы легко будете отслеживать индексацию сайта. К примеру:

  1. когда поисковик посещал Ваш сайт в последний раз;
  2. сколько страниц он добавил в свою базу;
  3. включена ли определенная страница в поисковую базу;
  4. какие ошибки выявил робот;
  5. скорость загрузки страницы. 

Как улучшить индексацию сайта

Вместе с тем Вы сможете сообщить поисковым ботам об удаленных или новых страницах, а также мониторить прочие важные параметры, не связанные с индексацией. К примеру, наличие внешних ссылок, поисковые запросы, по которым Вас находят в поиске и т.д. Только комплексный анализ поможет обнаружить и исправить ошибки с индексацией ресурса. 

Зарегистрировать и добавить сайт в вебмастер Google и Яндекса несложно. Для этого пройдите процедуру в три шага, которая сопровождается детальной инструкцией в Яндекс.Вебмастер:

Как улучшить индексацию сайта

Добавление сайта в сервис Google Search Console тоже сопровождается инструкцией:

Как улучшить индексацию сайта

Как сообщить поисковому боту об изменениях на сайте?

  • Создайте карту сайта.

Чтобы поисковый робот легче находил новые страницы, советуем создавать две карты сайта в таких форматах, как html и xml.

Карту в формате html необходимо вложить в качестве одной страницы. При сканировании сайта робот ПС попадает на нее, а она содержит ссылки на все другие, что позволяет ему быстрее проиндексировать весь сайт. Рекомендуем добавить карту в формате XML в панель инструментов для веб-мастеров Яндекс и Google.


Советы по созданию XML карты сайта:

  1. Настройте автоматическую генерацию и обновление карты сайта при добавлении на сайт новых страниц или удалении старых.
  2. В карту ни в коем случае не должны попадать страницы, закрытые от индексации.
  3. После создания файла нужно убедиться, что он не содержит ошибок. Для этого воспользуйтесь специальными инструментами от ПС: валидатор файлов sitemap от Яндекс и «Как проверить файл Sitemap» – Гугл.

К тому же в карте сайта XML можно указать:

  1. Приоритет индексации – с помощью специального тега <priority>.
  2. Частоту обновления определенной страницы – тег <changefred>.

Когда карта будет создана, добавьте информацию о ней в панель инструментов для веб-мастеров Яндекс и Google.

  • Напишите скрипт «Ловец ботов».

Стоит отметить, что для крупного веб-проекта может быть применена следующая методика: когда на сайт заходит поисковый робот, специальный скрипт показывает ему ссылки на еще не проиндексированные страницы. Единственный недостаток этого способа – сложная техническая реализация.

  • Воспользуйтесь Add URL поисковых систем.

Это традиционный способ ускорить индексацию сайта. С помощью Add URL Вы сообщите не только о новом сайте, но и о странице, которая недавно появилась.

Ниже представим ссылки на Add URL самых популярных ПС:

Чтобы сообщить о появлении новой страницы Яндекс, используйте add url Яндекс:

Как улучшить индексацию сайта

Чтобы сообщить о новой странице Google, используйте add url Google:

Как улучшить индексацию сайта

Недостаток применения такого инструмента – добавление URL новых страниц в эти формы не дает никаких гарантий, что страница быстро проиндексируется. 

  • Для ускорения индексации страниц в Google применяйте инструмент «Посмотреть как Googlebot». 

Этим инструментом можно воспользоваться, если Вы добавили сайт в сервис для веб-мастеров от Google. 

Google Search Console — > Сканирование — > Посмотреть как Googlebot — > Добавляем нужный URL — > Нажимаем «Сканировать» — > Кнопка «Добавить в индекс», в результате чего должна появиться следующая надпись «URL отправлен на индексирование»:

Как улучшить индексацию сайта

Еще этот инструмент позволяет узнать время загрузки веб-страницы и данные по сканированию. Единственный недостаток заключается в необходимости введения URL вручную, что может отнять немало времени. 

  • Специальный плагин-пингер для улучшения индексации страниц в Яндекс. 

Многие веб-мастера повышают приоритет индексирования страниц сайта посредством специальных POST-запросов. Если Ваш сайт работает на популярной CMS, к примеру Joomla, Drupal или WordPress, установите плагин Пингер. Он будет сообщать Яндексу о размещении новых страниц в автоматическом режиме. Для этого нужно сделать: 

Установите Поиск яндекс: 

Как улучшить индексацию сайта

Установите и настройте плагин, придерживаясь инструкции:

Как улучшить индексацию сайта

После размещения новой страницы зайдите в настройки плагина. В окошке «Сообщение о статусе плагина» появится сообщение «Плагин работает корректно», выводится последний адрес, который был добавлен. 

  • Формы поисковых систем для ускорения индексации сайта «Пинг». 

Если у Вас есть блог с подпиской на RSS, то для улучшения индексации новых страниц воспользуйтесь специальной формой поисковых систем «Пинг».

«Пинг» – это оповещение поисковиков об изменениях на сайте. Для добавления новой записи в поисковую систему Google необходимо использовать форму Blog Search.

Как улучшить индексацию сайта

Для добавления новой страницы в Яндекс используйте форму «Отправить пинг»:

Как улучшить индексацию сайта

  • Используйте бесплатные сервисы пингования. 

Чтобы ускорить индексацию страниц, воспользуйтесь бесплатными сервисами пингования, к примеру

Как улучшить индексацию сайта

Внимание! Используйте сервисы пингования, только если на сайте появился новый материал. Ни в коем случае не пингуйте один и тот же сайт в различных сервисах.

Как видите, чтобы ускорить индексацию сайта, нужно: 

  1. Сделать техническую оптимизацию. 
  2. Организовать грамотную структуру. 
  3. Как можно чаще добавлять качественный материал. 
  4. Добавляя новые страницы, сообщать о них поисковым роботам. 
  5. Привлекать на сайт поисковых ботов с помощью внешних ссылок. 
Понравился материал? Поделитесь с друзьям:
0
Поделилось
0 комментариев к новости
Комментарии к данной новости отсутствуют. Будьте первым, и выразите свое менение!
Добавить комментарий
Ваше Имя:
Ваш E-mail:
Ваш комментарий: