Какой владелец сайта или его оптимизатор не хочет, чтобы проект завоевал популярность и стабильно входил в топ поисковой выдачи? Однако сделать это далеко не так просто. Казалось бы, наполняй сайт качественным контентом и все будет отлично. Рано или поздно пользователи обязательно оценят ресурс по достоинству.
Впрочем, помимо живых людей, необходимо еще и понравиться поисковым системам. В частности, не только придерживаться «правил игры», установленных Google или Яндекс, но и оптимизировать сайт для поисковиков.
Например, не стоит забывать о таком понятии, как краулинговый бюджет, ведь именно он по большей мере отвечает за то, сколько страниц ресурса окажется в поисковой выдаче. Итак, что это такое и как с ним эффективно работать?
Оглавление
Что это
Данный термин изначально связан с работой поисковых роботов компании Google, ведь именно она впервые использовала его, чтобы объяснить принцип попадания страниц в индекс. Фактически, если оперировать SEO-терминологией, «краулинг» – это сканирование поисковым ботом страниц ресурса, чтобы проиндексировать их и сформировать выдачу.
Почему тогда рядом с ним упоминается еще и «бюджет»? Дело в том, что поисковые роботы не сканируют весь сайт целиком, а обходят лишь некоторое количество страниц за условную единицу времени. То есть речь идет о некоем лимите, который уникален для каждого сайта и рассчитывается на базе целого ряда критериев.
В чём важность краулингового бюджета
Довольно часто существование краулингового бюджета по факту игнорируется, выносится за скобки, ведь есть еще множество других более важных параметров, которые требуют первоочередного внимания. Но так ли это? Да, для владельцев небольших сайтов заморачиваться нет смысла – достаточно оптимизировать ресурс и все будет априори хорошо по умолчанию. А вот в случае крупных проектов ситуация диаметрально противоположная. Как следствие, может оказаться, что существенная часть страниц не попала в индекс, ведь до них никак не доберутся поисковые роботы.
Рассмотрим это на примерах. Предположим, существует некий большой интернет-магазин, который еще и постоянно пополняется новым ассортиментом. И все бы хорошо, но краулинговый бюджетданного сайта составляет 100 страниц ежесуточно. При этом на ресурсе каждый день добавляется их в два-три раза больше. Что итоге? Поисковые роботы физически не могут обойти весь сайт, что негативно сказывается на индексации.
Вторая проблема связана с тем, что в индексе нередко оказываются малозначимые страницы в ущерб важным. Скажем, там будет какой-то конкретный товар, тогда как вся категория – нет. Со временем такие проблемы будут накапливаться, пока не перерастут в сложности индексации сайта в целом.
Где увидеть информацию о краулинговом бюджете
Можно ли как-то узнать лимит для конкретного сайта? Да, однако лишь ориентировочный. Впрочем, для понимания ситуации этого более чем достаточно. Первым делом необходимо зайти в Google Search Console и отыскать как там пункт «Статистика сканирования». Откроется отдельное окно с графиками. Ориентироваться следует на показатель, сколько в среднем страниц сайта сканирует поисковик ежедневно. Это и будет искомый бюджет.
Отметим, что данная величина не постоянна. В зависимости от ряда факторов, к примеру, популярности ресурса, лимит может как увеличиваться, так и сокращаться.
Оптимизация сайта
На что стоит направить усилия, чтобы улучшить ситуацию? Как уже говорилось выше, под краулингом подразумевается индексация. Следовательно, чем больше с ней проблем, тем менее эффективно расходуется бюджет. Поэтому необходимо серьезно поработать над внутренней оптимизацией.
Переходим к конкретике. Что можно сделать? В частности, чтобы оптимально расходовать краулинговый бюджет, нужно:
- повысить скорость загрузки ресурса;
- провести оптимизацию переадресаций;
- настроить robots.txt и sitemap.xml;
- организовать грамотную перелинковку;
- задействовать динамический рендеринг;
- увеличивать количество внешних ссылок.
Большинство пунктов из перечня выше не требуют детальных пояснений, ведь и так очевидны. К примеру, вполне логично, что скорость загрузки сайта будет напрямую влиять на количество проиндексированных страниц, ведь чем она выше, тем быстрее сканирование.
Аналогично с редиректами. Каждый из них – трата краулингового бюджета, поэтому задумайтесь, нужны ли на сайте все имеющиеся переадресации. Мусорные ссылки и дубли лучше всего заблокировать посредством sitemap.xml. Также следует указать поисковым роботам, что приоритет при сканировании стоит отдавать новым и измененным страницам, а не тем, содержание которых осталось таким же, как и ранее.
Довольно интересным и перспективным выглядит и задействование динамического рендеринга. Данная разработка Google позволяет разграничить отображение контента: для поисковых роботов это html-версия, для пользователей – JavaScript-версия страницы. Это должно улучшить ситуацию с индексацией.
