Как сделать так, чтобы поисковые системы корректно индексировали сайт, показывая в результатах выдачи те страницы, которые хочет владелец ресурса, а не все подряд? Очень просто: подсказать им это самостоятельно, создав правильный и оптимальный файл robots.txt для WordPress, который и будет отвечать за то, как поисковые роботы «гуляют» по сайту и что в конечном итоге окажется в индексе.
Оглавление
А нужно ли вообще создавать robots.txt?
У вас есть сайт и вы до сих пор не озаботились вопросами создания и конфигурации robots.txt? Не стоит особо сильно переживать, ведь обычно он генерируется в автоматическом режиме самой CMS для каждого нового сайта. Проверить, существует ли он, очень просто. Для этого достаточно добавить в поисковой строке /robots.txt к названию ресурса и нажать Enter. Проблема в том, что данный файл в текущий момент существует в виртуальной форме, то есть его нельзя никак отредактировать и настроить. Следовательно, придется для начала создать его физическую версию, после чего уже и начать раздавать команды поисковым системам, на какие страницы им лучше не ходить.
Как создать файл robots.txt
Если говорить глобально, то вариантов два:
- вручную;
- с помощью плагинов.
К примеру, можно воспользоваться популярным решением Yoast SEO. Клик по соответствующему пункту в настройках плагина сгенерирует физическую версию robots.txt на хостинге сайта. Стоит помнить, что правила, прописанные в созданном файле, превалируют над такими же в виртуальном robots.txt. Большинству сайтов, объективно говоря, «скрывать» от поисковых систем банально нечего. Поэтому им подходит вариант с практически полным разрешением индексирования страниц ресурса. Исключения можно делать, к примеру, для основных файлов непосредственно системы WordPress, ведь никакого релевантного контента в них не содержится, да и поисковикам они по факту не нужны.
Robots.txt Editor
Неужели во всем многообразии расширения для WordPress не найдется ничего, специализированного под решение конкретной рассматриваемой задачи? Тем более что такими вопросами задается немало владельцев сайтов, значит, случай явно не единичный. Конечно, есть. Например, плагин Robots.txt Editor. Данный плагин, как сразу же понятно по названию, разработан с целью существенного упрощения создания и работы с robots.txt для WordPress, позволяя без каких-то сложностей осуществить эту процедуру даже пользователям, у которых еще нет достаточного опыта в администрировании сайтов. Среди его возможностей можно выделить следующие:
- поддержка сети Multisite;
- не нужно проводить дополнительную настройку;
- присутствует образец правильного robots.txt;
- распространяется на бесплатной основе.
Процесс установки данного расширения ничем не отличается от такового для других плагинов. Отправляемся в соответствующий раздел админ-панели, выбираем пункт «Добавить новый» и в поиске указываем нужное название. Устанавливаем и активируем его. Фактически на этом все. В текущий момент на сайте уже создана версия оптимального файла robots.txt. Проверить, что именно в ней написано можно посредством настроек самого плагина. В дальнейшем можно его отредактировать под свои нужды, если возникнет такая необходимость.
Создание robots.txt вручную
Не хочется использовать SEO-плагины или специализированные расширения? Не проблема, ведь создать robots.txt для WordPress легко и в ручном режиме. Открываем текстовый редактор и создаем файл с именем robots.txt. Сначала сохраняем его локально, на компьютере, а далее перемещаем в корневую папку сайта на хостинге. Обычно она имеет название public_html. Чтобы проверить, все ли сделано правильно, можно воспользоваться способом, о котором рассказывалось выше. То есть попросту добавляем к адресу сайта /robots.txt и прописываем это все в адресной строке браузера. Если удается перейти на соответствующую страницу – этап создания и перемещения файла прошел успешно.
Исправление возможных ошибок
А что, если при настройке robots.txt случайно были допущены ошибки? Конечно, можно попробовать найти их вручную, лишний раз все пристально изучив и пересмотрев, но есть и более простые и логичные способы. Например, воспользоваться специализированными инструментами поисковых систем в панели вебмастера. Если система найдет какие-то ошибки, то уведомит владельца сайта и укажет, что нужно поправить.
Выводы
Как говорилось ранее, виртуальный файл robots.txt, создаваемой системой WordPress, не подходит в полной мере для продвижения в поиске. Поэтому можно или выбрать какой-то из плагинов, как мультифункциональные, ориентированные на SEO, так и специализированные, разработанные под одну конкретную задачу – редактирование robots.txt. В прочем, можно и вообще сделать все самостоятельно и вручную.
