Оптимизация WordPress Robots.txt (+ Multisite) – посещаемость сайта, рейтинг и SEO Booster + Woocommerce

Better Robots.txt создает WordPress виртуальный robots.txt, который помогает вам повысить SEO вашего сайта (возможности индексации, рейтинг в Google и т.

С помощью Better Robots.txt вы можете определить, каким поисковым системам разрешено сканировать ваш сайт (или нет), указать четкие инструкции о том, что им разрешено делать (или нет), а также определить задержку сканирования (чтобы защитить ваш хостинг-сервер от агрессивных действий). скребки). Better Robots.txt также дает вам полный контроль над содержимым WordPress robots.txt через поле пользовательских настроек.

Уменьшите экологический след вашего сайта и выбросы парниковых газов (CO2), свойственные его существованию в Интернете.

ПОДДЕРЖИВАЕТСЯ НА 7 ЯЗЫКАХ

Плагины Better Robots.txt переведены и доступны на следующих языках: китайский – 漢語 / English, английский, французский – французский, русский – русский, португальский – португальский, испанский – испанский, немецкий – немецкий

А вы знали, что…

• Файл robots.txt – это простой текстовый файл, размещаемый на вашем веб-сервере, который сообщает сканерам (например, Googlebot), должны ли они обращаться к файлу.
• Файл robots.txt контролирует, как пауки поисковых систем видят и взаимодействуют с вашими веб-страницами;
• Этот файл и боты, с которыми они взаимодействуют, являются фундаментальной частью работы поисковых систем;
• Первое, на что смотрит поисковая система при посещении страницы, – это файл robots.txt;

Robots.txt – это источник SEO-сока, ожидающий, когда его разблокируют. Попробуйте лучше Robots.txt!

О версии Pro (дополнительные функции):

1. Повысьте свой контент в поисковых системах с вашей картой сайта!

Убедитесь, что ваши страницы, статьи и продукты, даже самые последние, принимаются во внимание поисковыми системами!

Плагин Better Robots.txt был создан для работы с плагином Yoast SEO (вероятно, лучший плагин SEO для веб-сайтов WordPress). Он обнаружит, используете ли вы в настоящее время Yoast SEO и активирована ли функция карты сайта. Если это так, то он автоматически добавит инструкции в файл Robots.txt с просьбой ботов / сканеров прочитать вашу карту сайта и проверить, не вносили ли вы последние изменения в свой веб-сайт (чтобы поисковые системы могли сканировать новый доступный контент).

Если вы хотите добавить свою собственную карту сайта (или если вы используете другой плагин SEO), то вам просто нужно скопировать и вставить URL-адрес вашего файла Sitemap, и Better Robots.txt добавит его в ваш WordPress Robots.txt.

2. Защитите свои данные и контент

Заблокируйте плохих ботов, чтобы они соскребали ваш сайт и коммерциализировали ваши данные.

Плагин Better Robots.txt помогает вам блокировать сканирование и удаление самых популярных вредоносных ботов.

Когда дело доходит до вещей, просматривающих ваш сайт, есть хорошие и плохие боты. Хорошие боты, такие как бот Google, сканируют ваш сайт, чтобы проиндексировать его для поисковых систем. Другие просматривают ваш сайт по более гнусным причинам, таким как удаление вашего контента (текст, цена и т. Д.) Для повторной публикации, загрузки целых архивов вашего сайта или извлечения ваших изображений. Сообщалось, что некоторые боты даже закрывали целые сайты из-за интенсивного использования широкополосного доступа.

Плагин Better Robots.txt защищает ваш сайт от пауков / скребков, определенных Distil Networks как плохие боты.

3. Скрыть и защитить ваши обратные ссылки

Не позволяйте конкурентам определять ваши выгодные обратные ссылки.

Обратные ссылки, также называемые «входящими ссылками» или «входящими ссылками», создаются, когда один сайт ссылается на другой. Ссылка на внешний сайт называется обратной ссылкой. Обратные ссылки особенно ценны для SEO, потому что они представляют «вотум доверия» от одного сайта к другому. По сути, обратные ссылки на ваш сайт являются сигналом для поисковых систем, что другие ручаются за ваш контент.

Если многие сайты ссылаются на одну и ту же веб-страницу или веб-сайт, поисковые системы могут сделать вывод, что на контент стоит ссылаться, и, следовательно, также стоит показывать его в поисковой выдаче. Таким образом, получение этих обратных ссылок оказывает положительное влияние на рейтинг сайта или видимость поиска. В отрасли SEM специалисты часто определяют, откуда берутся эти обратные ссылки (конкуренты), чтобы выделить лучшие из них и создать высококачественные обратные ссылки для своих клиентов.

Учитывая, что создание очень прибыльных обратных ссылок для компании занимает много времени (время + энергия + бюджет), позволить вашим конкурентам легко их идентифицировать и дублировать – это чистая потеря эффективности.

Better Robots.txt поможет вам заблокировать все поисковые роботы SEO (aHref, Majestic, Semrush), чтобы ваши обратные ссылки не были обнаружены.

4. Избегайте спам-обратных ссылок

Боты, заполняющие формы комментариев вашего сайта, которые сообщают вам «отличную статью», «любят информацию», «надеются, что вы сможете более подробно остановиться на этой теме», или даже предоставят персонализированные комментарии, в том числе имя автора легион. Спам-боты со временем становятся все более умными, и, к сожалению, спам-комментарии в комментариях действительно могут повредить вашему профилю обратных ссылок. Better Robots.txt поможет вам избежать индексации этих комментариев поисковыми системами.

5. SEO инструменты

При улучшении нашего плагина мы добавили ссылки на ярлыки к двум очень важным инструментам (если вас интересует ваш рейтинг в поисковых системах): Google Search Console & Bing Webmaster Tool. Если вы еще не используете их, вы можете теперь управлять индексацией своего сайта, оптимизируя свой robots.txt! Также был добавлен прямой доступ к инструменту массового пинга, который позволяет пинговать ваши ссылки в более чем 70 поисковых системах.

Мы также создали 4 ссылки для быстрого доступа к лучшим онлайн-инструментам SEO, которые доступны непосредственно на Better Robots.txt SEO PRO. Таким образом, когда вы захотите, теперь вы сможете проверить эффективность загрузки своего сайта, проанализировать свой показатель SEO, определить свой текущий рейтинг по поисковой выдаче с ключевыми словами и трафиком и даже просканировать весь сайт на наличие неработающих ссылок (404, 503 ошибки, …), Прямо из плагина.

6. Будьте уникальным

Мы подумали, что могли бы добавить немного оригинальности в Better Robots.txt, добавив функцию, позволяющую «настроить» ваш WordPress robots.txt с вашей собственной уникальной «подписью». Большинство крупных компаний в мире персонализировали свои robots.txt добавив пословицы (https://www.yelp.com/robots.txt), слоганы (https://www.youtube.com/robots.txt) или даже рисунки (https://store.nike.com/robots .txt – внизу). И почему не ты тоже? Вот почему мы выделили определенную область на странице настроек, где вы можете написать или нарисовать все, что хотите (действительно), не влияя на эффективность вашего robots.txt.

7. Запретить роботам сканировать бесполезные ссылки WooCommerce

Мы добавили уникальную функцию, позволяющую блокировать определенные ссылки («add-to-cart», «orderby», «fllter», корзина, аккаунт, оформление заказа и т. Д.) Для поисковых систем. Большинство из этих ссылок требуют много ресурсов ЦП, памяти и пропускной способности (на хост-сервере), потому что они не кэшируются и / или создают «бесконечные» циклы сканирования (пока они бесполезны). Оптимизация вашего WordPress robots.txt для WooCommerce при наличии интернет-магазина позволяет обеспечить большую вычислительную мощность для действительно важных страниц и повысить производительность загрузки.

8. Избегайте ловушек на гусеничном ходу:

«Ловушки сканеров» – это структурная проблема на веб-сайте, из-за которой сканеры находят практически бесконечное количество нерелевантных URL-адресов. Теоретически, сканеры могут застрять в одной части веб-сайта и никогда не заканчивать сканирование этих нерелевантных URL-адресов. Better Robots.txt помогает предотвратить ловушки гусеничных устройств, которые снижают бюджет сканирования и вызывают дублирование контента.

9. Инструменты для взлома роста

Сегодня самые быстрорастущие компании, такие как Amazon, Airbnb и Facebook, добились прорывного роста, объединив свои команды в высокоскоростной процесс тестирования / обучения. Мы говорим о взломе роста. Хакерство роста – это процесс быстрого экспериментирования и реализации маркетинговых и рекламных стратегий, которые ориентированы исключительно на эффективный и быстрый рост бизнеса. Better Robots.txt предоставляет список из 150+ инструментов, доступных онлайн, чтобы ускорить ваш рост.

10. Robots.txt Post Meta Box для ручных исключений

Этот почтовый мета-бокс позволяет установить «вручную», должна ли страница быть видимой (или нет) в поисковых системах, внедрив специальное правило «disallow» + «noindex» в ваш WordPress robots.txt. Почему это актив для вашего рейтинга в поисковых системах? Просто потому, что некоторые страницы не предназначены для сканирования / индексации. Страницы с благодарностью, целевые страницы, страницы, содержащие исключительно формы, полезны для посетителей, но не для сканеров, и вам не нужно, чтобы они были видны в поисковых системах. Кроме того, некоторые страницы, содержащие динамические календари (для онлайн-бронирования), НИКОГДА не должны быть доступны сканерам, поскольку они имеют тенденцию заманивать их в бесконечные циклы сканирования, что напрямую влияет на ваш бюджет сканирования (и ваш рейтинг).

Больше впереди, как всегда …

Лучший плагин Robots.txt включен, но почему я не вижу никаких изменений в файле robots.txt?

Better Robots.txt создает WordPress виртуальный файл robots.txt. Убедитесь, что ваши постоянные ссылки включены в меню «Настройки»> «Постоянные ссылки». Если постоянные ссылки работают, убедитесь, что на вашем сервере нет физического файла robots.txt. Поскольку он не может записывать поверх физического файла, вам необходимо подключиться к FTP и переименовать или удалить robots.txt из корневого каталога вашего домена. Обычно это папка / public_html / на хостингах cPanel. Если вы не можете найти корневой каталог своего домена, обратитесь за помощью к своему хостинг-провайдеру. Если проблема не устранена после принятия этих мер, отправьте ее в раздел поддержки или отправьте сообщение по адресу [email protected]

Будет ли конфликт с файлом robots.txt, который я уже использую?

Если на вашем сервере веб-хостинга есть файл pshysical robots.txt, этот плагин не будет работать. Как уже упоминалось, он создает виртуальный файл WordPress robots.txt. Пожалуйста, следуйте инструкциям в ответе выше, если вы хотите использовать файл robots.txt с этим плагином.

Как добавить карту сайта в мой WordPress robots.txt?

Эта функция разрешена в версии Better Robots.txt Pro, которая автоматически добавляет карту сайта в файл robots.txt. Он обнаруживает карту сайта из плагина Yoast SEO. В случае, если вы используете другой плагин Sitemap или созданный вручную файл Sitemap, вы можете просто добавить URL Sitemap в поле ввода Sitemap. Если также включены XML-карты сайта Yoast, сначала необходимо отключить его, просто перейдя в Общие настройки Yoast> Функции и отключив функцию XML-карты сайта.

Почему я должен оптимизировать robots.txt?

Почему бы и нет? Учитывая, что robots.txt – это самый первый файл, который читается при загрузке вашего веб-сайта браузером, почему бы не разрешить сканерам постоянно индексировать ваш контент? Простой факт добавления вашего файла Sitemap в файл Robots.txt – это просто здравый смысл. Зачем? Вы разместили свой веб-сайт в консоли поиска Google, сделал ли это ваш веб-мастер? Как сообщить сканерам, что у вас есть новый контент, доступный для индексации на вашем сайте? Если вы хотите, чтобы этот контент находился в поисковых системах (Google, Bing,…), его необходимо проиндексировать. Именно на это нацелена эта инструкция (добавление карты сайта). Последний пункт. Основная причина, по которой этот плагин существует, заключается в том, что в 95% случаев (на основании тысяч SEO-анализа) файл robots.txt либо отсутствует, либо пуст, либо ошибочно, просто потому, что он либо неправильно понят, либо забыт. Теперь представьте, был ли он активирован и полностью функционален.

Как этот плагин может повысить рейтинг моего сайта?

На самом деле, этот плагин увеличит возможности индексации вашего сайта, что приведет к повышению вашего рейтинга в Google. Как ? Ну, идея создания этого плагина была взята после сотен оптимизаций SEO на профессиональных и корпоративных сайтах. Как упоминалось ранее, 95% проанализированных веб-сайтов не имели того, что мы могли бы назвать «оптимизированным» файлом robots.txt, и, оптимизируя эти веб-сайты, мы поняли, что простая модификация содержимого этого файла фактически «разблокирует» эти веб-сайты. (на основе ежедневных анализов SEMrush). Поскольку мы привыкли работать в 2 этапа (периода времени), начало с этой простой модификации уже оказало значительное влияние на рейтинг Google, и это, даже до того, как мы начали глубоко изменять либо контент, древовидность сайта или данные META. Чем больше вы помогаете поисковым системам в понимании вашего веб-сайта, тем лучше вы помогаете в достижении лучших результатов в результатах поиска.

Как проверить ваш robots.txt?

Несмотря на то, что вы можете просмотреть содержимое вашего robots.txt, перейдя по URL-адресу robots.txt, лучший способ проверить и проверить его – использовать параметр robots.txt Tester в консоли поиска Google.

Войдите в свою учетную запись Google Search Console. Нажмите robots.txt Tester, который находится в разделе Параметры сканирования. Нажмите кнопку «Тест».

Если все в порядке, кнопка «Тест» станет зеленой, а метка изменится на «Разрешено». Если есть проблема, строка, которая вызывает запрещение, будет подсвечена.

Что такое виртуальный файл robots.txt?

WordPress по умолчанию использует виртуальный файл robots.txt. Это означает, что вы не можете напрямую редактировать файл или найти его в корне вашего каталога.

Единственный способ просмотреть содержимое файла, это ввести https://www.yourdomain.com/robots.txt в вашем браузере.

Значения WordPress robots.txt по умолчанию:

Пользователь-агент: *

Не разрешать: / wp-admin /

Разрешить: /wp-admin/admin-ajax.php

Когда вы включаете опцию «Запрещать поисковым системам индексировать этот сайт» в разделе «Настройки видимости поисковой системы», robots.txt становится:

Пользователь-агент: *

Не разрешать: /

Что в основном блокирует доступ всех сканеров к веб-сайту.

Почему Robots.txt важен?

Есть 3 основные причины, по которым вы хотите использовать файл robots.txt.

Блокировка непубличных страниц. Иногда на вашем сайте есть страницы, которые вы не хотите индексировать. Например, у вас может быть промежуточная версия страницы. Или страницу входа. Эти страницы должны существовать. Но вы не хотите, чтобы случайные люди приземлялись на них. Это тот случай, когда вы используете robots.txt, чтобы заблокировать эти страницы от поисковых роботов и ботов.

Максимизация бюджета сканирования. Если вам трудно проиндексировать все свои страницы, возможно, у вас проблема с бюджетом сканирования. Блокируя неважные страницы с помощью robots.txt, робот Googlebot может тратить больше средств на просмотр страниц, которые действительно важны.

Запрет индексирования ресурсов. Использование мета-директив может работать так же хорошо, как и Robots.txt, для предотвращения индексации страниц. Однако мета-директивы плохо работают с мультимедийными ресурсами, такими как PDF-файлы и изображения. Вот где robots.txt вступает в игру.

Вы можете проверить, сколько страниц вы проиндексировали в консоли поиска Google.

Если число соответствует числу страниц, которые вы хотите проиндексировать, вам не нужно беспокоиться о файле Robots.txt.

Но если это число превышает ожидаемое (и вы заметили проиндексированные URL-адреса, которые не следует индексировать), то пришло время создать файл robots.txt для вашего веб-сайта.

Robots.txt против мета-директив

Зачем вам использовать robots.txt, когда вы можете блокировать страницы на уровне страницы с помощью метатега noindex?

Как упоминалось ранее, тег noindex сложно реализовать на мультимедийных ресурсах, таких как видео и PDF.

Кроме того, если у вас есть тысячи страниц, которые вы хотите заблокировать, иногда проще заблокировать весь раздел этого сайта с помощью robots.txt, чем вручную добавлять тег noindex на каждую страницу.

Также есть крайние случаи, когда вы не хотите тратить бюджет на сканирование при посадке в Google на страницах с тегом noindex.

Важные вещи о robots.txt

• Файл Robots.txt должен находиться в главной папке, т.е. domain.com/robots.txt.
• Каждому поддомену нужен собственный файл robots.txt (sub1.domain.com, sub2.domain.com,…), в то время как для мультисайтов требуется только ОДИН robots.txt (domain.com/multi1, domain.com/multi2,…).
• Некоторые сканеры могут игнорировать robots.txt.
• URL-адреса и файл robots.txt чувствительны к регистру.
• Google не учитывает задержку сканирования (поскольку у нее есть собственный бюджет сканирования), но вы можете управлять настройками сканирования в Google Search Console.
• Проверьте файл robots.txt в Консоли поиска Google и в Инструментах Bing для веб-мастеров.
• Не блокируйте сканирование, чтобы избежать дублирования контента. Не запрещайте страницы, которые перенаправлены. Краулеры не смогут следовать перенаправлению.
• Максимальный размер файла robots.txt составляет 500 КБ.