Как скрыть ссылки от индексации Google, Яндекс и других ботов

Большое количество внешних ссылок на страницах вызывает подозрение у поисковых систем. Обильные внешними ссылками сайты ассоциируются у них с каталогами ссылок и другой "нечистью" с которой они пытаются бороться, что проявляется в понижении таких страниц в выдаче поисковых систем, а то и вовсе исключением из поисковой базы.

Наличие лишних внешних ссылок сильно снижает значимость других, более важных ссылок на странице. В частности передаваемый Google Page Rank (PR) делится поровну на все ссылки присутствующие на странице независимо от атрибутов rel="nofollow" в ссылке.

Не только поисковики, но и многие другие роботы различных сервисов, таких как: биржи статей, ссылок, и т.д. учитывают количество внешних ссылок и чем меньше этот показатель, тем ценнее страницы и сайт в целом, тем больше рекламодателей захотят купить ссылки именно у Вас. Поэтому если Вы используете такие сервисы, то Вам необходимо снижать этот показатель.

Обычное решение проблемы

Данную проблему решают в основном двумя способами:

• добавление атрибута rel="nofollow" в тег ссылки (<a href="внешняя_ссылка" rel="nofollow">анкор</a>);
• передача ссылки специальной странице в качестве параметра (http://мой_сайт/redirect.php?url=внешняя_ссылка). Страница перенаправляет пользователя (делает редирект) на переданный в параметре адрес.

Первый способ полноценно работает только в Яндекс. Google учитывает такие ссылки при распределении PR, деля PR поровну между всеми, однако, не передает PR на ссылки с параметром nofollow, и не переданная таким образом часть PR просто пропадает в никуда. Так же такие ссылки пагубно влияют на показатели в биржах ссылок.

Во втором способе ссылки будут считаться внутренними, что избавляет от описанных выше проблем. Однако, обрабатывающая ссылки страница дает нагрузку на сервер. Пусть маленькую, но все же ощутимую, если ссылок, обрабатываемых ей, слишком много.

Скрытие внешних ссылок с помощью .htaccess и robots.txt

Столкнувшись с проблемой скрытия внешних ссылок я решил пойти немного по иному пути, нежели перенаправление со страницы (вариант с nofollow даже не рассматривался). Я решил эту проблему с помощью .htaccess и robots.txt.

В .htaccess я добавил правило:

RedirectMatch 302 /linker/(.*)$ $1

Следуя этому правилу сервер будет перенаправлять пользователей по ссылкам, указанным после linker/, например, при  запросе http://мой_сайт/linker/http://google.ru сервер перенаправит пользователя на сайт поисковой системы Google. Передав функцию паромщика серверу я разгрузил PHP, который теперь сможет больше времени уделить более важной работе.

Чтобы запретить поисковикам индексировать ссылки на которые идет перенаправление нужно добавить в robots.txt следующий код:

User-agent: *
Disallow: /linker/

Так мы сообщаем поисковикам о том, чтобы они не делали лишних телодвижений и не пытались перейти по спрятанным ссылкам.

Яндекс воспринимает внешние ссылки за страницы сайта

Upd 2011-09-06. После индексации сайта Яндексом обнаружилась очень любопытная вещь. Яндекс воспринял все внешние ссылки, скрытые таким способом, за страницы моего сайта и учел их в статистике общего количества страниц сайта. Таких псевдостраниц оказалось даже больше, чем реальных на самом деле. Google ни как не отреагировал на эти ссылки чего, собственно, я ожидал от обоих поисковиков.

Полезные книги

Переиздание материалов статьи возможно только с обязательными ссылками на сайт http://2i2s.ru (в интернете - гиперссылка) и на автора

Читайте так же

  Paint.NET Поворот изображения на произвольный угол
Как повернуть рисунок, а именно слой на произвольный градус в Paint.NET или как самому задать произвольный угол поворота

  Преимущества и недостатки OpenOffice.org в сравнении с MS Office
Сравнительный обзор преимуществ и недостатков OpenOffice.org перед MS Office.

  DC: хабы Красноярска с магнет-ссылками
Полный список всех DC хабов Красноярска с magnet-ссылками на них для быстрого добавления в клиент