Здравствуйте, гости и подписчики блога 4remind.ru. Многие из начинающих вэбмастеров часто интересуются вопросом, как можно скрыть часть контента сайта от поисковиков, но не могут найти оптимального решения. Однако, сделать часть контента невидимым для поисковых систем довольно просто. И здесь мы рассмотрим наиболее популярный на данный момент и надежный способ…
Многие наверно знают, что например Яндекс рекомендует обрамлять части контента, которые по вашему мнению или желанию не должны индексироваться, специальными тэгами:
... или
Но эти тэги понимает лишь сам Яндекс, а большинство остальных поисковиков просто игнорируют его. Кроме того, поисковая система Yandex не дает гарантий, что заключенный между этими тэгами контент никогда не будет индексироваться, тем более, что движок робота поисковика в любом случае загрузит себе весь текст и ссылки, заключенные между упомянутыми тэгами.
Раньше широко использовался метод скрытия контента сайта с использованием JavaScript внутри содержимого вэб-страниц (чаще всего это применялось для скрытия внешних ссылок). Но сейчас это практически бесполезное занятие, так как поисковики научились «разбирать» внутристраничный код Javascript.
Тем не менее есть наиболее надежный способ скрыть контент или его часть от поисковиков, и при помощи того же Javascript, правда с использованием библиотеки jQuery. Вот его мы и рассмотрим.
1) Итак, часть контента, которую нам нужно скрыть от ПС, будем подгружать из внешнего файла (например addcont_01.html или addcont_01.php), но именно в тот момент, когда уже вся страница будет загружена и готова для отображения браузерами, а именно по событию «document ready». Для этого естественно создаем и загружаем в нужное место соответствующий файл, содержащий контент (или код PHP, генерирующий контент), который мы хотим скрыть от поисковиков.
2) Подключаем библиотеку jQuery в самом конце заголовка страницы HEAD:
и сразу после этой строки добавляем там же, в заголовке HEAD, примерно такой код:
3) В части BODY страницы (или ее шаблона), в том месте, где мы хотим отображать скрытый контент, добавляем изначально пустой блок DIV с соответствующим ID, который мы прописывали в заголовке страницы в Javascript (в нашем случае это «addcont»):
Вот собственно и все, и совсем не сложен способ скрыть контент сайта от поисковиков. Для наглядности и лучшего восприятия приведу пример простейшего шаблона страницы с кодами, которые упоминались выше:
...
...
...
Таким образом можно подгружать и не один файл со скрытым изначально контентом, в качестве которого могут быть баннеры, логотипы, реклама, изображения, ссылки и прочее. Однако не стоит подгружать таким способом внешние скрипты, так как в большинстве случаев они будут либо неработоспособны или будут работать неадекватно (чаще это зависит от движков браузеров, вэб-сервисов и их конфигурации).
На всякий случай привожу пример подключения нескольких файлов, чтобы скрыть контент сайта от поисковиков:
...
...
...
На всякий случай стоит иметь ввиду, что приведенная в пример методика не будет работать при использовании браузеров, в которых отключена поддержка JavaScript (в большинстве случаев это касается мобильных девайсов: смартфонов, планшетов и т.д.). То есть скрытый Вами от поисковых систем контент может оказаться скрытым и для посетителей сайта. Но это уже Вам самим решать, и скорее всего в зависимости от того, какое количество посетителей вашего сайта не использует Javascript.
Удачи! И используйте методику скрытия контента только с благими намерениями!
Метки: Javascript, jQuery, контент, поисковик
спасибо за информацию, иногда нужно спрятать инфу от роботов поисковика.
Я вот решил попробовать и вроде все делал правильно как у вас здесь написано, но почемуто в моем «скрытом» тексте в основном вместо русских букв разные символы выводятся. В чем может быть причина?
Fenn19, мне кажется, что у вас проблема в том, что подгружаемый вами файл был сохранен в отличной от страниц сайта кодировке. Перепроверьте его, сохраните в той же кодировке, что и сам сайт, и скорее всего все станет на свои места.
Ага, точно, у меня сайт на utf-8, а файлы из под винды заливал в виндовой кодировке. Спасибо! Все нормально теперь.
А, как подключить несколько внешних файлов (addcont_01.php, …… addcont_09.php)?
Сергей, я добавил в статью пример подключения нескольких файлов, чтобы скрыть контент сайта. Там ничего сложного нет.
Вообще-то, ПС очень не любят подобные приёмы подмены контента при помощи js скриптов. Этот приём называется клоакингом, за его использование ПС вполне српаведливо могут наложить бан на сайт.
Не стоит думать, что ПС не смогут обработать js скрипты. Да, конечно, сами машины не будут разбираться в коде, но они могут определить подозорительные участки кода, и пометить сайт для ручной модерации. Позже, на сайт зайдет модератор и проанализирует работу кода, и если это был клоакинг — на сайт будет наложен бан.
Vit-Am, естественно, что ПС наложит БАН на сайт с «клоакингом»… Но не нужно путать «клоакинг» с реальным излишним контентом.
Ппц, указывали бы сайт источник, а то блин уже полрунета у меня копируют этот код.
kickboxer, если Вы утверждаете, что этот код Ваш, то подтвердите и я с удовольствием вставлю ссылку на источник, и именно на Ваш.
Кстати, я не утверждаю, что этот код самым первым стал использовать я, а всего лишь поделился информацией. Да и вообще, как можно утверждать этот код своей принадлежностью, если это всего лишь одна из стандартных операций jQuery :)
Старые способы, ими пользовались со времен доров, вы еще начните автора искать на две строки кода :))) как по мне то сегодня лучше и проще переходить на HTML5, там больше возможностей убрать ненужное. У Алаева процедура неплохо описана…
Ну перейти, перенести уже не новый сайт не всегда просто на HTML5. А ссылочку на статью Алаева можно?
Здравствуйте !
Хочу попробовать спрятать рекламу от поисковых систем.
Можно ли подобным способом скрыть скрипт рекламы, если да, то какое расширение должно быть у файла в который нужно поместить сам скрипт?
Помогите если можете.
Владимир, можно скрыть любой текстовый фрагмент, а расширение у файла, в котором будет сам скрипт, можно ставить любое. Например файл, содержащий скрипт, будет таким: «reklama.xaxa», и тогда вот пример его вызова:
И желательно подгружаемый файл разместить в каталоге, который закрыт от индексации.
Добрый день Владимир. Спасибо за статью. Она актуально, во всяком случае для меня.
Но вот столкнулся с проблемой. У меня сайт на DLe.
Проделал все как описано у Вас, но при запуске часть, которую я закрываю просто не выводится. При этом сайт перестает нормально работать, путь указывал правильно.
Можете подсказать как это реализовать на DLE CMS?
Заранее благодарю.
Дмитрий, я (возможно к сожалению) почти не имел дела с последними версиями DLE, поэтому пока не могу Вам дать определенный совет.
Что-то не пашет, не подскажите возможные проблемы?
Одна из распространенных ошибок — это неправильное подключение библиотеки jquery. Проверьте, загружается ли библиотека jquery, правильно ли прописан к ней путь.
Все сделала так, и сразу все получилось.
Но через некоторое время, увы, контент появился в исходном коде. Такое может быть?
Возможно, это связано с использованием Битрикса?
Пожалуйста, помогите разобраться в проблеме.
Александра, я не совсем понял, но если вы имеете ввиду «скрытый» контент в исходном коде страниц в браузере, то возможно вы ошиблись и указали не тот «id» в «div» в коде страницы на сервере. Вы бы лучше дали ссылку, чтобы можно было глянуть на исходник скрипта, где вы использовали описанную здесь технику.
Тема для меня тоже очень актуальна, однако предложенное решение для меня слишком сложно, так как я не обладаю специальными знаниями. Может быть, существует какое-то решение для начинающих?
Куда уж проще-то? Это самый простой и надежный способ. Остальное все либо запрещенные методы, либо действительно сложные для начинающих.
А не прибавит этот метод «тяжести» сайту? И почему у Гугла нет тега скрытия контента?Как у Яндекса.. .Это что американская специфика(то о чем говорит тот же Сноуден)?
О какой «тяжести» может идти речь? Скрываемые от поисковиков части контента и всего прочего прочего даже скрипты на стороне сервера не обрабатывают, все ведь делает вездесущий jQuery, другими словами Javascript.
А почему у Гугла нет тега скрытия контента, так он мощнее, чем Яндекс, с технической стороны, поэтому ему нет никакого дела до того, какое количество контента придется парсить при обходе сайта. Яндекс же, мне кажется, своим тегом просто себе немного жизнь облегчил — закрыли вы тэгом «noindex» кусок текста, ну и ладно, ему же проще, ведь меньше придется его роботам работать. Однако Яндекс не гарантирует, что не будет «обнюхивать» части контента, обрамленные тегом «noindex» :)
По поводу Гугла , соглашусь . Заметил что он даже намного быстрей все индексирует нежели Яндекс. У Яндекса все и везде «подождите 2 -3 дня до обновления», «Раньше сервер был недоступен, подождите до след. обхода робота» и т.д. и т.п
И вопрос, этим инструментом, можно к примеру обмануть рекламодателя? Ну то есть в коде страницы он поймет что его блок скрыт от индексации? Если рекламодатель прямой.(не биржы ссылок и т.д.)
Рекламодатель, мало-мальски разбирающийся в HTML конечно же поймет, заметив, что его кода (баннера, ссылки, текста или еще чего-то) нет в исходном коде страницы. Так что не стоит пытаться обманывать рекламодателя.
Владимир, если подобным образом скрывать партнерские ссылки/баннеры будет учитываться переходы в партнерских кабинетах партнерок ссылки которых спрятаны? Т.е. что пришли именно с твоего сайта?
Да, будут учитываться, ведь ссылки то находятся в контенте страницы, просто они загружены позже.