SEO: как провести индексацию сайта?

Приветствую Вас, гости и подписчики блога 4remind.ru. В продолжение тематики SEO предлагаю тем, кто совсем новичок в продвижении веб-ресурсов, ознакомиться с основами и рекомендациями, помогающими правильно начать процесс индексирования своих сайтов и блогов. И как всегда к материалу прилагается пояснительный видеоролик.

Как провести индексацию сайта


Первым делом, чтобы провести индексацию сайта, нам потребуется создать robots.txt при помощи простого блокнота. Когда мы его поместим в корневой каталог, то первым делом бот поисковой системы, прочтет файл с инструкциями и продолжит проводить индексацию сайта.

Как провести индексацию сайта? Для опции robots.txt употребляется указание «Disallow», а также «User-agent». Первая фраза дает команду поисковому боту для того, чтобы выполнил запрет на индексацию. Этот запрет будет описан во второй команде, более подробно. К примеру, напишем такой запрет:

User-agent: *
Disallow: /

не допустит к индексации весь портал для всех поисковиков. В случае если после фразы «Disallow» написать путь к каталогу либо файлу, то бот не будет их регистрировать. Помните: ни в коем случае не прописывайте несколько команд в одной строке, иначе они не будут работать. Если вы желаете открыть файл либо путь к проведению индексации, то пользуйтесь командой «Allow».

Файл с правилами «robots.txt» содержит ряд следующих команд к исполнению:

Фраза «Host» применяется для того, чтобы указать для веб-сайта зеркало. В этом случае портал будет иметь только один путь. Только он будет находиться в выдачах поисковых систем.

«Sitemap» – команда, помогающая поисковику определить, где располагается ката вашего портала.

«Crawl-delay» применяется для задержки между последующими загрузками страничек сайта поисковым роботом. Данное событие помогает эффективней проводить индексацию, если на портале много страниц. К примеру, команда: «Crawl-delay: 5» делает паузу загрузок страничек, которая равна пяти секундам.

«Request-rate» служит для указания периодичности запросов на загрузку страничек поисковиком. К примеру, строка: «Request-rate: 1/8» означает, что поисковой бот будет проводить загрузку страниц один раз в восемь секунд.

Строка «Visit-time» указывает время, в которое боту можно будет загружать странички с сайта. Временные рамки необходимо ставить по Гринвичу, к примеру: «Visit-time: 0600-0800».

К чему может привести ошибочная настройка файла? Некорректная настройка может повлиять на то, какие страницы будут открыты к индексации. Возможно, станут открытыми разделы, имеющие конфиденциальную информацию о ваших юзерах. С таким же успехом имеют все шансы быть закрытыми к индексации страницы с полезной информацией.

Как проверить файл настроек? Чтобы добиться результата можно зайти на Яндекс.Вебмастер, который позволит провести тест robots.txt. Вбейте путь к домену, и вы увидите все ваши ошибки.


Смотрите полный видеокурс на iTunes

Метки: ,
Другие статьи похожей тематики:

Поделитесь материалом с другими, воспользуйтесь этими кнопками:
Получать обновления и новые материалы блога по E-mail

Один комментарий к “SEO: как провести индексацию сайта?”

  1. artis72:

    Сейчас вроде для быстрой индексации рулят посты в соцсетях.

Оставить комментарий

Подписаться на обновления блога 4remind.ru по RSS
Новости блога в социальных сетях

="4remind.ru

Rambler's Top100
Рейтинг@Mail.ru


Яндекс.Метрика