Первичная индексация сайта в поисковых системах

Индексация сайта это

Индексация сайта это обнаружение сайта поисковыми роботами ( поисковиками) и занесение главной и других страниц сайта в свою базу данных. До того, как ресурс появится в результатах поиска, поисковая система должна его сначала проиндексировать, а потом, выбрав по своим алгоритмам, полезные страницы, занести их в поисковый индекс.

Понятие индексации сайта можно разделить на три отдельных понятия:

Индексация всего сайта – обнаружение сайта, как Интернет ресурса, поисковиками;
Индексация страниц сайта – занесение найденных страниц в базу данных поисковиков;
Поисковая индексация – фильтрация всех страниц сайта по своим алгоритмам и добавление отфильтрованных страниц в поисковый индекс (поисковую выдачу).

Уже потом следует ранжировние (выстраивание) страниц в поисковой выдаче, поднятие страниц в Топ выдачи и т.д.

Первый шаг, взаимодействия с поисковиками это индексация всего сайта, о чем и пойдет речь в этой статье.

Индексация сайта как Интернет ресурса

Первым шагом продвижения сайта в поисковой выдаче, это “знакомство” поисковиков с сайтом, как новым Интернет ресурсом. А проще, вы должны сообщить поисковикам ( Яндекс, Google, Bing, Mail.ru, Rambler) о появлении в сети вашего ресурса (сайта, блога, форума, портала).

Большая часть средних сайтов (с количеством страниц от нескольких десятков до нескольких сотен) как правило, не имеют проблем с индексацией сайта и его страниц поисковиками. Однако, есть, некоторые моменты, которые необходимо учесть, когда вы работаете над своим ресурсом.

Два пути индексации сайта

Есть два пути, с помощью которых поисковая система узнает о новом ресурсе и начнется индексация сайта:

1. Добавление адреса ресурса с помощью специальной формы поисковой системы вручную. Сообщение для поисковой системы о новом сайте исходит от вас лично, и адрес сайта встает в очередь на индексацию. При ручном способе надо добавить только главную страницу ресурса, остальные поисковый робот найдет по ссылкам.

2. Для того чтобы сообщить поисковикам о новом ресурсе, нужно обязательно воспользоваться специальными сервисами для веб мастеров: Яндекс.Вебмастер, Google Webmaster Tools, Webmaster.mail, Bing Webmaster Tools, Nigma.ru. [/su_quote] 3. Предоставление поисковому роботу самому найти ваш ресурс. Это возможно в том случае, если с других ресурсов (которые уже были проиндексированы поисковой системой) на ваш сайт есть хотя одна внешняя ссылка. Этот вариант рекомендован к использованию в большинстве случаев: просто получите некоторое количество внешних ссылок на ресурс и дожидайтесь прихода робота. Добавление сайта вручную в некоторых случаях даже удлиняет срок ожидания робота.

Как правило, первичная индексация сайта занимает от 2-3 дней до двух недель и это зависит от системы поиска. Самая быстрая система в плане индексации сайтов – это Google.

Дружелюбность сайта для поисковиков

Стремитесь к тому, чтобы ваш сайт стал для поисковых роботов дружественным. Для этого обращайте внимание на следующие моменты:

1. Доступность по ссылкам с главной страницы на любые другие страницы вашего ресурса не должна быть длиннее, чем в 3 перехода. Если структура вашего сайта такова, что это невозможно, сделайте карту сайта и ориентируйте ее на выполнение указанного правила;

2. Учитывайте распространенные ошибки. Индексация сайта затрудняется, если на страницах сайта используются идентификаторы сессий. Если ваша навигация идет через скрипты, то делайте дубликаты ссылок стандартным образом – поисковики не читают скрипты ( более подробная информация обо всех ошибках изложена в главе 2.3);

3. Не забывайте, что под индексацию поисковиками на странице попадает не более 100-200 кб текста. Если объем страницы больше, то проиндексированы будут только первые 100-200 кб со страницы, то есть ее начало. Правило гласит: если хотите, чтобы страницы были проиндексированы целиком, делайте их объемом не более 100 кб.

Закрытие от Индексации

Специальный файл robots.txt создан для управления поведением поисковых роботов. Он позволяет запретить или разрешить индексацию тех или других страниц. Еще существует тег «NOINDEX» , с помощью которого можно закрыть для индексации части страницы, но этот специальный тег поддерживают только российские поисковые системы. Тег «NOFOLLOW» закрывает ссылки от индексации “не нашими” поисковиками (google, bing).

Важно! С помощью тега nofollow можно закрыть только ссылку. Тегом noindex можно закрыть кусок текста. Так если не закрыть тег noindex, то весь текст после него не будет индексироваться поисковиком Яндекс.

Количество страниц вашего ресурса, проиндексированных поисковыми роботами, может меняться: базы данных поисковиков регулярно обновляются, меняются записи в базе (исчезают и снова появляются).

Если сервер был недоступен, а поисковый робот попытался ресурс проиндексировать и не получил к нему доступ, то страница вполне может исчезнуть из индекса. Когда сервер опять заработает, ресурс должен снова через какое-то время появиться в индексе.

На скорость переиндексации также влияет количество внешних ссылок : чем их больше у вашего ресурса, тем быстрее происходит переиндексайия.

Для того чтобы узнать, как протекает индексация сайта, можно проанализировать лог-файлы сервера (в них записываются визиты поисковых роботов) или воспользоваться специальными сервисами для веб мастеров: Яндекс.Вебмастер, Google Webmaster Tools, Webmaster.mail, Bing Webmaster Tools. Для контроля за индексацией странц сайта есть специальные online инструменты. Подробно о них , я расскажу в соответствующем разделе.