Индекс поисковой системы

Индекс поисковой системы это база данных, в которой поисковая система хранит набор слов и словосочетаний, которые встречаются на интернет-страницах. Информация соотнесена с адресами тех страниц, на которых они нашлись, она постоянно обновляется и пополняется. Данный индекс необходим для быстрого поиска страниц с вхождением указанных ключевых слов. 

Чтобы сайту попасть в выдачу поисковой системы по некоторым запросам, ему необходимо добавить себя в индекс поисковика. Если на ваш сайт размещены внешние ссылки, то поисковый робот довольно быстро(в течении недели) найдет вас.
Некоторые вебмастера добавляют свои сайты в индекс, с помощью специальных сервисов, однако, такой подход не гарантирует попадание вашего сайта в базу данных поисковой системы. Наиболее эффективным способом остается размещение качественных ссылок на ваш сайт.

При наличии ссылок, время, необходимое для добавления сайта в поисковик, обычно составляет 1-2 недели, быстрее всех индексируют Яндекс и Google.
Даже если поисковый робот зашел на ваш сайт, он может все равно его не проиндексировать. Это случится, если ваш сайт использует методы черного seo или нарушает правила поисковых систем.

Чтобы управлять поведением поисковых ботов, заведите у себя на сервере (в корневой директории) файл robots.txt. Этот файл позволит вам запретить индексацию некоторых страниц(например, с конфиденциальной информацией), а также предоставить более точную информацию для поисковика.
И последнее, если вы хотите чтобы поисковая система, не индексировала исходящие ссылки с ваших сайтов, то используйте для Google:
<a rel='nofollow' href='http://vashsite.ru'>Сайт</a>

Для Яндекса просто помещайте между тегами <noindex> Вот и все что касается индексации поисковых систем и использовании их в SEO.