1. Spider (он же Crawler, он же Bot, он же Robot) - программа, которая посещает веб - страницы, считывает (индексирует) полностью или частично их содержимое и далее следует по ссылкам, найденным на данной странице. Spider возвращается через определенные периоды времени (например, каждый месяц) и индексирует страницу снова.

 2. Все, что находит и считывает Spider, попадает в индексы поисковой системы. Индексы системы представляют собой гигантское вместилище информации, где хранятся копии текстовой составляющей всех посещенных и проиндексированных Spider-ом страниц.

 3. Третья часть - это программа, которая в соответствии с запросом пользователя перебирает индексы поисковой системы в поисках информации, интересующей пользователя, и выдает ему на гора в порядке убывания релевантности найденные документы.

       Каждая поиковая система имеет своего собственного спайдера, со своими собственными "повадками". Каждая система индексирует страницы своим особым способом и приоритеты при поиске по индексам тоже отличны. Поэтому, произведя запрос по определенным ключевым словам или выражениям, мы будем иметь разные результаты для каждой из поисковых систем.

 Русские поисковые системы

   Rambler
       Одна из самых популярных российских поисковых систем. Принадлежит компании Stack Ltd. Поисковая система Rambler поддерживает рейтинг русских страниц Top 100. Списки страниц разбиты на группы и многие пользователи используют данный рейтинг как каталог, так что я советую Вам поучаствовать.

   Яndex
       Является оригинальной разработкой фирмы CompTek. Выполняет поиск по русской части Интернет с учетом русской морфологии. Имеет очень мощный язык запросов. Результаты поиска упорядочиваются по степени значимости (учитывается число встретившихся в документе терминов, их положение и число слов между ними) и содержат удобную аннотацию. 

   Апорт!
       Поисковая система "Апорт!" разработана компанией "Агама" при поддержке Intel. Понимает все кириллические кодировки и выполняет поиск с учетом морфологического анализа. Имеет гибкий язык запросов, имеется возможность перевода запроса с русского на английский язык и наоборот. Результаты поиска упорядочиваются по частоте употребления искомых терминов. Вместе со ссылкой отображается фрагмент текста, где встречается термин, а также дата и время последней модификации файла.