Самый первый способ организации доступа к информации в Интернете был основан с помощью создания тематических групп каталогов сайтов. Первый подобный каталог был основан в 1994 году сайтом Yahoo. Постепенно количество сайтов в каталоге увеличивалось, в результате чего была добавлена функция поиска информации в каталоге сайтов. В то время Yahoo нельзя было назвать поисковой системой – искать информацию можно было только на тех сайтах, которые присутствовали в каталоге.
В настоящее время каталоги ссылок практически не используются. Объяснение этому – с помощью ссылок невозможно захватить большой объём информации.
В 1994 году была создана первая полноценная поисковая система, проект которой носил название WebCrawler.
В следующем году были созданы AltaVista и Lycos. Первая завоевала лидирующие места среди поисковиков того времени.
Создание самой популярной и успешной поисковой системы Google относится к 1997 году. Создателями являлись Ларри Пейдж и Сергей Брин, которые работали над исследовательским проектом в Стенфорде.
В этом же году 23 сентября была создана поисковая система Yandex. В настоящее время она является самой популярной среди русского населения. На ней можно размещать как бесплатные, так и платные объявления.
На последнем этапе развития истории сайтостроения можно выделить три самых популярных поисковых системы – Yahoo, Google и MSN Search. Для них характерно наличие собственных поисковых баз и алгоритмов. Остальные поисковые системы используют для поиска алгоритмы Yahoo, Google и MSN Search.
Каждая поисковая система состоит из следующих компонентов:
1. Spider. Программа, которая способна скачивать сайты. Делает это таким же образом, как браузер пользователя. Отличие – работа преимущественно с html кодом страницы.
2. Crawler. Программа, обеспечивающая автоматический переход по всем ссылкам. Определяет дальнейшее направление Spider. В зависимости от списка заданных адресов.
3. Indexer. Производит анализ страниц, которые скачал Spider.
4. Database. Хранит скаченные и обработанные страницы.
5. Search engine results engine. Отвечает за извлечение результатов поиска из Database. Сортирует и выдаёт пользователю запрашиваемые данные.
6. Web server. С помощью веб-сервера осуществляется обмен информацией. Обычно в неё вводится адрес страницы для поиска.
Выполнение поиска информации на данном этапе истории может проводиться как по приведённому алгоритму, так и с помощью единой программы.
