Как работают поисковые системы?
Поисковая система каждую секунду обрабатывает десятки тысяч запросов, формируя миллиарды вариантов выдачи результатов. С этих миллиардов поисковик отбирает наиболее релевантные и помещает в выдачу, которую уже видим мы с Вами. Что бы узнать, как это происходит, нужно понимать принципы работы механизмов поиска.
Физический уровень поисковых систем
Современные поисковики – это сложные системы, которые состоят из сотен тысяч, а в случае с «Google» - миллионы физических серверов. На серверах хранится информация, которая отлично защищена и распределена по разным странам в разных дата центрах. Хотя все начиналось с одного сервера, который обрабатывал все запросы и при этом был слабее любого домашнего ПК.
Логика ранжирования запросов
Когда человек хочет что-то найти, он вводит в поисковую систему запрос, его сразу же переопределяют на свободный кластер, при помощи специального механизма, который позволяет снизить нагрузку и увеличить эффективность работы.
Потом запрос попадает в специальный мета-поиск, который определяет его тематику, и узнает, к какому типу данных он принадлежит. В этот момент поисковик проверяет орфографию и региональную принадлежность, отправляя уже готовые данные к следующему этапу.
Следующим этапом поисковик определяет, не встречался ли запрос ранее, если встречался, то такие запросы поисковик некоторое время хранит в кэше и уже с него выдает результаты. Если же ответа в кэше нет, поисковик начинает формировку нового. Запрос отправляется в базовый поиск, в котором находится весь индекс, разбитый на части и по серверам, это делает поиск существенно быстрее.
Для быстродействия системы, на каждом сервере находятся несколько копий информации. Если какой-то из серверов перегружен, информация распределяется между остальными. Результат обработки, отправляется обратно в мета-поиск. Там его обрабатывает специальный алгоритм, под названием «Матрикснет», который и распределяет все сайты в выдаче.
