Поисковые системы мира на русском языке. Поисковые системы
Интернет необходим многим пользователям для того, чтобы получать ответы на запросы (вопросы), которые они вводят.
Если бы не было поисковых систем, пользователям пришлось бы самостоятельно искать нужные сайты, запоминать их, записывать. Во многих случаях найти «вручную» что-то подходящее было бы весьма сложно, а часто и просто невозможно.
За нас всю эту рутинную работу по поиску, хранению и сортировке информации на сайтах делают поисковики.
Начнем с известных поисковиков Рунета.
Поисковые системы в Интернете на русском
1) Начнем с отечественной поисковой системы. Яндекс работает не только в России, но также работает в Белоруссии и Казахстане, в Украине, в Турции. Также есть Яндекс на английском языке.
2) Поисковик Google пришел к нам из Америки, имеет русскоязычную локализацию:
3)Отечественный поисковик Майл ру, который одновременно представляет социальную сеть ВКонтакте, Одноклассники, также Мой мир, известные Ответы Mail.ru и другие проекты.
4) Интеллектуальная поисковая система
Nigma (Нигма) http://www.nigma.ru/
С 19 сентября 2017 года “интеллектуалка” nigma не работает. Она перестала для её создателей представлять финансовый интерес, они переключились на другой поисковик под названием CocCoc.
5) Известная компания Ростелеком создала поисковую систему Спутник.
Есть поисковик Спутник, разработанный специально для детей, про который я писала .
6) Рамблер был одним из первых отечественных поисковиков:
В мире есть другие известные поисковики:
- Bing,
- Yahoo!,
- DuckDuckGo,
- Baidu,
- Ecosia,
Попробуем разобраться, как же работает поисковая система, а именно, как происходит индексация сайтов, анализ результатов индексации и формирование поисковой выдачи. Принципы работы поисковых систем примерно одинаковые: поиск информации в Интернете, ее хранение и сортировка для выдачи в ответ на запросы пользователей. А вот алгоритмы, по которым работают поисковики, могут сильно отличаться. Эти алгоритмы держатся в тайне и запрещено ее разглашение.
Введя один и тот же запрос в поисковые строки разных поисковиков, можно получить разные ответы. Причина в том, что все поисковики используют собственные алгоритмы.
Цель поисковиков
В первую очередь нужно знать о том, что поисковики – это коммерческие организации. Их цель – получение прибыли. Прибыль можно получать с контекстной рекламы, других видов рекламы, с продвижения нужных сайтов на верхние строчки выдачи. В общем, способов много.
Зависит от того, какой размер аудитории у него, то есть, сколько человек пользуется данной поисковой системой. Чем больше аудитория, тем большему числу людей будет показываться реклама. Соответственно, стоить эта реклама будет больше. Увеличить аудиторию поисковики могут за счет собственной рекламы, а также привлекая пользователей за счет улучшения качества своих сервисов, алгоритма и удобства поиска.
Самое главное и сложное здесь – это разработка полноценного функционирующего алгоритма поиска, который бы предоставлял релевантные результаты на большинство пользовательских запросов.
Работа поисковика и действия вебмастеров
Каждый поисковик обладает своим собственным алгоритмом, который должен учитывать огромное количество разных факторов при анализе информации и составлении выдачи в ответ на запрос пользователя:
- возраст того или иного сайта,
- характеристики домена сайта,
- качество контента на сайте и его виды,
- особенности навигации и структуры сайта,
- юзабилити (удобство для пользователей),
- поведенческие факторы (поисковик может определить, нашел ли пользователь то, что он искал на сайте или пользователь вернулся снова в поисковик и там опять ищет ответ на тот же запрос)
- и т.д.
Все это нужно именно для того, чтобы выдача по запросу пользователя была максимально релевантной, удовлетворяющей запросы пользователя. При этом алгоритмы поисковиков постоянно меняются, дорабатываются. Как говорится, нет предела совершенству.
С другой стороны, вебмастера и оптимизаторы постоянно изобретают новые способы продвижения своих сайтов, которые далеко не всегда являются честными. Задача разработчиков алгоритма поисковых машин – вносить в него изменения, которые бы не позволяли «плохим» сайтам нечестных оптимизаторов оказываться в ТОПе.
Как работает поисковая система?
Теперь о том, как происходит непосредственная работа поисковой системы. Она состоит как минимум из трех этапов:
- сканирование,
- индексирование,
- ранжирование.
Число сайтов в интернете достигает просто астрономической величины. И каждый сайт – это информация, информационный контент, который создается для читателей (живых людей).
Сканирование
Это блуждание поисковика по Интернету для сбора новой информации, для анализа ссылок и поиска нового контента, который можно использовать для выдачи пользователю в ответ на его запросы. Для сканирования у поисковиков есть специальные роботы, которых называют поисковыми роботами или пауками.
Поисковые роботы – это программы, которые в автоматическом режиме посещают сайты и собирают с них информацию. Сканирование может быть первичным (робот заходит на новый сайт в первый раз). После первичного сбора информации с сайта и занесения его в базу данных поисковика, робот начинает с определенной регулярностью заходить на его страницы. Если произошли какие-то изменения (добавился новый контент, удалился старый), то все эти изменения будут поисковиком зафиксированы.
Главная задача поискового паука – найти новую информацию и отдать ее поисковику на следующий этап обработки, то есть, на индексирование.
Индексирование
Поисковик может искать информацию лишь среди тех сайтов, которые уже занесены в его базу данных (проиндексированы им). Если сканирование – это процесс поиска и сбора информации, которая имеется на том или ином сайте, то индексация – процесс занесения этой информации в базу данных поисковика. На этом этапе поисковик автоматически принимает решение, стоит ли заносить ту или иную информацию в свою базу данных и куда ее заносить, в какой раздел базы данных. Например, Google индексирует практически всю информацию, найденную его роботами в Интернете, а Яндекс более привередлив и индексирует далеко не все.
Для новых сайтов этап индексирования может быть долгим, поэтому посетителей из поисковых систем новые сайты могут ждать долго. А новая информация, которая появляется на старых, раскрученных сайтах, может индексироваться почти мгновенно и практически сразу попадать в «индекс», то есть, в базу данных поисковиков.
Ранжирование
Ранжирование – это выстраивание информации, которая была ранее проиндексирована и занесена в базу того или иного поисковика, по рангу, то есть, какую информацию поисковик будет показывать своим пользователям в первую очередь, а какую информацию помещать «рангом» ниже. Ранжирование можно отнести к этапу обслуживания поисковиком своего клиента – пользователя.
На серверах поисковой системы происходит обработка полученной информации и формирование выдачи по огромному спектру всевозможных запросов. Здесь уже вступают в работу алгоритмы поисковика. Все занесенные в базу сайты классифицируются по тематикам, тематики делятся на группы запросов. По каждой из групп запросов может составляться предварительная выдача, которая впоследствии будет корректироваться.
Всякий раз, когда вы просматриваете сайт, ваш IP и MAC-адрес фиксируется, чтобы отслеживать вашу деятельность. Чтобы защититься, необходимо просматривать страницы различных сайтов анонимно. В связи с этим, мы приводим список анонимных поисковиков, которые не будут отслеживать ваши запросы.
1. WolframAlpha
Это одна из лучших поисковых систем, которая хорошо известна экспертам в области безопасности. WolframAlpha предоставляет принципиально новый способ получения знаний и ответов – путем динамических вычислений, основанных на большом объеме встроенных данных, алгоритмов и методов.
2. Privatelee
Это поисковая система на основе HTTPS , которая применяет SSL-шифрование и не записывает запросы пользователей.
3. DuckDuckGo
Это известная поисковая система, которую, вы, возможно, уже использовали. Анонимный поисковик DuckDuckGo не собирает и не делится личной информацией пользователей. Такова применяемая этим сервисом политика конфиденциальности.
4 Yippy
Это одна из поисковых систем, с помощью которой вы можете легко отфильтровывать результаты и отсортировать список по вашему желанию. Тем более что эта поисковая система работает с правильным пользовательским поиском, чтобы предоставить своим пользователям лучшие результаты и никогда не сохраняет историю поисковых запросов.
5. GIBIRU
Gibiru не устанавливает привязку к каким-либо персональным данным и не занимается отслеживанием файлов cookie . Поисковик предоставляет бесцензурную и обезличенную анонимную сеть, поэтому вы можете безопасно просматривать интернет.
6. Startpage
Это мощная поисковая система, которая отображает результаты Google , защищая пользовательские запросы, и позволяет избежать отслеживания ваших шагов. Она обеспечивает просмотр через прокси-сервер, который предотвращает отслеживание IP-адреса или местоположения.
7. Hulbee
Hulbee.com – рациональная альтернатива для тех, кто придает большое значение целостности данных и конфиденциальности. В отличие от обычных поисковых систем пользователи Hulbee.com не оставляют никаких следов. Hulbee.com даже не подсчитывает количество своих посетителей. Их запросы, IP-адреса и личная информация не сохраняются.
8. Disconnect Search
Этот сервис использует Google , Bing и Yahoo для поиска контента. Но он никогда не отслеживает ваши запросы или IP-адрес . Он даже позволяет пользователю выбрать свое местоположение, прежде чем начать поиск.
9. Lukol
Lukol – одна из лучших поисковых систем, которая защищает пользователей от онлайн-мошенников и спамеров. Использует Google для показа результатов поиска. Но для предоставления результатов поиска задействует прокси-сервер.
Мы рассмотрели лучшие анонимные поисковики, которые не отслеживают пользовательские запросы. С помощью них можно легко осуществлять анонимный поиск, не беспокоясь о своей безопасности.
Перевод статьи «Top 10 Private Search Engines That Do Not Track You » был подготовлен дружной командой проекта Сайтостроение от А до Я .
Хорошо Плохо
Большая часть времени, проводимая пользователем в интернете, тратится на поиск интересующей его информации. При этом существует масса способов добыть эти данные - можно заглянуть в онлайновую энциклопедию и попробовать отыскать ответ там, можно подписаться на рассылку по интересующей теме и внимательно изучать приходящую корреспонденцию, а можно посоветоваться с компетентными людьми на форуме, задав им вопрос. Но самый универсальный способ найти что-то в интернете - воспользоваться одной из многочисленных поисковых систем. Сервисы для осуществления поиска на миллионах и миллионах web-сайтов - это, пожалуй, основополагающее звено всемирной Сети. Без Google, Yahoo, Yandex и многих других привычных сегодня поисковых систем пребывание пользователя в Сети скорее напоминало бы хождение слепого по лесу. Значимость поисковых систем для работы в интернете трудно переоценить - у многих пользователей в качестве стартовых страниц указаны адреса поисковых систем, и именно с них для многих начинается бесконечное путешествие по различным ресурсам сети. Однако эффективность интернет-раскопок у всех разная - один человек находит информацию мгновенно, у другого на это уходит очень много времени, ну а третий может и вовсе не найти для себя ничего полезного. В чем же причина? Ответ прост: поиск в интернете сродни рыбалке - нужно знать, где ловить и на что ловить, т.е. где искать и как искать. В сегодняшней статье мы расскажем о том, как лучше всего проводить поиск в интернете, и поведаем, какие для этого существуют поисковые системы, кроме тех, которые "у всех на устах".
Однако начнем мы именно с тех систем, которые вы знаете. Если пользователь знает адрес поисковой системы, это еще не означает, что он умеет ею пользоваться. Давайте проверим, насколько вы хорошо разбираетесь в технологии поисковых запросов. То, насколько точные результаты вы получите, прежде всего, зависит от того, насколько умело вы сформировали поисковый запрос. Например, если вы ищете информацию для написания курсовой работы, не нужно вводить ее тему дословно, особенно если работа имеет узкую специализацию. Гораздо больше ценных сведений вы найдете, если попробуете подобрать ключевые слова, то есть те слова, которые обязательно будут встречаться в вашей работе. Если вы ищете утерянную инструкцию для автомагнитолы, то введя номер модели, наверняка получите огромное количество сайтов, предлагающих ее приобрести. Чтобы отсеять ненужные ссылки, можно использовать функцию поиска в найденном или исключить из поиска некоторые слова. Практически в каждом поисковике вы найдете функцию расширенного поиска. Это - еще один хороший способ отсеять ненужные результаты. Среди таких функций может пригодиться поиск страниц, которые недавно обновлялись, поиск страниц только на определенном языке или на сайтах, расположенных в указанной вами доменной зоне. Время, которое тратится на поиск, можно существенно сэкономить, если знать и использовать синтаксис языка запросов. Каждый поисковик имеет тут свои особенности. Например, когда вы ищете что-нибудь на Яндексе, то не лишним будет использовать следующие приемы:
- Для поиска слов, которые должны встретиться на странице в одном предложении, поставьте между ними символ &
- Чтобы исключить определенное слово из результатов поиска, добавьте его к своему запросу, поставив перед ним символы ~~
- Чтобы найти страницы, в которых содержится хотя бы одно из слов, указанных в поисковом запросе, разделите их символом |
- Для поиска слова в указанной форме поставьте перед ним восклицательный знак
- Для поиска информации на определенном сайте (и только на нем) введите в поле запроса его адрес, предварив словом site и двоеточием (например, site:http://www.сайт)
- Для поиска фразы, которая должна встретиться на странице полностью, возьмите ее в кавычки
- Для исключения из результатов поиска страниц, на которых встречается определенное слово, добавьте его к своему запросу, поставив перед ним знак минус
FindSounds.com - ищет звуки
Этот ресурс предназначен для тех пользователей, которые находятся в творческом поиске. Ресурс позволяет искать звуковые файлы разных форматов - wav, mp3, aiff, au. В базе данных ресурса есть самые разнообразные звуки - крики животных, скрежет машин, звон, стук, сирены, жужжание насекомых, грохот взрывов и стрельбы, всплеск воды и т.д. Звуковые файлы могут искаться по разным критериям, например, по размеру, наличию двух или одного каналов звучания (стерео/моно), частоте дискретизации и разрядности звучания. В результатах поиска ресурс показывает не только ссылки на найденные файлы, но и их основные характеристики, а также показывает график амплитуды звука, по которой можно судить о характере звучания данного семпла.База звуковых эффектов FindSounds может найти применение в самых разных областях - от разработки компьютерных игр и прочих приложений, до создания презентаций и всевозможных клипов. Поисковик может пригодиться, например тем, кто создает интерактивную web-графику и желает внести разнообразие на сайт, сопроводив нажатие элементов навигации страниц различными звуками.
Gnod.net - подберет музыку, книги и фильмы по вкусу
Когда у человека возникает желание почитать новую книгу, послушать какую-нибудь новую музыку или посмотреть фильм, он, как правило, обращается за советом к своему другу или знакомому, который в его глазах имеет авторитет. Однако найти того, кто согласился бы высказать свое мнение по данному вопросу, не так просто. Во-первых, не все любят давать советы, ведь рекомендуя что-то другому, человек берет на себя долю ответственности, и многих останавливает вопрос "А вдруг фильм, который я посоветую, ему не понравится?" Во-вторых, человек, который дает совет, должен понимать, что именно понравится собеседнику, а что - будет совершенно неинтересно. Ведь на вкус и цвет, как говорится… Но есть более простой способ получить хороший совет - воспользоваться особым поисковиком, который сделан именно для этой цели. Итак, вы захотели послушать новую группу, но нет времени и желания искать хорошую музыку. Ресурс gnod.net поинтересуется у вас несколькими именами музыкальных исполнителей, которые вам нравятся, проведет анализ результатов и предложит свой вариант певца или группы, которая тоже должна вам понравиться. Сервис имеет несколько баз данных - по музыкальным исполнителям, по фильмам, книгам и людям. Таким образом, ресурс вобрал в себя четыре сервиса: Gnod Music, Gnod Books, Gnod Movies и Flork. Последний сервис, Flork - это социальный эксперимент по обнаружению людей, которым интересно общаться друг с другом. Мы с удовольствием протестировали музыкальный раздел этого сервиса и ввели трех исполнителей - Gerry and the Pacemakers, The Beatles и Hollies. Наша подборка не была случайной - эти три группы принадлежат к эпохе шестидесятых, к интересному явлению, которое носит название Британское вторжение (British Invasion). Все эти группы играли бит, и поисковик должен был предложить группу или исполнителя в том же стиле. Так и случилось. Результат, предложенный нам - это группа Archies, которая в конце шестидесятых была на устах у всех американцев со своей веселой песенкой Sugar Sugar. Поиграв с поисковиком какое-то время, мы пришли к выводу, что gnod.net чаще дает правильный совет, а ошибается не очень часто. Для наглядности, результаты своего "совета" поисковик может предоставить в виде анимированного облака с названиями групп, авторов или фильмов. Базу данных можно пополнять самостоятельно, проводя "беседы" с поисковиком и отвечая на его вопросы в стиле "это мне нравится" или "это мне не нравится".Alldll.net - найдет файлы библиотек
Этот поисковик мы рекомендуем вам сразу занести в закладки, так как рано или поздно он обязательно пригодится. Вероятно, каждому доводилось хотя бы раз столкнуться с проблемой отсутствия в системе какой-то библиотеки dll. Обычно это приводит к тому, что программы или игры отказываются запускаться, и на экране появляется сообщение "Couldn"t find *****.dll". Причин тому может быть много, например, отсутствие файла может быть вызвано некорректным удалением ранее установленного приложения, случайным повреждением файла и т.д. Кроме того, разработчик мог просто не включить в дистрибутив своего продукта эту библиотеку.Исправить ситуацию очень просто - достаточно найти в интернете недостающий файл, загрузить его и скопировать в директорию той программы, которая отказывается запускаться, либо в папку..WINDOWSsystem32... Найти и скачать отсутствующий файл можно легко и быстро с помощью данного сервиса. Ресурс www.alldll.net представляет собой поисковую базу данных по наиболее популярным библиотекам dll. Файлы рассортированы по алфавиту, присутствует функция поиска. Искомый файл можно искать, даже если вам известно только приблизительное название библиотеки. Достаточно в поле запроса начать вводить текст, и в нижней части страницы появится огромный список файлов, которые начинаются с тех букв, которые были набраны.
Medpoisk.ru - поиск медицинской информации
Несмотря на то, что данная поисковая система использует движок поиска от Google, это ни в коей мере не снижает ее ценность. Medpoisk.ru - это универсальный поисковик, который предназначен для поиска исключительно на медицинских сайтах. Этот сайт - отличный инструмент для каждого медика и всех, кто желает получить ответ на любой вопрос из области медицины. Как лечить ту или иную болезнь, какие противопоказания у того или иного лекарства, к какому врачу обратиться - все это и многое другое можно узнать, "спросив" у поисковика. Поисковик включает в себя биржу труда и может использоваться для поиска работы среди медицинских работников. Ресурс также содержит каталог медицинских учреждений, рассортированных по регионам. Среди этих учреждений адреса клиник, медицинских центров разной направленности, родильные дома, диагностические центры, косметологические салоны и пр. Мы вам искренне желаем, чтобы этим поисковым сервисом вы пользовались исключительно из любопытства, а не по необходимости.Taggalaxy.de - поиск картинок и фотографий
Возможно, вы слышали о популярном сервисе для обмена графическими файлами Flickr.com ? Это тот самый сервис, который в 2007 году был заблокирован китайскими властями, после того как на его страницах появились фотографии печальных событий 1989 года на площади Тяньаньмэнь, расположенной в столице Китая Пекине. Flickr.com является одним из первых Web 2.0 сервисов, а число изображений, загружаемых на него пользователями, исчисляется миллиардами. Количество картинок, загружаемых на серверы этого сервиса столь велико, что для того чтобы найти какое-то конкретное изображение в этом океане снимков и картин, необходима отдельная поисковая система. Сервис предлагает услугу поиска по изображениям, однако есть более интересный способ искать картинки - используя необычный поисковик taggalaxy.de. Этот поисковый сервис представляет собой средство для поиска изображений на Flickr.com, с предварительным просмотром. А необычным его делает интерфейс поиска, который полностью сделан трехмерным. Процесс поиска по ключевому слову напоминает какую-то компьютерную игру - в космическом пространстве летают разные небесные тела, между которыми можно перемещаться в виртуальном мире.После того, как будет выполнен запрос по ключевому слову, на экране возникнет система из солнца и планет, которые вращаются вокруг светила. Каждое небесное тело имеет свое предназначение и "подписано" словом. В центре галактики - солнце, ключевой запрос, все остальные тела - это вспомогательные слова, уточнения. Если щелкнуть мышью по солнцу, этот объект приблизится, и со всех сторон на него слетятся и окружат фотографии, содержание которых определено поисковым запросом. Эту трехмерную модель с фотографиями можно поворачивать в виртуальном пространстве, подробно рассматривая и выискивая интересующее изображение. После этого достаточно щелкнуть по картинке, чтобы она увеличилась в размере, и тогда ее можно будет лучше рассмотреть и почитать описание.
В процессе работы с этим поисковиком, можно использовать функцию скроллинга - она позволяет приближать или отдалять трехмерные планеты. Остальные планеты, которые видны в интерфейсе поисковика после запроса - это вспомогательные слова, позволяющие уточнить запрос. Например, если ввести в поле поиска "Sky", то среди уточняющих слов-планет будут слова "сlouds", "sunset", "blue" и другие схожие по смыслу тэги, которые пользователи указали при использовании сервиса Flickr.com. Недостатком поисковой системы можно считать то, что taggalaxy.de не поддерживает русский язык, поэтому запросы можно вводить только латиницей.
Nigma.ru - фильтрует результаты других поисковых систем
Среди всех поисковых систем, которые можно встретить в интернете, существует особая группа поисковиков. Она отличается от всех остальных тем, что в них реализована функция мультипоиска, то есть одновременного поиска по нескольким поисковым системам. Одной из таких мультипоисковых систем является российский сервис Nigma.ru.Nigma содержит собственную базу ресурсов, но помимо этого позволяет выполнять поиск сразу по всем наиболее популярным поисковым системам, в числе которых - Google, MSN, Yandex, Rambler, AltaVista, Yahoo и Aport. Механизм отбора результатов в этой поисковой машине отличается от большинства принятых методов обнаружения сайтов. Дело в том, что движок этого сервиса использует кластеризацию результатов. Что это означает? Представьте себе, что вы решили для себя выяснить, что такое "рендеринг". Сопоставив результаты в разных поисковых системах, движок Nigma.ru отобрал наиболее вероятные результаты и при этом в левой части окна, рядом со списком результатов поиска, отобразил так называемые кластеры - "визуализация", "создание", "система", "rendering", "процесс", "studio max", "компьютерной графики" и другие слова и словосочетания. Эти кластеры представляют собой тематическую группу найденных документов. Таким образом, можно быстро сузить круг поиска или конкретизировать поисковый запрос. В Nigma.ru можно также использовать рубрики, чтобы ограничить область, из которой будут выбираться результаты - например, выполнять поиск только с учетом музыкальных ресурсов или вывести результаты только для изображений. Еще одна возможность этого сервиса может быть интересна школьникам и студентам. Nigma.ru предлагает сервисы Nigma-математика и Nigma-химия. Первый предназначен для быстрого решения простых уравнений и различных арифметических операций, второй позволяет работать с формулами химических реакций. Поисковый сервис распознает более тысячи физических, математических констант и единиц измерения, позволяя быстро выполнять преобразование из одной размерности в другую.
Searchme.com - поисковик с предпросмотром
Всем известно, что для того чтобы найти конкретную информацию в сети, необходимо потратить немало времени. Просматривая результаты поиска, пользователь, в основном, открывает ресурсы наугад, не зная наверняка, найдет ли он на новой странице то, что его интересует, или это будет пустой тратой времени. Создатели поискового сервиса searchme.com задумались над этой проблемой и придумали ее оригинальное решение. Суть этого решения состояла в том, чтобы создать такую поисковую систему, в которой пользователь мог бы посмотреть на приблизительный эскиз страницы еще до ее загрузки. Это позволило бы составить дополнительное мнение о серьезности ресурса и о его содержании.Реализация этой идеи была просто великолепной - созданный поисковик имеет красивый анимированный трехмерный интерфейс и показывает результаты поиска в виде анимированной ленты эскизов, уменьшенных скриншотов web-страниц, включающих в себя ключевое слово поиска. Ленту с результатами, подобно пленке со старыми негативами, можно прокручивать в окне браузера, используя специальный ползунок, расположенный под вереницей изображений. Эскизы мгновенно подгружаются, поэтому никаких "тормозов" с прорисовкой результатов не наблюдается. Особенно удобно работать с результатами поиска в полноэкранном режиме - тогда вполне можно разобрать даже текст статей на эскизах результатов. Чтобы оценить удобство этой системы, достаточно попробовать просмотреть новостные ресурсы. Фотографии к главным новостям на титульной странице web-издания, тут же дадут понять, какую новость на данном ресурсе считают наиболее важной.
Выход - специализированный поисковик торрентов. Сайтов, которые ищут по торрент-ресурсам, в сети немало. Однако torrent-finder.com имеет перед остальными поисковыми системами неоспоримое преимущество - этот сервис позволяет искать файлы на огромном числе трекеров одновременно.
Поисковые системы (ПС) уже приличное время являются обязательной частью интернета. Сегодня они громадные и сложнейшие механизмы, которые представляют собой не только инструмент для нахождения любой необходимой информации, но и довольно увлекательные сферы для бизнеса.
Многие пользователи поиска никогда не думали о принципах их работы, о способах обработки пользовательских запросов, о том, как построены и функционируют данные системы. Данный материал поможет людям, которые занимаются оптимизацией и , понять устройство и основные функции поисковых машин.
Функции и понятие ПС
Поисковая система – это аппаратно-программный комплекс, который предназначен для осуществления функции поиска в интернете, и реагирующий на пользовательский запрос который обычно задают в виде какой-либо текстовой фразы (или точнее поискового запроса), выдачей ссылочного списка на информационные источники, осуществляющейся по релевантности. Самые распространенные и крупные системы поиска: Google, Bing, Yahoo, Baidu. В Рунете – Яндекс, Mail.Ru, Рамблер.Рассмотрим поподробнее само значение запроса для поиска, взяв для примера систему Яндекс.
Запрос обязан быть сформулирован пользователем в полном соответствии с предметом его поиска, максимально просто и кратко. К примеру, мы желаем найти информацию в данном поисковике: «как выбрать автомобиль для себя». Чтобы сделать это, открываем главную страницу и вводим запрос для поиска «как выбрать авто». Потом наши функции сводятся к тому, чтобы зайти по предоставленным ссылкам на информационные источники в сети.
Но даже действуя таким образом, можно и не получить необходимую нам информацию. Если мы получили подобный отрицательный результат, нужно просто переформировать свой запрос, или же в базе поиска действительно нет никакой полезной информации по данному виду запроса (такое вполне возможно при заданных «узких» параметров запроса, как, к примеру, «как выбрать автомобиль в Анадыри»).
Самая основная задача каждой поисковой системы – доставить людям именно тот вид информации, который им нужен. А приучить пользователей создавать «правильный» вид запросов к поисковым системам, то есть фразы, которые будут соответствовать их принципам работы, практически, невозможно.
Именно поэтому специалисты-разработчики поисковиков делают такие принципы и алгоритмы их работы, которые бы давали пользователям находить интересующие их сведения. Это означает, что система, должна «думать» так же, как мыслит человек при поиске необходимой информации в интернете.
Когда он вводит свой запрос в поисковую машину, он желает найти то, что ему надо, как можно проще и быстрее. Получив результат, пользователь составляет свою оценку работе системы, руководствуясь несколькими критериями. Получилось ли у него найти нужную информацию? Если нет, то сколько раз ему пришлось переформатировать текст запроса, чтобы найти ее? Насколько актуальная информация была им получена? Как быстро поисковая система обработала его запрос? Насколько удобно были предоставлены поисковые результаты? Был ли нужный результат первым, или находился на 30-ом месте? Сколько «мусора» (ненужной информации) было найдено вместе с полезными сведениями? Найдется ли актуальная для него информация, при использовании ПС, через неделю, либо через месяц?
Для того чтобы получить правильные ответы на подобные вопросы, разработчики поиска постоянно улучшают принципы ранжирования и его алгоритмы, добавляют им новые возможности и функции и любыми средствами пытаются сделать быстрее работу системы.
Основные характеристики поисковых систем
Обозначим главные характеристики поиска:Полнота.
Полнота является одной из главнейших характеристик поиска, она представляет собой отношение цифры найденных по запросу информационных документов к их общему числу в интернете, относящихся к данному запросу. Например, в сети есть 100 страниц имеющих словосочетание «как выбрать авто», а по такому же запросу было отобрано всего 60 из общего количества, то в данном случае полнота поиска составит 0,6. Понятно, что чем полнее сам поиск, тем больше вероятность, что пользователь найдет именно тот документ, который ему необходим, конечно, если он вообще существует.Точность.
Еще одна основная функция поисковой системы – точность. Она определяет степень соответствия запросу пользователя найденных страниц в Сети. К примеру, если по ключевой фразе «как выбрать автомобиль» найдется сотня документов, в половине из них содержится данное словосочетание, а в остальных просто есть в наличии такие слова (как грамотно выбрать автомагнитолу, и установить ее в автомобиль»), то поисковая точность равна 50/100 = 0,5.Чем поиск точнее, тем скорее пользователь найдет необходимую ему информацию, тем меньше разнообразного «мусора» будет встречаться среди результатов, тем меньше найденных документов будут не соответствовать смыслу запроса.
Актуальность.
Это значимая составляющая поиска, которую характеризует время, проходящее с момента опубликования информации в интернете до занесения ее в индексную базу поисковика.К примеру, на следующий день после возникновения информации о выходе нового iPad, множество пользователей обратилась к поиску с соответствующими видами запросов. В большинстве случаев информация об этой новости уже доступна в поиске, хотя времени с момента ее появления прошло очень мало. Это происходит благодаря наличию у крупных поисковых систем «быстрой базы», которая обновляется несколько раз за день.
Скорость поиска.
Такая функция как скорость поиска теснейшим образом связана с так называемой «устойчивостью к нагрузкам». Ежесекундно к поиску обращается огромное количество людей, подобная загруженность требует значительного сокращения времени для обработки одного запроса. Тут интересы, как поисковой системы, так и пользователя целиком совпадают: посетитель хочет получить результаты как можно быстрее, а поисковая система должна отработать его запрос тоже максимально быстро, чтобы не притормозить обработку последующих запросов.Наглядность.
Наглядное представление результатов является важнейшим элементом удобства поиска. По множеству запросов поисковая система находит тысячи, а в некоторых случаях и миллионы разных документов. Вследствие нечеткости составления ключевых фраз для поиска или его не точности, даже самые первые результаты запроса не всегда имеют только нужные сведения.Это значит, что человеку часто приходится осуществлять собственный поиск среди предоставленных результатов. Разнообразные компоненты страниц выдачи ПС помогают ориентироваться в поисковых результатах.
История развития поисковых систем
Когда интернет только начал развиваться, число его постоянных пользователей было небольшим, и объем информации для доступа был сравнительно невеликим. В основном доступ к этой сети имели лишь специалисты научно-исследовательских сфер. В то время, задача нахождения информации не была столь актуальна как сейчас.Одним из самых первых методов организации широкого доступа к ресурсам информации стало создание каталогов сайтов, причем ссылки на них начали группировать по тематике. Таким первым проектом стал ресурс Yahoo.com, который открылся весной 1994-ого года. Впоследствии когда количество сайтов в Yahoo-каталоге существенно увеличилось, была добавлена опция поиска необходимых сведений по каталогу. Это еще не было в полной мере поисковой системой, так как область такого поиска была ограничена только сайтами, входящими в данный каталог, а не абсолютно всеми ресурсами в интернете. Каталоги ссылок весьма широко использовались раньше, однако в настоящее время, практически в полной мере утратили свою популярность.
Ведь даже сегодняшние, громадные по своим объемам каталоги имеют информацию о незначительно части сайтов в интернете. Самый известный и большой каталог в мире имеет информацию о пяти миллионах сайтов, когда база Google содержит информацию о более чем 25 миллиардов страниц.
Самой первой настоящей поисковой системой стала WebCrawler, возникшая еще в 1994-ом году.
В следующем году появились AltaVista и Lycos. Причем первая была лидером по поиску информации очень длительное время.
В 1997-ом году Сергей Брин вместе с Ларри Пейджем создал машину поисковую Google как исследовательский проект в Стэндфордском университете. Сегодня именно Google, самая востребованная и популярная поисковая система в мире.
В сентябре 1997-ом году была анонсирована (официально) ПС Yandex, которая в настоящий момент является самой популярной системой поиска в Рунете.
По данным на сентябрь 2015 года , доли поисковых систем в мире распределены следующим образом:
- Google - 69,24 %;
- Bing - 12,26 %;
- Yahoo! - 9,19 %;
- Baidu - 6,48 %;
- AOL - 1,11 %;
- Ask - 0,23 %;
- Excite - 0,00 %
По данным на декабрь 2016 года , доли поисковых систем в Рунете:
- Яндекс - 48,40%
- Google - 45,10%
- Search.Mail.ru - 5,70%
- Rambler - 0,40%
- Bing - 0,30%
- Yahoo - 0,10%
Принципы работы поисковой системы
В России главной системой поиска является Яндекс, затем Google, а потом Поиск@Mail.ru. Все большие системы поиска имеют свою структуру, которая весьма отличается от других. Но все-таки можно выделить общие для всех поисковиков основные элементы.Модуль индексирования.
Данный компонент состоит из трех программ-роботов:Spider (по англ. паук) – программа которая предназначена для того чтобы скачивать веб-страницы. «Паук» скачивает определенную страницу, одновременно извлекая из нее все ссылки. Скачивается код html практически с каждой страницы. Для этого роботы используют HTTP-протоколы.
«Паук» функционирует следующим образом. Робот передает запрос на сервер “get/path/document” и иные команды запроса HTTP. В ответ программа-робот получает поток текста, который содержит информацию служебного вида и, естественно, сам документ.
- URL скаченной страницы;
- дата, когда осуществлялось скачивание страницы;
- заголовок http-ответа сервера;
- html-код, «тела» страницы.
Indexer (робот-индексатор) – это программа, анализирующая страницы, которые скачали пауки.
Индексатор полностью разбирает страницу на составные элементы и проводит их анализ, применяя свои морфологические и лексические виды алгоритмов.
Анализ проводится над разнообразными частями страницы, такими как заголовки, текст, ссылки, стилевые и структурные особенности, теги html и др.
Таким образом, модуль индексирования дает возможность проходить по ссылкам заданного количества ресурсов, скачивать страницы, извлекать ссылочную массу на новые страницы из полученных документов и делать подробный их анализ.
База данных
База данных (или индекс поисковика) - комплекс хранения данных, массив информации в котором сохраняются определенным образом переделанные параметры каждого обработанного модулем индексации и скачанного документа.Поисковый сервер
Это самый важный элемент всей системы, потому что от алгоритмов, лежащих в основе ее функциональности, прямо зависит скорость и, конечно же, качество поиска.Поисковый сервер работает следующим образом:
- Запрос, который идет от пользователя подвергается морфологическому анализу. Информационное окружение любого документа, имеющегося в базе, генерируется (оно и будет в дальнейшем отображаться как сниппет, т.е. информационное поле текста соответствующего данному запросу).
- Полученные данные передают как входные параметры специализированному модулю ранжирования. Они обрабатываются по всем документам, и в итоге для каждого такого документа рассчитывается свой рейтинг, который характеризует релевантность такого документа запросу пользователя, и иных составляющих.
- В зависимости от условий заданных пользователем этот рейтинг вполне может быть подкорректирован дополнительными.
- Затем генерируется сам сниппет, т.е. для любого найденного документа из соответствующей таблицы извлекают заголовок, аннотацию, наиболее отвечающую запросу, и ссылка на этот документ, при этом найденные словоформы и слова подсвечивают.
- Результаты полученного поиска передаются осуществившему его человеку в виде страницы, на которую выдают поисковые результаты (SERP).
На первый взгляд может показаться, что быть лучше Google может только «Яндекс», да и то не факт. Эти компании вкладывают в инновации и развитие огромные суммы. Неужели хоть у кого-то есть шанс не только соперничать с лидерами, но и побеждать? Ответ Лайфхакера : «Да!» Есть несколько поисковиков, которым это удалось. Давайте посмотрим на наших героев.
Что это
Это довольно известная поисковая система с открытым исходным кодом. Серверы находятся в США. Кроме собственного робота, поисковик использует результаты других источников: Yahoo! Search BOSS, «Википедия», Wolfram|Alpha.
Чем лучше
DuckDuckGo позиционирует себя как поиск, обеспечивающий максимальную приватность и конфиденциальность. Система не собирает никаких данных о пользователе, не хранит логи (нет истории поиска), использование файлов cookie максимально ограничено.
DuckDuckGo не собирает личную информацию пользователей и не делится ею. Это наша политика конфиденциальности.
Гэбриел Вайнберг (Gabriel Weinberg), основатель DuckDuckGo
Зачем это вам
Все крупные поисковые системы стараются персонализировать поисковую выдачу на основе данных о человеке перед монитором. Этот феномен получил название «пузырь фильтров»: пользователь видит только те результаты, которые согласуются с его предпочтениями или которые система сочтёт таковыми.
DuckDuckGo формирует объективную картину, не зависящую от вашего прошлого поведения в Сети, и избавляет от тематической рекламы Google и «Яндекса», основанной на ваших запросах. При помощи DuckDuckGo легко искать информацию на иностранных языках: Google и «Яндекс» по умолчанию отдают предпочтение русскоязычным сайтам, даже если запрос введён на другом языке.
Что это
« » - российская метапоисковая система, разработанная выпускниками МГУ Виктором Лавренко и Владимиром Чернышовым. Осуществляет поиск по индексам Google, Bing, «Яндекса» и другим, а также имеет собственный поисковый алгоритм.
Чем лучше
Поиск по индексам всех крупных поисковых систем позволяет формировать релевантную выдачу. Помимо этого, «Нигма» разбивает результаты на несколько тематических групп (кластеров) и предлагает пользователю сузить поле поиска, отбросив ненужные или выделив приоритетные. Благодаря модулям «Математика» и «Химия» можно прямо в строке поиска решать математические задачи и запрашивать результаты химических реакций.
Зачем это вам
Избавляет от необходимости искать один и тот же запрос в разных поисковиках. Кластерная система позволяет легко манипулировать результатами поиска. Например, «Нигма» собирает в отдельный кластер результаты из интернет-магазинов. Если вы не намереваетесь что-то покупать, то просто исключите эту группу. Выбрав кластер «Англоязычные сайты», вы получите выдачу только на английском. Модули «Математика» и «Химия» помогут школьникам.
К сожалению, в настоящее время проект не развивается, так как разработчики перенесли свою активность на вьетнамский рынок. Тем не менее «Нигма» пока не только не устарела, но в некоторых вещах по-прежнему даёт фору Google. Будем надеяться, что разработка возобновится.
Что это
not Evil - система, осуществляющая поиск по анонимной сети Tor. Для использования нужно зайти в эту сеть, например запустив специализированный браузер с одноимённым названием. not Evil не единственный поисковик в своём роде. Есть LOOK (поиск по умолчанию в Tor-браузере, доступен из обычного интернета) или TORCH (один из самых старых поисковиков в Tor-сети) и другие. Мы остановились на not Evil из-за недвусмысленного намёка на сам Google (достаточно посмотреть на стартовую страницу).
Чем лучше
Ищет там, куда Google, «Яндексу» и другим поисковикам вход закрыт в принципе.
Зачем это вам
В сети Tor много ресурсов, которые невозможно встретить в законопослушном интернете. И по мере того как ужесточается контроль властей над содержанием Сети, их число будет расти. Tor - это своеобразная Сеть внутри Сети: со своими социалками, торрент-трекерами, СМИ, торговыми площадками, блогами, библиотеками и так далее.
YaCy
Что это
YaCy - децентрализованная поисковая система, работающая по принципу сетей P2P. Каждый компьютер, на котором установлен основной программный модуль, сканирует интернет самостоятельно, то есть является аналогом поискового робота. Полученные результаты собираются в общую базу, которую используют все участники YaCy.
Чем лучше
Здесь сложно говорить, лучше это или хуже, так как YaCy - это совершенно иной подход к организации поиска. Отсутствие единого сервера и компании-владельца делает результаты полностью независимыми от чьих-то предпочтений. Автономность каждого узла исключает цензуру. YaCy способен вести поиск в глубоком вебе и неиндексируемых сетях общего пользования.
Зачем это вам
Если вы сторонник открытого ПО и свободного интернета, не подверженного влиянию государственных органов и крупных корпораций, то YaCy это ваш выбор. Также с его помощью можно организовать поиск внутри корпоративной или другой автономной сети. И пусть пока в быту YaCy не слишком полезен, он является достойной альтернативой Google с точки зрения процесса поиска.
Pipl
Что это
Pipl - система, предназначенная для поиска информации о конкретном человеке.
Чем лучше
Авторы Pipl утверждают, что их специализированные алгоритмы ищут эффективнее, чем «обычные» поисковики. В частности, приоритетными источниками информации являются профили социальных сетей, комментарии, списки участников и различные базы данных, где публикуются сведения о людях, например базы судебных решений. Лидерство Pipl в этой области подтверждено оценками Lifehacker.com, TechCrunch и других изданий.
Зачем это вам
Если вам нужно найти информацию о человеке, проживающем в США, то Pipl будет намного эффективнее Google. Базы данных российских судов, видимо, недоступны для поисковика. Поэтому с гражданами России он справляется не так хорошо.
Что это
Ещё один специализированный поисковик. Ищет различные звуки (дом, природа, машины, люди и так далее) в открытых источниках. Сервис не поддерживает запросы на русском языке, но есть внушительный список русскоязычных тегов, по которым можно выполнить поиск.
Чем лучше
В выдаче только звуки и ничего лишнего. В настройках поиска можно выставить желаемый формат и качество звучания. Все найденные звуки доступны для скачивания. Имеется поиск звуков по образцу.
Зачем это вам
Если вам нужно быстро найти звук мушкетного выстрела, удары дятла-сосуна или крик Гомера Симпсона, то этот сервис для вас. И это я выбрал только из доступных русскоязычных запросов. На английском языке спектр ещё шире. А если серьёзно, специализированный сервис предполагает специализированную аудиторию. Но вдруг и вам пригодится?
Жизнь альтернативных поисковиков часто бывает скоротечной. О долгосрочных перспективах подобных проектов Лайфхакер спросил бывшего генерального директора украинского филиала компании «Яндекс» Сергея Петренко.
Что касается судьбы альтернативных поисковиков, то она проста: быть очень нишевыми проектами с небольшой аудиторией, следовательно без ясных коммерческих перспектив или, наоборот, с полной ясностью их отсутствия.
Если посмотреть на примеры в статье, то видно, что такие поисковики либо специализируются в узкой, но востребованной нише, которая, возможно только пока, не выросла настолько, чтобы оказаться заметной на радарах Google или «Яндекса», либо тестируют оригинальную гипотезу в ранжировании, которая пока не применима в обычном поиске.
Например, если поиск по Tor вдруг окажется востребованным, то есть результаты оттуда понадобятся хотя бы проценту аудитории Google, то, конечно, обычные поисковики начнут решать проблему, как их найти и показать пользователю. Если поведение аудитории покажет, что заметной доле пользователей в заметном количестве запросов более релевантными кажутся результаты, данные без учёта факторов, зависящих от пользователя, то «Яндекс» или Google начнут давать такие результаты.
«Быть лучше» в контексте этой статьи не означает «быть лучше во всём». Да, во многих аспектах нашим героям далеко до Google и «Яндекса» (даже до Bing далековато). Но зато каждый из этих сервисов даёт пользователю нечто такое, чего не могут предложить гиганты поисковой индустрии.
