Adresa motorului de căutare pe Internet. Motoare de căutare pe Internet: revizuirea soluțiilor existente

La prima vedere, poate părea că numai Yandex poate fi mai bun decât Google și nici măcar asta nu este un fapt. Aceste companii investesc sume uriașe de bani în inovare și dezvoltare. Are cineva cu adevărat șanse nu doar să concureze cu liderii, ci și să câștige? Răspunsul lui Lifehacker: „Da!” Există mai multe motoare de căutare care au reușit. Să ne uităm la eroii noștri.

Ce este asta

Acesta este un motor de căutare open source destul de cunoscut. Serverele sunt situate în SUA. Pe lângă propriul robot, motorul de căutare folosește rezultate din alte surse: Yahoo! Căutați BOSS, Wikipedia, Wolfram|Alpha.

Cu atât mai bine

DuckDuckGo se poziționează ca un motor de căutare care oferă confidențialitate și confidențialitate maximă. Sistemul nu colectează date despre utilizator, nu stochează jurnalele (fără istoric de căutare), iar utilizarea cookie-urilor este cât se poate de limitată.

DuckDuckGo nu colectează și nu partajează informații personale de la utilizatori. Aceasta este politica noastră de confidențialitate.
Gabriel Weinberg, fondatorul DuckDuckGo

De ce ai nevoie de asta

Toate motoarele de căutare majore încearcă să personalizeze rezultatele căutării pe baza datelor despre persoana din fața monitorului. Acest fenomen se numește „bulă de filtru”: utilizatorul vede doar acele rezultate care sunt în concordanță cu preferințele sale sau pe care sistemul le consideră ca atare.

DuckDuckGo creează o imagine obiectivă care nu depinde de comportamentul tău trecut pe Internet și elimină publicitatea tematică de pe Google și Yandex pe baza interogărilor tale. Cu DuckDuckGo, este ușor să cauți informații în limbi străine: Google și Yandex în mod implicit acordă preferință site-urilor în limba rusă, chiar dacă interogarea este introdusă într-o altă limbă.

Ce este asta

„” este un sistem de metacăutare rusesc dezvoltat de absolvenții Universității de Stat din Moscova Viktor Lavrenko și Vladimir Chernyshov. Căută prin indexurile Google, Bing, Yandex și altele și are, de asemenea, propriul algoritm de căutare.

Cu atât mai bine

Căutarea prin indexurile tuturor motoarelor de căutare majore vă permite să generați rezultate relevante. În plus, Nigma împarte rezultatele în mai multe grupuri tematice (clustere) și invită utilizatorul să restrângă câmpul de căutare, eliminând cele inutile sau evidențiind cele prioritare. Datorită modulelor de Matematică și Chimie, puteți rezolva probleme matematice și puteți solicita rezultatele reacțiilor chimice direct în bara de căutare.

De ce ai nevoie de asta

Elimină necesitatea de a căuta aceeași interogare în diferite motoare de căutare. Sistemul cluster facilitează manipularea rezultatelor căutării. De exemplu, Nigma colectează rezultatele din magazinele online într-un cluster separat. Dacă nu intenționați să cumpărați nimic, atunci pur și simplu excludeți acest grup. Selectând grupul „Site-uri în limba engleză”, veți primi rezultate numai în limba engleză. Modulele de Matematică și Chimie îi vor ajuta pe școlari.

Din păcate, proiectul nu este în curs de dezvoltare, întrucât dezvoltatorii și-au transferat activitatea pe piața vietnameză. Cu toate acestea, „Nigma” nu numai că nu este încă depășit, dar în unele lucruri îi oferă încă Google un avans. Să sperăm că dezvoltarea se va relua.

Ce este asta

not Evil este un sistem care caută în rețeaua Tor anonimă. Pentru a-l folosi, trebuie să accesați această rețea, de exemplu, lansând un browser specializat cu același nume. not Evil nu este singurul motor de căutare de acest gen. Există LOOK (căutarea implicită în browserul Tor, accesibilă de pe internetul obișnuit) sau TORCH (unul dintre cele mai vechi motoare de căutare din rețeaua Tor) și altele. Ne-am hotărât pe Not Evil din cauza aluziei clare la Google însuși (doar uitați-vă la pagina de pornire).

Cu atât mai bine

Căută unde Google, Yandex și alte motoare de căutare sunt în general închise.

De ce ai nevoie de asta

Rețeaua Tor conține multe resurse care nu pot fi găsite pe internetul care respectă legea. Și pe măsură ce controlul guvernului asupra conținutului internetului se înăsprește, numărul acestora va crește. Tor este un fel de rețea în cadrul rețelei: cu propriile rețele sociale, trackere de torrent, media, platforme de tranzacționare, bloguri, biblioteci și așa mai departe.

YaCy

Ce este asta

YaCy este un motor de căutare descentralizat care funcționează pe principiul rețelelor P2P. Fiecare computer pe care este instalat modulul software principal scanează Internetul independent, adică este analog cu un robot de căutare. Rezultatele obținute sunt colectate într-o bază de date comună care este utilizată de toți participanții YaCy.

Cu atât mai bine

Este dificil de spus dacă acest lucru este mai bun sau mai rău, deoarece YaCy este o abordare complet diferită a organizării căutării. Absența unui singur server și a unei companii proprietare face ca rezultatele să fie complet independente de preferințele oricui. Autonomia fiecărui nod elimină cenzura. YaCy este capabil să caute pe web profund și rețele publice neindexate.

De ce ai nevoie de asta

Dacă sunteți un susținător al software-ului cu sursă deschisă și al internetului gratuit, care nu sunt influențați de agențiile guvernamentale și de marile corporații, atunci YaCy este alegerea dvs. Poate fi folosit și pentru a organiza o căutare în cadrul unei rețele corporative sau autonome. Și chiar dacă YaCy nu este foarte util în viața de zi cu zi, este o alternativă demnă la Google în ceea ce privește procesul de căutare.

Pipl

Ce este asta

Pipl este un sistem conceput pentru a căuta informații despre o anumită persoană.

Cu atât mai bine

Autorii lui Pipl susțin că algoritmii lor specializați caută mai eficient decât motoarele de căutare „obișnuite”. În special, sursele prioritare de informații includ profiluri de rețele sociale, comentarii, liste de membri și diverse baze de date care publică informații despre persoane, cum ar fi hotărârile judecătorești. Conducerea lui Pipl în acest domeniu este confirmată de evaluările de la Lifehacker.com, TechCrunch și alte publicații.

De ce ai nevoie de asta

Dacă aveți nevoie să găsiți informații despre o persoană care locuiește în SUA, atunci Pipl va fi mult mai eficient decât Google. Bazele de date ale instanțelor ruse sunt aparent inaccesibile motorului de căutare. Prin urmare, el nu se descurcă atât de bine cu cetățenii ruși.

Ce este asta

Un alt motor de căutare specializat. Caută diverse sunete (casă, natură, mașini, oameni etc.) în surse deschise. Serviciul nu acceptă interogări în limba rusă, dar există o listă impresionantă de etichete în limba rusă pe care le puteți căuta.

Cu atât mai bine

Ieșirea conține doar sunete și nimic în plus. În setările de căutare puteți seta formatul dorit și calitatea sunetului. Toate sunetele găsite sunt disponibile pentru descărcare. Există o căutare de sunete după model.

De ce ai nevoie de asta

Dacă trebuie să găsiți rapid sunetul unei împușcături de muschetă, loviturile unei ciocănitoare care alăptează sau strigătul lui Homer Simpson, atunci acest serviciu este pentru dvs. Și am ales asta numai din interogările disponibile în limba rusă. În engleză spectrul este și mai larg. Dar serios, un serviciu specializat necesită un public specializat. Dar dacă îți este de folos și ție?

Viața motoarelor de căutare alternative este adesea trecătoare. Lifehacker l-a întrebat pe fostul director general al filialei ucrainene Yandex, Serghei Petrenko, despre perspectivele pe termen lung ale unor astfel de proiecte.

În ceea ce privește soarta motoarelor de căutare alternative, este simplu: să fie proiecte foarte de nișă cu un public restrâns, deci fără perspective comerciale clare sau, dimpotrivă, cu claritatea deplină a absenței lor.

Dacă te uiți la exemplele din articol, poți vedea că astfel de motoare de căutare fie sunt specializate într-o nișă îngustă, dar populară, care, poate, încă nu a crescut suficient pentru a fi vizibilă pe radarele Google sau Yandex, fie testează. o ipoteză originală în clasament, care nu este încă aplicabilă în căutarea obișnuită.

De exemplu, dacă o căutare pe Tor se dovedește brusc a fi solicitată, adică rezultatele de acolo sunt necesare de cel puțin un procent din publicul Google, atunci, desigur, motoarele de căutare obișnuite vor începe să rezolve problema cum să găsiți-le și arătați-le utilizatorului. Dacă comportamentul publicului arată că pentru o proporție semnificativă de utilizatori într-un număr semnificativ de interogări, rezultatele oferite fără a lua în considerare factorii în funcție de utilizator par mai relevante, atunci Yandex sau Google vor începe să producă astfel de rezultate.

„Fii mai bun” în contextul acestui articol nu înseamnă „fii mai bun în orice”. Da, în multe aspecte, eroii noștri sunt departe de Google și Yandex (chiar departe de Bing). Dar fiecare dintre aceste servicii oferă utilizatorului ceva ce giganții industriei de căutare nu pot oferi.

Ce este asta

DuckDuckGo este un motor de căutare open source destul de cunoscut. Serverele sunt situate în SUA. Pe lângă propriul robot, motorul de căutare folosește rezultate din alte surse: Yahoo, Bing, Wikipedia.

Cu atât mai bine

DuckDuckGo nu colectează și nu partajează informații personale de la utilizatori. Aceasta este politica noastră de confidențialitate.
Gabriel Weinberg, fondatorul DuckDuckGo

De ce ai nevoie de asta

Formează o imagine obiectivă care nu depinde de comportamentul tău trecut pe Internet și elimină publicitatea tematică Google și Yandex bazată pe interogările tale. Cu DuckDuckGo este ușor să căutați informații în limbi străine, în timp ce Google și Yandex în mod implicit acordă preferință site-urilor în limba rusă, chiar dacă interogarea este introdusă într-o altă limbă.

Ce este asta

not Evil este un sistem care caută în rețeaua Tor anonimă. Pentru a-l folosi, trebuie să accesați această rețea, de exemplu, lansând un .

not Evil nu este singurul motor de căutare de acest gen. Există LOOK (căutarea implicită în browserul Tor, accesibilă de pe internetul obișnuit) sau TORCH (unul dintre cele mai vechi motoare de căutare din rețeaua Tor) și altele. Ne-am hotărât pe not Evil din cauza indicii clare de la Google (doar uitați-vă la pagina de pornire).

Cu atât mai bine

Căută unde Google, Yandex și alte motoare de căutare sunt în general închise.

De ce ai nevoie de asta

Rețeaua Tor conține multe resurse care nu pot fi găsite pe internetul care respectă legea. Iar numărul acestora va crește pe măsură ce controlul guvernului asupra conținutului internetului se va înăspri. Tor este un fel de rețea din Internet cu propriile rețele sociale, trackere de torrent, media, platforme de tranzacționare, bloguri, biblioteci și așa mai departe.

3. YaCy

Ce este asta

Cu atât mai bine

De ce ai nevoie de asta

Dacă sunteți un susținător al software-ului open source și al unui internet gratuit, care nu este supus influenței agențiilor guvernamentale și a marilor corporații, atunci YaCy este alegerea dvs. Poate fi folosit și pentru a organiza o căutare în cadrul unei rețele corporative sau autonome. Și chiar dacă YaCy nu este foarte util în viața de zi cu zi, este o alternativă demnă la Google în ceea ce privește procesul de căutare.

4. Pipl

Ce este asta

Pipl este un sistem conceput pentru a căuta informații despre o anumită persoană.

Cu atât mai bine

Autorii lui Pipl susțin că algoritmii lor specializați caută mai eficient decât motoarele de căutare „obișnuite”. În special, se acordă prioritate profilurilor de rețele sociale, comentariilor, listelor de membri și diferitelor baze de date care publică informații despre persoane, cum ar fi bazele de date cu hotărâri judecătorești. Conducerea lui Pipl în acest domeniu este confirmată de evaluările de la Lifehacker.com, TechCrunch și alte publicații.

De ce ai nevoie de asta

Ce este asta

FindSounds este un alt motor de căutare specializat. Caută diverse sunete în surse deschise: casă, natură, mașini, oameni și așa mai departe. Serviciul nu acceptă interogări în limba rusă, dar există o listă impresionantă de etichete în limba rusă pe care le puteți folosi pentru a căuta.

Cu atât mai bine

Ieșirea conține doar sunete și nimic în plus. În setări puteți seta formatul dorit și calitatea sunetului. Toate sunetele găsite sunt disponibile pentru descărcare. Există o căutare după model.

De ce ai nevoie de asta

Dacă trebuie să găsiți rapid sunetul unei împușcături de muschetă, loviturile unei ciocănitoare care alăptează sau strigătul lui Homer Simpson, atunci acest serviciu este pentru dvs. Și am ales acest lucru numai din interogările disponibile în limba rusă. În engleză spectrul este și mai larg.

Serios, un serviciu specializat necesită un public specializat. Dar dacă îți este de folos și ție?

Ce este asta

Wolfram|Alpha este un motor de căutare computațional. În loc de link-uri către articole care conțin cuvinte cheie, oferă un răspuns gata făcut la cererea utilizatorului. De exemplu, dacă introduceți „comparați populațiile din New York și San Francisco” în formularul de căutare în limba engleză, Wolfram|Alpha va afișa imediat tabele și grafice cu comparația.

Cu atât mai bine

Acest serviciu este mai bun decât altele pentru a găsi fapte și a calcula date. Wolfram|Alpha colectează și organizează cunoștințele disponibile pe Web dintr-o varietate de domenii, inclusiv știință, cultură și divertisment. Dacă această bază de date conține un răspuns gata făcut la o interogare de căutare, sistemul îl afișează, dacă nu, calculează și afișează rezultatul; În acest caz, utilizatorul nu vede decât nimic de prisos.

De ce ai nevoie de asta

Dacă sunteți student, analist, jurnalist sau cercetător, de exemplu, puteți utiliza Wolfram|Alpha pentru a găsi și calcula date legate de munca dvs. Serviciul nu înțelege toate solicitările, dar se dezvoltă constant și devine mai inteligent.

Ce este asta

Motorul de metacăutare Dogpile afișează o listă combinată de rezultate din rezultatele căutării de la Google, Yahoo și alte sisteme populare.

Cu atât mai bine

În primul rând, Dogpile afișează mai puține anunțuri. În al doilea rând, serviciul folosește un algoritm special pentru a găsi și afișa cele mai bune rezultate din diferite motoare de căutare. Potrivit dezvoltatorilor Dogpile, sistemele lor generează cele mai complete rezultate de căutare de pe întregul Internet.

De ce ai nevoie de asta

Dacă nu puteți găsi informații pe Google sau pe alt motor de căutare standard, căutați-o în mai multe motoare de căutare simultan folosind Dogpile.

Ce este asta

BoardReader este un sistem de căutare de text în forumuri, servicii de întrebări și răspunsuri și alte comunități.

Cu atât mai bine

Serviciul vă permite să restrângeți câmpul de căutare la platformele sociale. Datorită filtrelor speciale, puteți găsi rapid postări și comentarii care corespund criteriilor dvs.: limbă, data publicării și numele site-ului.

De ce ai nevoie de asta

BoardReader poate fi util pentru specialiștii în PR și pentru alți specialiști media care sunt interesați de opinia maselor asupra anumitor probleme.

În concluzie

Serghei Petrenko

Fost director general al Yandex.Ucraina.

„Fii mai bun” în contextul acestui articol nu înseamnă „fii mai bun în orice”. Da, în multe aspecte, eroii noștri sunt departe de Yandex (chiar departe de Bing). Dar fiecare dintre aceste servicii oferă utilizatorului ceva ce giganții industriei de căutare nu pot oferi. Cu siguranță cunoști și tu proiecte similare. Distribuie cu noi - haideți să discutăm.

Motoarele de căutare sunt considerate cele mai populare site-uri de pe Internet. Acest lucru nu este surprinzător, deoarece pentru a găsi ceva pe Internet, mai întâi trebuie să utilizați serviciile de căutare.

Sunt destul de multe și chiar și utilizatorii de internet fără experiență cunosc cel puțin 2-3 motoare de căutare.

Ce motoare de căutare există? Unii oameni știu despre un motor de căutare, alții știu despre 10 servicii de căutare, dar în realitate sunt multe altele.

Desigur, popularitatea lor variază, la fel ca și interfața și calitatea rezultatelor. Vă vom prezenta o listă din diferite motoare de căutare, astfel încât să le puteți compara.

Motoare de căutare populare

Serviciile de căutare au fost dezvoltate pentru diferite categorii de persoane. Cele mai cunoscute acoperă țări sau chiar întreaga lume, în timp ce cele mai puțin cunoscute sunt concepute pentru regiuni sau interese ale utilizatorilor.

Mai jos sunt 10 motoare de căutare despre care ar trebui să știți:

– toată lumea știe despre acest motor de căutare, este cel mai popular din Rusia și oferă o gamă largă de funcționalități utilizatorilor săi (de la plăți electronice la un panou pentru webmasteri).
– lider printre toate site-urile din lume. Este folosit de oameni din întreaga lume și este considerat motorul de căutare de cea mai înaltă calitate. La fel ca Yandex, clienților li se oferă multe instrumente suplimentare.
– sistem de căutare și informare, ținând cont de morfologia limbii ruse. Site-ul are mai multe versiuni separate, de exemplu, XRambler, prin care puteți căuta în mai multe servicii simultan.
– Acest sistem este extrem de popular în străinătate. A fost tradus în rusă cu mult timp în urmă, dar nu a primit niciodată prea multă faimă pe Runet. Utilizatorii au acces la diferite căutări (după imagini, videoclipuri etc.).
este o companie cunoscută din Runet, angajată în dezvoltare în mai multe direcții simultan. Pe lângă propriul motor de căutare și cel mai popular serviciu de e-mail, aceștia sunt proprietarii unor proiecte precum Odnoklassniki și Vkontakte.
– a fost creat ca resursă de stat în Rusia, dar nu a primit distribuție în masă. Prin intermediul acestuia puteți efectua diferite formate de căutare și, de asemenea, puteți obține informații utile.
– conceput pentru a căuta informații pe segmentul chinezesc al internetului. Cine știe, poate îți va fi de folos. Puteți primi știri, căuta imagini, muzică, primi hărți și multe altele.
este un proiect al cunoscutei companii Microsoft. În ceea ce privește volumul de trafic, acest site ocupă locul al doilea în clasamentul mondial al motoarelor de căutare. Funcționează din 1998 și a fost modernizat de multe ori în acest timp.
– acest serviciu este folosit doar de străini. Proiectul este american și pe lângă motorul de căutare, compania are o mulțime de alte site-uri și servicii. Este demn de remarcat faptul că au cel mai mare catalog de link-uri către site-uri de pe World Wide Web.

Dacă nu puteți găsi informații într-unul dintre motoarele de căutare, atunci de ce să nu le căutați pe alt site? Acum ai mai multe resurse de calitate, cu siguranță vei găsi ceea ce ai nevoie.

După cum era de așteptat, Google a ocupat primul loc în clasamentul mondial. Cota lui este peste 70% din interogările de căutare de la rezidenți din întreaga lume. Mai mult, o treime din tot traficul google.com vine de la cetățeni americani. În plus, Google este cel mai vizitat site din lume. Durata medie zilnică de utilizare a motorului de căutare Google este de 9 minute.

Avantajul motorului de căutare Google este absența elementelor inutile pe pagină. Doar o bară de căutare și logo-ul companiei. Chip sunt imagini animate și jocuri de browser dedicate sărbătorilor populare și locale.

2. Bing

Bing - motor de căutare de la Microsoft, datând din 2009. Din acel moment, a devenit un atribut obligatoriu al smartphone-urilor care rulează sistemul de operare Windows. Bing se distinge și prin minimalism - pe lângă antetul cu o listă a tuturor produselor Microsoft, pagina conține doar o bară de căutare și numele sistemului. Bing este cel mai popular în SUA (31%), China (18%) și Germania (6%).

3. Yahoo!

Locul al treilea a revenit unuia dintre cele mai vechi motoare de căutare - Yahoo. Cea mai mare parte a utilizatorilor locuiește și în SUA (24%). Se pare că restul lumii evită în mod deliberat ajutorul roboților de căutare... Motorul de căutare este popular și în India, Indonezia, Taiwan și Marea Britanie. Pe lângă bara de căutare, pe Yahoo! oferă o prognoză meteo în regiunea dvs., precum și tendințele globale sub forma unui flux de știri.

4. Baidu

Un motor de căutare chinez care a câștigat notorietate în Rusia. Datorită politicii sale agresive și lipsei de traducere în rusă sau engleză, extensiile acestui motor de căutare sunt percepute ca viruși. Este foarte dificil să le eliminați complet și să scăpați de ferestrele pop-up cu hieroglife. Cu toate acestea, acest site este al patrulea în lume prin prezență. 92% din audiența sa sunt cetățeni chinezi.

5. AOL

AOL este un motor de căutare american al cărui nume înseamnă America Online. Popularitatea sa este semnificativ mai mică decât cea a sistemelor anterioare. Perioada de glorie a fost în anii 90 și 00. Aproape 70% din audiența AOL este rezidenți în Statele Unite.

6.Ask.com

Acest motor de căutare, datând din 1995, are destul interfață neobișnuită. Ea percepe toate cererile ca întrebări și oferă opțiuni de răspuns în conformitate cu rezultatele căutării. Acest lucru amintește oarecum de serviciul Answers.Mail. Cu toate acestea, nu răspunsurile de amatori sunt incluse în rezultatele căutării, ci articolele cu drepturi depline. În ultimul an, site-ul a pierdut aproximativ 50 de poziții în clasamentul mondial al celor mai populare resurse de internet, iar astăzi ocupă doar locul 104.

7.Emotioneaza

Acest motor de căutare este neremarcabil și similar cu multe alte site-uri. Oferă utilizatorilor o mulțime de servicii (cum ar fi Știri, Mail, Meteo, Călătorii etc.) Interfața site-ului evocă și amintiri ale rețelei anilor 90 și, s-ar putea presupune, s-a schimbat puțin de atunci.

8.DuckDuckGo

Dezvoltatorii avertizează imediat că acest motor de căutare nu vă urmărește acțiunile online. În zilele noastre, acesta este un argument semnificativ atunci când alegeți un motor de căutare. Designul site-ului este realizat într-o manieră modernă, folosind culori strălucitoare și imagini amuzante. Spre deosebire de alte motoare de căutare, „motorul de căutare rață” a fost tradus în rusă. În ultimul an, site-ul a câștigat aproximativ 400 de poziții și în martie 2017. este pe locul 504 în clasamentul de popularitate Alexa.

9. Wolfram Alpha

O caracteristică distinctivă a acestei căutări este varietatea de servicii auxiliare concepute pentru interogări legate de anumite cunoștințe. Adică în rezultatele căutării nu vei vedea link-uri către postări de pe rețelele de socializare sau articole din presa galbenă. Vi se vor oferi numere specifice și fapte verificate sub forma unui singur document. Acest browser este ideal pentru școlari și studenți.

10. Yandex

Motor de căutare, cel mai popular în Rusia și țările CSI. În plus, aproximativ 3% din audiența site-ului este rezidenți în Germania. Site-ul se remarcă prin numărul mare de servicii pentru toate ocaziile (muzică, radio, programe de transport public, imobiliare, traducător etc.) Resursa oferă, de asemenea, o selecție largă de design individual de site-uri web, precum și personalizarea widget-urilor pentru dvs. Yandex ocupă locul 31 în lume ca popularitate, după ce a pierdut 11 poziții în ultimul an.

Ele au devenit de multă vreme o parte integrantă a internetului rusesc. Motoarele de căutare sunt acum mecanisme uriașe și complexe care reprezintă nu doar un instrument de căutare a informațiilor, ci și zone tentante pentru afaceri.

Majoritatea utilizatorilor motoarelor de căutare nu s-au gândit niciodată (sau s-au gândit la asta, dar nu au găsit un răspuns) la principiul de funcționare a motoarelor de căutare, schema de procesare a cererilor utilizatorilor, în ce constau aceste sisteme și cum funcționează...

Această clasă de master este concepută pentru a răspunde la întrebarea cum funcționează motoarele de căutare. Totuși, aici nu veți găsi factori care influențează clasarea documentelor. Mai mult, nu ar trebui să contați pe o explicație detaliată a algoritmului Yandex. El, potrivit lui Ilya Segalovici, directorul tehnologiei și dezvoltării motorului de căutare Yandex, poate fi recunoscut „sub tortură” doar de Ilya Segalovici însuși...

2. Conceptul și funcțiile unui motor de căutare

Un sistem de căutare este un complex software și hardware conceput să caute pe internet și să răspundă la o solicitare a utilizatorului, specificată sub forma unei fraze text (interogare de căutare), prin producerea unei liste de legături către surse de informații, în ordinea relevanței ( conform cererii). Cele mai mari motoare de căutare internaționale: „Google”, Yahoo , MSN . Pe internetul rusesc, acestea sunt Yandex, Rambler, Aport.

Să aruncăm o privire mai atentă asupra conceptului de interogare de căutare folosind motorul de căutare Yandex ca exemplu. Interogarea de căutare ar trebui să fie formulată de utilizator în conformitate cu ceea ce dorește să găsească, cât mai scurt și simplu posibil. Să presupunem că vrem să găsim informații în Yandex despre cum să alegem o mașină. Pentru a face acest lucru, deschideți pagina principală Yandex și introduceți textul interogării de căutare „cum să alegeți o mașină”. În continuare, sarcina noastră se rezumă la deschiderea legăturilor furnizate la cererea noastră către sursele de informații de pe Internet. Cu toate acestea, este foarte posibil să nu găsim informațiile de care avem nevoie. Dacă se întâmplă acest lucru, atunci fie trebuie să reformulați cererea, fie baza de date a motorului de căutare într-adevăr nu are nicio informație relevantă cu privire la solicitarea noastră (acest lucru se poate întâmpla atunci când solicitați interogări foarte „înguste”, cum ar fi, de exemplu, „cum să alegeți o mașină în Arhangelsk”)

Scopul principal al oricărui motor de căutare este de a oferi oamenilor exact informațiile pe care le caută. Și învățați utilizatorii să facă cereri „corecte” către sistem, de exemplu. interogările care respectă principiile de funcționare ale motoarelor de căutare sunt imposibile. Prin urmare, dezvoltatorii creează algoritmi și principii de funcționare pentru motoarele de căutare care ar permite utilizatorilor să găsească informațiile pe care le caută.

Aceasta înseamnă că motorul de căutare trebuie să „gândească” la fel cum gândește utilizatorul atunci când caută informații. Atunci când un utilizator face o solicitare către un motor de căutare, el dorește să găsească ceea ce are nevoie cât mai rapid și ușor posibil. Primind rezultatul, el evaluează performanța sistemului, ghidat de mai mulți parametri de bază. A găsit ceea ce căuta? Dacă nu l-a găsit, de câte ori a trebuit să reformuleze interogarea pentru a găsi ceea ce căuta? Câte informații relevante ar putea găsi? Cât de repede a procesat motorul de căutare cererea? Cât de convenabil au fost prezentate rezultatele căutării? Rezultatul pe care îl căutați a fost primul sau al sutelea? Cât gunoi inutile a fost găsit împreună cu informații utile? Informațiile necesare vor fi găsite la accesarea unui motor de căutare, să zicem, într-o săptămână, sau într-o lună?

Pentru a satisface toate aceste întrebări cu răspunsuri, dezvoltatorii de motoare de căutare îmbunătățesc constant algoritmii și principiile de căutare, adăugând noi funcții și capabilități și încearcă în toate modurile posibile să accelereze funcționarea sistemului.

3. Principalele caracteristici ale unui motor de căutare

Să descriem principalele caracteristici ale motoarelor de căutare:

Completitudine
Completitudinea este una dintre principalele caracteristici ale unui sistem de căutare, care este raportul dintre numărul de documente găsite prin cerere și numărul total de documente de pe Internet care satisfac cererea dată. De exemplu, dacă există 100 de pagini pe Internet care conțin expresia „cum să alegi o mașină” și doar 60 dintre ele au fost găsite pentru interogarea corespunzătoare, atunci caracterul complet al căutării va fi de 0,6. Evident, cu cât căutarea este mai completă, cu atât este mai puțin probabil ca utilizatorul să nu găsească documentul de care are nevoie, cu condiția ca acesta să existe deloc pe Internet.
Precizie
Precizia este o altă caracteristică principală a unui motor de căutare, care este determinată de gradul în care documentele găsite se potrivesc cu solicitarea utilizatorului. De exemplu, dacă interogarea „cum să alegi o mașină” conține 100 de documente, 50 dintre ele conțin expresia „cum să alegi o mașină”, iar restul conțin pur și simplu aceste cuvinte („cum să alegi radioul potrivit și să-l instalezi în o mașină”), atunci precizia căutării este considerată egală cu 50/100 (=0,5). Cu cât căutarea este mai precisă, cu atât utilizatorul va găsi mai repede documentele de care are nevoie, cu atât mai puține tipuri de „gunoi” vor fi găsite printre acestea, cu atât mai rar documentele găsite nu vor corespunde cererii.
Relevanţă
Relevanța este o componentă la fel de importantă a căutării, care se caracterizează prin timpul care trece din momentul în care documentele sunt publicate pe Internet și până când sunt introduse în baza de date a indexului motorului de căutare. De exemplu, a doua zi după ce au apărut știri interesante, un număr mare de utilizatori au apelat la motoarele de căutare cu interogări relevante. Obiectiv, a trecut mai puțin de o zi de la publicarea informațiilor de știri pe această temă, dar principalele documente au fost deja indexate și disponibile pentru căutare, datorită existenței așa-numitei „baze de date rapide” a marilor motoare de căutare, care este actualizat de mai multe ori pe zi.
Viteza de căutare
Viteza de căutare este strâns legată de rezistența la sarcină. De exemplu, conform Rambler Internet Holding LLC, astăzi în timpul orelor de lucru motorul de căutare Rambler primește aproximativ 60 de solicitări pe secundă. Un astfel de volum de muncă necesită reducerea timpului de procesare a unei cereri individuale. Aici coincid interesele utilizatorului și ale motorului de căutare: vizitatorul dorește să obțină rezultate cât mai repede, iar motorul de căutare trebuie să proceseze solicitarea cât mai repede posibil, pentru a nu încetini calculul interogărilor ulterioare.
Vizibilitate

4. Scurt istoric al dezvoltării motoarelor de căutare

În perioada inițială a dezvoltării Internetului, numărul utilizatorilor săi a fost mic, iar cantitatea de informații disponibile a fost relativ mică. În cea mai mare parte, doar personalul de cercetare avea acces la internet. În acest moment, sarcina de a căuta informații pe internet nu era la fel de urgentă ca acum.

Una dintre primele modalități de organizare a accesului la resursele informaționale din rețea a fost crearea de directoare deschise de site-uri, link-uri către resurse în care au fost grupate în funcție de subiecte. Primul astfel de proiect a fost site-ul Yahoo.com, care a fost deschis în primăvara anului 1994. După ce numărul de site-uri din catalog a crescut semnificativ, a fost adăugată posibilitatea de a căuta informațiile necesare în catalog. În sensul deplin, nu era încă un motor de căutare, întrucât zona de căutare era limitată doar la resursele prezente în catalog, și nu la toate resursele de pe Internet.

Directoarele de link-uri au fost utilizate pe scară largă în trecut, dar și-au pierdut aproape complet popularitatea în zilele noastre. Deoarece chiar și cataloagele moderne, de volum uriaș, conțin informații doar despre o parte neglijabilă a Internetului. Cel mai mare director al rețelei DMOZ (numit și Proiectul Open Directory) conține informații despre 5 milioane de resurse, în timp ce baza de date a motorului de căutare Google este formată din peste 8 miliarde de documente.

În 1995, au apărut motoarele de căutare Lycos și AltaVista. Acesta din urmă este lider în domeniul căutării de informații pe Internet de mulți ani.

În 1997, Sergey Brin și Larry Page au creat motorul de căutare Google ca parte a unui proiect de cercetare la Universitatea Stanford. Google este în prezent cel mai popular motor de căutare din lume!

În septembrie 1997, motorul de căutare Yandex, care este cel mai popular de pe internetul în limba rusă, a fost anunțat oficial.

În prezent, există trei motoare de căutare principale (internaționale) - Google, Yahoo și, care au propriile baze de date și algoritmi de căutare. Majoritatea celorlalte motoare de căutare (dintre care există un număr mare) folosesc într-o formă sau alta rezultatele celor trei enumerate. De exemplu, căutarea AOL (search.aol.com) utilizează baza de date Google, în timp ce AltaVista, Lycos și AllTheWeb folosesc baza de date Yahoo.

5. Componența și principiile de funcționare ale sistemului de căutare

În Rusia, principalul motor de căutare este Yandex, urmat de Rambler.ru, Google.ru, Aport.ru, Mail.ru. Mai mult, în acest moment, Mail.ru utilizează motorul de căutare și baza de date Yandex.

Aproape toate motoarele de căutare majore au propria lor structură, diferită de celelalte. Cu toate acestea, este posibil să se identifice principalele componente comune tuturor motoarelor de căutare. Diferențele de structură pot fi doar sub forma implementării mecanismelor de interacțiune a acestor componente.

Modul de indexare

Modulul de indexare constă din trei programe auxiliare (roboți):

Spider este un program conceput pentru a descărca pagini web. Păianjenul descarcă pagina și preia toate linkurile interne de pe pagina respectivă. Codul html al fiecărei pagini este descărcat. Roboții folosesc protocoale HTTP pentru a descărca pagini. Păianjenul funcționează după cum urmează. Robotul trimite cererea „get/path/document” și alte comenzi de solicitare HTTP către server. Ca răspuns, robotul primește un flux de text care conține informații de serviciu și documentul în sine.

Adresa URL a paginii
data la care pagina a fost descărcată
Antetul http de răspuns al serverului
corpul paginii (cod html)

Crawler („călător”) este un program care urmărește automat toate linkurile găsite pe pagină. Selectează toate linkurile prezente pe pagină. Sarcina sa este de a determina unde ar trebui să meargă păianjenul, pe baza unor legături sau pe baza unei liste predeterminate de adrese. Crawler, urmând linkurile găsite, caută documente noi care sunt încă necunoscute motorului de căutare.

Indexer (robot indexer) este un program care analizează paginile web descărcate de păianjeni. Indexatorul parsează pagina în părțile sale componente și le analizează folosind proprii algoritmi lexicali și morfologici. Sunt analizate diferite elemente ale paginii, cum ar fi text, titluri, link-uri, caracteristici structurale și de stil, etichete HTML pentru servicii speciale etc.

Astfel, modulul de indexare vă permite să accesați cu crawlere un anumit set de resurse folosind link-uri, să descărcați pagini întâlnite, să extrageți link-uri către pagini noi din documentele primite și să efectuați o analiză completă a acestor documente.

Baza de date

O bază de date, sau index al motorului de căutare, este un sistem de stocare a datelor, o matrice de informații în care sunt stocați parametrii special convertiți ai tuturor documentelor descărcate și procesate de modulul de indexare.

Server de căutare

Serverul de căutare este cel mai important element al întregului sistem, deoarece calitatea și viteza căutării depind direct de algoritmii care stau la baza funcționării acestuia.

Serverul de căutare funcționează după cum urmează:

Solicitarea primită de la utilizator este supusă analizei morfologice. Se generează mediul informațional al fiecărui document conținut în baza de date (care va fi ulterior afișat în formular, adică informații text corespunzătoare solicitării din pagina cu rezultatele căutării).
Datele primite sunt transmise ca parametri de intrare la un modul special de clasare. Datele sunt prelucrate pentru toate documentele, drept urmare fiecare document are propriul rating care caracterizează relevanța interogării introduse de utilizator și diferitele componente ale acestui document stocate în indexul motorului de căutare.
În funcție de alegerea utilizatorului, această evaluare poate fi ajustată prin condiții suplimentare (de exemplu, așa-numita „căutare avansată”).
În continuare, se generează un fragment, adică pentru fiecare document găsit, titlul, un scurt rezumat care se potrivește cel mai bine interogării și un link către documentul în sine sunt extrase din tabelul de documente, iar cuvintele găsite sunt evidențiate.
Rezultatele căutării rezultate sunt transmise utilizatorului sub forma unei SERP (Search Engine Result Page) – o pagină cu rezultatele căutării.

După cum puteți vedea, toate aceste componente sunt strâns legate între ele și funcționează în interacțiune, formând un mecanism clar, destul de complex pentru funcționarea unui sistem de căutare, care necesită cantități uriașe de resurse.

6. Concluzie

Acum să rezumam toate cele de mai sus.

Scopul principal al oricărui motor de căutare este de a oferi oamenilor exact informațiile pe care le caută.
Principalele caracteristici ale motoarelor de căutare:
1. Completitudine
2. Precizie
3. Relevanţă
4. Viteza de căutare
5. Vizibilitate
Primul motor de căutare cu drepturi depline a fost proiectul WebCrawler, publicat în 1994.
Sistemul de căutare include următoarele componente:
1. Modul de indexare
2. Baza de date
3. Server de căutare

Sperăm că clasa noastră de master vă va permite să vă familiarizați mai bine cu conceptul de motor de căutare și să înțelegeți mai bine principalele funcții, caracteristici și principii de funcționare ale motoarelor de căutare.