Motorul de căutare Yandex ru. Motoare de căutare pe Internet: Yandex, Google, Rambler, Yahoo. Compoziție, funcții, principiu de funcționare

Internetul este astăzi un depozit de informații la scară planetară, unde fiecare locuitor al Pământului este capabil să găsească aproape tot ce are nevoie. Deținând cantități inimaginabile de date și informații, umanitatea are și toate mijloacele necesare pentru a găsi rapid și confortabil ceea ce toată lumea are nevoie la un anumit moment în timp. Aceste instrumente sunt motoarele de căutare pe care fiecare dintre noi le folosește în fiecare zi: Google, Yandex, Rambler, Yahoo și multe alte tehnologii cu propriile capacități unice pentru diferite preferințe.

Și sunt uniți de absolut o singură proprietate - niciunul dintre sisteme nu este un fel de centru super-tehnologic care stochează în resursele sale o cantitate inimaginabilă de informații pentru toate ocaziile. Toate acestea sunt, în esență, ghiduri pentru utilizatori pe vastele întinderi ale Internetului și funcționează conform anumitor algoritmi software.

Motor de căutare Yandex: principii de bază

Funcționalitatea Yandex vă permite să sortați destul de flexibil toate rezultatele obținute, ținând cont de domenii specifice, regiuni, limbi și mulți alți parametri. Formatul datelor de intrare și rezultatele rezultate pot fi personalizate și filtrate de utilizatori folosind combinații simple de caractere. Datorită acestui fapt, eficiența și confortul căutării sunt semnificativ crescute.

Fiecare solicitare de la utilizator este trimisă mai întâi către cel mai liber server (imediat după analiza automată a încărcării sistemului), după care programul Metasearch o procesează. Software-ul analizează în timp real informațiile introduse în linia de căutare pentru lingvistică, localizarea geografică a utilizatorului, dacă interogarea aparține categoriilor de „cele mai populare”/“recent întrebate”, etc. Rezultatele căutării pentru aceste cazuri sunt stocate pentru ceva timp în memoria cache Metasearch ”, datorită căruia informațiile necesare sunt furnizate mai rapid.

În cazul căutării de informații mai rare, informații despre care nu sunt disponibile în cache, procesarea cererii este redirecționată către un alt mecanism software - „Căutare de bază”. Acesta analizează întreaga bază de date, împărțită în diferite servere duplicat pentru a accelera procesul de căutare și oferă informațiile găsite înapoi către Metasearch.

Toate datele primite sunt în cele din urmă organizate și prezentate utilizatorului într-o formă gata făcută, ușor de înțeles. Întregul proces durează în medie maximum 1-2 secunde.

Căutare corectă în Yandex: limbaj de căutare și caracteristici de sintaxă

Prezența anumitor cuvinte în rezultatele obținute, precum și poziția relativă a acestora, pot fi ușor configurate folosind operatori speciali care formează limba interogărilor de căutare Yandex.

Pe baza informațiilor oficiale

Există operatori de căutare Yandex pentru a clarifica informații despre parametri precum: titluri, tipuri de fișiere, gazdă, domenii, data ultimei modificări a paginilor de rezultate și limba acestora.

Aproape orice analog străin are un limbaj de interogare similar. Limbajul de interogare de căutare al Yandex, la rândul său, diferă de concurenți în mare măsură, cu capabilități și funcții puțin mai avansate.

Precizări morfologice

În mod implicit, motorul de căutare oferă utilizatorului o gamă largă de rezultate pentru interogarea introdusă, pe baza cărora nu se află doar cuvântul/expresia introdusă în sine, ci și diferitele sale forme (caz, gen, declinare, număr etc.) . Se iau în considerare și variațiile părții de vorbire (fie ea un substantiv, verb, adjectiv etc.) și cazul primei litere. De exemplu, când introduceți „atacat” în bara de căutare, utilizatorul va primi informații despre alte forme de verb: „atac”, „atac”, „atacat” (dar cuvintele înrudite precum „atac”, „atacat” nu vor fi luate în considerare). În acest caz, rezultatele vor fi afișate atât cu prima literă din cuvântul solicitat cu majuscule, cât și cu una mică.

Aproape toate caracteristicile limbajului de interogare ale diferitelor motoare de căutare se bazează pe principii de funcționare similare. În Yandex, restricțiile privind caracteristicile morfologice pot fi utile pentru o performanță mai precisă a motorului de căutare:

Metode speciale de selectare a cuvintelor cheie pentru publicitate contextuală

Limbile de interogare de căutare se extind, de asemenea, cu mult dincolo de segmentul de utilizatori, recompensând agenții de publicitate cu instrumente de lucru simple. În special, în astfel de scopuri, Yandex este înarmat cu o serie de algoritmi și operatori care le permit să-și promoveze în mod eficient site-urile și serviciile în motorul de căutare.

Logica de afișare a reclamelor contextuale ca răspuns la solicitările utilizatorilor se bazează pe selecția cuvintelor care sunt legate tematic de subiectul acestui anunț, precum și pe celelalte forme ale acestora. De exemplu, astfel de metode vă permit să afișați o reclamă pentru servicii juridice nu numai ca răspuns la „servicii juridice din orașul N”, ci și acelor utilizatori care au făcut solicitări similare (fie că este vorba de „prețuri pentru avocați oraș N”, „firme de avocatură, ” „avocat oraș N ieftin”, etc.). Ca urmare, anunțul va fi afișat unui public mai larg de utilizatori și, prin urmare, acest lucru va atrage mai multă atenție asupra acestuia.

Cu toate acestea, reclamele ar trebui să fie afișate numai acelor utilizatori care fac interogări legate tematic în motorul de căutare. De exemplu, publicitatea pentru cursurile juridice nu va fi eficientă dacă este prezentată utilizatorilor care au nevoie în prezent de serviciile unui avocat. Reglarea unor astfel de momente se realizează folosind o listă întreagă de operatori în motorul de căutare Yandex. Descrierea limbajului de interogare pentru sarcinile de publicitate va arăta, în general, ca cea prezentată mai jos.

Lecții de confort și simplitate din sugestiile de căutare Yandex

Simplificarea procesului de introducere a informațiilor de căutare folosind indicii este percepută fără nicio emoție. Această tehnologie este disponibilă în fiecare motor de căutare popular astăzi, se bazează pe emiterea preliminară de interogări populare similare cu literele introduse de utilizator în bara de căutare.

Yandex implementează acest sistem prin intermediul unor caracteristici proprietare. Toate seturile de indicii sunt procesate și grupate dintre cele mai populare solicitări ale utilizatorilor. De asemenea, sunt utilizați termeni științifici din articole enciclopedice, titluri de filme, lucrări muzicale și alte conținuturi adecvate tematic. Drept urmare, utilizatorul, din momentul în care introduce prima literă în linia de căutare, primește sub ea o listă întreagă de opțiuni pentru cele mai populare interogări, începând cu aceleași caractere.

În plus, sfaturile pot indica imediat link-uri către site-urile necesare sau răspunsul la întrebarea adresată. De exemplu, este suficient să introduceți jumătate din interogarea „lungimea circumferinței”, iar în câmpul corespunzător de sub linia de căutare utilizatorului i se va prezenta o formulă de calcul gata făcută. Când întrebați „capitala Australiei”, nu veți avea timp să terminați fraza înainte ca Yandex să furnizeze imediat aceste informații în lista de indicii.

Dacă un link către un site este un răspuns relevant la o solicitare, atunci această adresă va fi disponibilă imediat în același câmp. Această abordare vă va permite să mergeți rapid la resursa dorită, ocolind lista tuturor rezultatelor găsite.

Filtrarea conținutului neadecvat

Funcționalitatea Yandex prevede, de asemenea, excluderea resurselor „18+” din rezultatele căutării, indiferent de limbajul de interogare utilizat. Această funcție va fi utilă în primul rând pentru protejarea utilizatorilor tineri de „materiale pentru adulți” de pe Internet. Și chiar dacă un copil nu este jenat să folosească toate instrumentele în care este bogat limbajul de căutare Yandex, acest lucru nu îl va ajuta în niciun fel să depășească bariera de la astfel de site-uri.

În căutarea Yandex, există 3 moduri pentru utilizatori:

• „Fără protecție” - nu există absolut nicio restricție asupra rezultatelor produse.
• „Moderat” - dacă solicitarea utilizatorului nu vizează în mod clar căutarea site-urilor „18+”, atunci acestea sunt eliminate din rezultatele căutării.
• „Familie” - conținutul obscen este complet absent din rezultatele căutării.

Toate aceste opțiuni pentru protejarea împotriva conținutului care nu este destinat copiilor sunt controlate în meniul de setări Yandex corespunzător.

Funcții suplimentare ale motorului de căutare

Pe lângă o gamă largă de diferiți operatori de limbaj de interogare, Yandex oferă și alte câteva modalități de a căuta informații:

• „Advanced” este un serviciu mai frumos, cu o structură intuitivă pentru cei care au nevoie să folosească instrumente de limbaj de interogare. Trebuie doar să introduceți parametrii necesari în câmpurile corespunzătoare (căutare pentru o anumită resursă, regiune, acuratețea potrivirii cu cuvintele interogării de căutare, căutarea după titluri, limbă, format document, data ultimei actualizări etc.), fără a recurge la introducerea manuală mai puţin confortabilă a operatorilor . „Căutare avansată” și limbajul de interogare Yandex sunt aceeași funcționalitate, dar diferența este că primul oferă utilizarea acelorași operatori într-o formă mai convenabilă.

• „Căutare Zen”. Pe baza istoricului interogărilor de căutare a utilizatorului, Yandex oferă utilizatorului un serviciu de publicare media. Disponibil numai pentru dispozitivele mobile și extern este un set de previzualizări de știri selectate în funcție de istoricul vizionărilor. Utilizatorul poate selecta orice publicație care îi place, poate citi primele paragrafe și, dacă este interesat de aceasta, poate accesa site-ul editorului pentru acest material. În caz contrar, trebuie doar să selectezi „Nu îmi place” pentru a nu afișa o anumită știre sau în acest fel să marchezi întreaga resursă, excluzând-o din fluxul tău de știri.

Mecanisme de protecție împotriva informațiilor nedorite și rău intenționate

Proprietatea principală a oricărui motor de căutare nu este doar o varietate de operatori de interogare de căutare. Yandex se caracterizează, de asemenea, printr-un nivel ridicat de securitate pentru toate rezultatele găsite. Acest motor de căutare a introdus verificarea de bază a paginilor și avertismente despre site-urile rău intenționate în 2009. Detectarea amenințărilor se realizează folosind două tehnologii:

• Protecție antivirus achiziționată de la Sophos și bazată pe o abordare de semnătură: atunci când un utilizator accesează o pagină web, sistemul antivirus contactează o bază de date care conține informații despre malware cunoscut. În ciuda vitezei mari de funcționare, o astfel de tehnologie este aproape complet inutilă atunci când se confruntă cu noi amenințări de virus. Prin urmare, Yandex folosește în plus o a doua tehnologie.
• Un complex antivirus proprietar, a cărui bază este În primul rând, protecția la accesarea unui site analizează dacă acesta solicită fișiere suplimentare din browser, redirecționează către o resursă externă etc. Dacă sunt detectate acțiuni străine ale unei resurse fără știrea utilizatorului ( lansarea de module JavaScript, programe cu drepturi depline, foi de stil în cascadă), apoi este inclus în lista neagră a site-urilor periculoase și în baza de date de semnături viruși. Proprietarul site-ului însuși va fi, de asemenea, notificat cu privire la aceste amenințări, iar toate verificările ulterioare vor fi efectuate periodic până când toate problemele de securitate ale acestuia vor fi complet eliminate.

Această abordare a analizei paginilor furnizate cu rezultate de căutare, combinată cu tehnologiile proprietare Yandex, a făcut posibilă reducerea la minimum a procentului de site-uri infectate din acest motor de căutare la doar câteva. Verificările zilnice Yandex acoperă un total de până la 23 de milioane de resurse, iar într-o lună acest număr ajunge la aproximativ 1 miliard.

Yandex are un motor de căutare destul de rapid după 2-4 ore pagina înregistrată apare în rezultatele căutării. Dar asta înseamnă doar că a fost pus în coadă pentru indexarea completă. După ce un site este supus indexării complete, acesta poate dispărea din pagina cu rezultatele căutării dacă robotul îl consideră spam sau din cauza unor probleme tehnice. Dacă, după verificarea inițială, resursa dvs. a ieșit pe primul loc pentru o anumită solicitare, atunci după indexarea completă, poate fi în poziții complet diferite. Situația trebuie monitorizată timp de câteva zile.

Nu vă faceți griji dacă vă aflați în următoarea situație:

După indexarea completă, pagina a ocupat o poziție bună. Dar după una dintre verificări, locul ei în lista de rezultate este mai jos decât de obicei. Și a doua zi totul este din nou la fel. Lista rezultatelor poate varia în funcție de încărcarea serverelor. Acest lucru se întâmplă deoarece baza de date are o structură de cluster și este distribuită pe mai multe servere.

În 2009, Yandex a introdus o nouă metodă de învățare automată - Matrixnet. Cu ajutorul lui, se construiește o formulă de clasare. O caracteristică importantă a acestei metode este că este rezistentă la supraadaptare. Acest lucru vă permite să luați în considerare o mulțime de factori de clasare - fără a crește numărul de evaluări ale evaluatorilor și fără teama că aparatul va găsi modele inexistente.

De pe site-ul yandex.ru

Sfaturi de optimizare:

• Nu este nevoie să faceți documente foarte mici sau foarte mari. Yandex iubește documentele de dimensiuni medii, bogate în text (articole etc.). Cuvintele cheie trebuie repetate cu moderație. Cuvintele cheie pot fi scrise în descrierea ALT, dar greutatea cuvintelor din această etichetă este mai mică.
• Paginile create de scripturi cgi și php sunt bine indexate. Acest lucru se aplică cărților de oaspeți, forumurilor etc. În rest (cu excepția celui principal) durează aproximativ 2 săptămâni.
• Dacă portalul este în rusă, iar domeniul nu este în zone.ru, atunci Yandex îl va indexa în continuare.

Marketingul motoarelor de căutare

Costul marketingului pentru motoarele de căutare variază de la persoană la persoană. Depinde de setul de servicii care vor fi utilizate în procesul de promovare. La rândul său, pachetul de servicii se formează în funcție de tipul de site, de starea sa actuală, precum și de poziția sa în clasament.

Costă de la 40.000 de ruble

UserAgent

Numele robotului de căutare: Yandex/1.03.00x, unde x este tipul de păianjen, în funcție de tipul de indexare (primar, complet).

Suport meta tag

Meta-etichete cuvinte cheie și descriere: cuvintele cheie din ele nu ajută la obținerea unor poziții bune. În metaetichete trebuie să scrieți doar acele cuvinte care apar în textul paginii.

Eticheta de descriere este folosită pentru a descrie o pagină în rezultatele căutării. Acest lucru trebuie luat în considerare la compilare, deoarece acesta va fi unul dintre criteriile dupa care utilizatorul decide daca intra sau nu pe site.

Meta-etichetele, cum ar fi, conținutul revisit-after nu sunt acceptate.

Sfaturi pentru îmbunătățirea poziției site-ului dvs.

• Scrieți cuvinte cheie în etichete: Titlu, titluri (h1-h6), conținutul paginii, ALT.
• Formula de calcul a relevanței include Weighted Citation Index, un analog al Page Rank în Google. Indexul de citare obișnuit este utilizat numai la sortarea portalurilor în catalogul Yandex. Poziția în rezultatele căutării este influențată de VIC.

Spam

Tehnologia de detectare a spamului a fost dezvoltată, dar până acum este extrem de ineficientă. Echipa de dezvoltare lucrează la asta.

Ce motoare de căutare sunt cele mai populare pe Internet și în segmentul său autohton? Cum diferă un motor de căutare de altul? Care este cel mai bun motor de căutare?

Sistemul de căutare este un complex software și hardware cu o interfață web care oferă posibilitatea de a căuta informații pe Internet.

Evaluarea motoarelor de căutare rusești (conform Liveinternet 2014)

Evaluarea motoarelor de căutare globale (date din NetMarketShare 2014)

Scurte caracteristici ale motorului de căutare Yandex

Yandex este cel mai mare motor de căutare intern. Fondată la 23 septembrie 1997. Recent, Yandex s-a extins activ la nivel internațional și are deja versiuni localizate ale serviciului în Ucraina, Kazahstan, Belarus și Turcia. Pe lângă căutare, Yandex oferă multe funcții suplimentare, inclusiv găzduirea gratuită Narod.ru, serviciul de blogging Ya.ru, serviciul de e-mail, rețeaua de publicitate Yandex Direct și, în plus, recent Yandex și-a promovat activ propriul browser. Pe lângă căutarea principală, Yandex oferă posibilitatea de a căuta după bloguri, imagini și videoclipuri.

În 2011, a fost dezvoltată și implementată o nouă metodă de învățare automată, Matrixnet, care a îmbunătățit semnificativ calitatea căutării.

În plus, în 2011, Yandex a plasat acțiuni la bursa americană de înaltă tehnologie Nasdaq, care este un eveniment marcant pentru companiile interne de internet.

În decembrie 2012 A fost introdus un nou algoritm „Kaliningrad”, care a făcut căutarea personalizată. Aceasta înseamnă că acum principalul factor de clasare este utilizatorul însuși, care creează o interogare pentru motorul de căutare. Cu alte cuvinte, rezultatele căutării pentru aceeași întrebare pentru doi utilizatori diferiți vor diferi acum în funcție de nevoile și preferințele utilizatorilor înșiși. Acesta este un nou pas în evoluția motoarelor de căutare.

Printre inovațiile Yandex se numără:

• introducerea geodependenței solicitărilor în funcție de afilierea regională a utilizatorului și a site-ului;
• luarea în considerare a factorilor comportamentali;
• dezvoltarea unui mecanism pentru indicii, corectarea erorilor și recunoașterea abrevierilor;
• lupta activă împotriva vânzării de link-uri și a textelor supraoptimizate;
• introducerea căutării personalizate;
• ținând cont de valoarea semantică adăugată a site-ului.

Scurte caracteristici ale motorului de căutare Google

Un lider general recunoscut printre motoarele de căutare. Motorul de căutare a apărut în 1996 și a fost inițial destinat să caute în dulapurile bibliotecii Stanford. Google Corporation a fost fondată în 1998. În prezent, are peste 100 de versiuni regionale în diferite țări. În plus, Google nu este doar căutare, ci și mai mult de 50 de servicii diferite, inclusiv cel mai popular browser, Google Chrome.

• Pagini indexate - mai mult de 3.000.000.000 de pagini.
• Ramele sunt complet acceptate.
• Tipuri de fișiere indexate - PDF, CGI, ASP, JSP, CFM, PHP.
• Suport pentru metaetichete - cea mai importantă etichetă este titlul.
• Baza de date este actualizată o dată la 60 de zile.
• Timpul mediu de indexare este de la 48 de ore la 2 săptămâni.
• Indexare rapidă - nr.
• Oferă date pentru - Topclick.com, Yahoo, Netscape, EarthLink.net
• Linkuri plătite - Google AdWords - propriul program de publicitate contextuală pentru cuvintele cheie selectate.
• Rezultatele căutării în director - este utilizat directorul Open Directory Project.
• Frecvența cuvintelor cheie - Cuvintele cheie trebuie menționate în prima treime a documentului. Este necesar să folosiți sinonime și cuvinte pe tema selectată pe tot site-ul. Frecvența recomandată a cuvintelor cheie este de la 0 la 12% - cazurile de clasare ridicată sunt posibile doar datorită PageRank-ului ridicat.
• Popularitatea link-ului este foarte importantă. Dacă nu există legături externe, documentul nu va fi indexat.

Scurte caracteristici ale motorului de căutare Bing

Clasat în prezent drept al treilea site de căutare cel mai popular în funcție de volumul de trafic, Bing are o serie de caracteristici exclusive, cum ar fi ajustarea dinamică a cantității de informații afișate pentru fiecare rezultat al căutării (de exemplu, numai titlu, scurt sau lung).

• schimbarea zilnică a temelor pentru pagina de start cu blocuri de informații;
• afișarea clarificări a opțiunilor de căutare pentru categorii individuale;
• video cu previzualizare automată;
• date suplimentare pentru fiecare rezultat al căutării;
• serviciu încorporat pentru căutarea rutelor (în curând vor apărea alte servicii speciale de căutare);
• Funcții care îmbunătățesc utilizarea atunci când căutați informații, imagini și videoclipuri.

În ciuda tuturor capabilităților motoarelor de căutare populare, acestea nu pot rezolva toate problemele. În special, ele nu sunt întotdeauna convenabile pentru a căuta informații științifice. În aceste scopuri, există motoare de căutare științifice speciale.

Bună ziua, dragi cititori ai blogului meu SEO. . Acest articol este despre cum funcționează motorul de căutare Yandex ce tehnologii și algoritmi folosește pentru a clasifica site-urile și ce face pentru a pregăti un răspuns pentru utilizatori. Mulți oameni știu că acest flagship al căutării rusești dă tonul în Runet, deține cea mai mare bază de date din Eurasia, gestionează conținutul a peste un miliard de pagini și cunoaște răspunsul la orice întrebare. Conform datelor Liveinternet pentru august 2012, cota Yandex în Rusia este de 60,5%. Audiența lunară a portalului este de 48,9 milioane de oameni. Dar cel mai important lucru pentru noi, bloggerii, este modul în care motorul de căutare primește cererile noastre, cum le procesează și care este rezultatul ca rezultat. Pe de o parte, cunoașterea și înțelegerea acestor informații ne face mai ușor să folosim toate resursele Yandex, pe de altă parte, este mai ușor să ne promovăm blogurile. De aceea, iti propun sa te uiti cu mine la cele mai importante tehnologii ale celui mai bun motor de cautare Runet.

Când un utilizator de internet dorește pentru prima dată să apeleze la un motor de căutare pentru informații, el poate avea o întrebare: „Cum funcționează căutarea?” Dar când o primește, această întrebare se schimbă adesea în alta: „De ce atât de repede?” Și într-adevăr, de ce căutarea unui fișier pe un computer durează 20 de secunde, iar rezultatul unei solicitări de la o întreagă rețea de computere din întreaga lume apare într-o secundă? Cel mai interesant lucru este că la primele două întrebări (cum are loc căutarea și de ce 1 secundă) se poate răspunde într-un singur răspuns - motorul de căutare s-a pregătit în avans pentru solicitarea utilizatorului.

Pentru a înțelege principiul de funcționare a lui Yandex, ca și alte motoare de căutare, să facem o analogie cu un director telefonic. Pentru a găsi orice număr de telefon, trebuie să cunoașteți numele de familie al abonatului, iar orice căutare în acest caz durează maximum un minut, deoarece toate paginile directorului sunt un index alfabetic continuu. Dar imaginați-vă dacă căutarea a fost efectuată folosind o altă opțiune, în care numerele de telefon au fost ordonate după numerele în sine. După astfel de căutări, care se vor întinde mai mult timp, numerele vor rămâne în fața ochilor celui care caută o perioadă foarte lungă de timp. 🙂

La fel, motorul de căutare afișează toate informațiile de pe Internet într-o formă convenabilă pentru acesta. Și cel mai important, toate aceste date sunt plasate în directorul ei în avans, înainte ca vizitatorul să sosească cu cererile sale. Adică, atunci când punem o întrebare Yandex, acesta știe deja răspunsul nostru. Și ni-l oferă într-o secundă. Dar această secundă include o serie de procese importante, pe care acum le vom analiza în detaliu.

Indexarea Internetului

Yandex ru colectează toate informațiile pe care le poate pune mâna pe internet. Folosind echipamente speciale, tot conținutul este revizuit, inclusiv imaginile bazate pe parametri vizuali. Motorul de căutare este angajat într-o astfel de colectare, iar procesul de colectare și pregătire a datelor se numește indexare. Baza unei astfel de mașini este un sistem informatic, care altfel se numește robot de căutare. Acesta accesează cu crawlere în mod regulat site-urile indexate, le verifică pentru conținut nou și, de asemenea, scanează Internetul pentru pagini șterse. Dacă descoperă că o astfel de pagină nu mai există sau este închisă de la indexare, o elimină din căutare.

Cum găsește un robot de căutare site-uri noi? În primul rând, mulțumim link-urilor de pe alte site-uri. Pentru că dacă un link este plasat pe o nouă resursă web de pe un site deja indexat, atunci data viitoare când îl vei vizita pe al doilea, robotul îl va vizita pe primul. În al doilea rând, există un serviciu minunat, numit în mod popular „addurlka” (din expresia în engleză -addurl - adăugați adresa). În el puteți introduce adresa noului dvs. site, care va fi vizitată de un robot de căutare după un timp. În al treilea rând, cu ajutorul unui program special „Yandex.Bar”, vizitele utilizatorilor care îl folosesc sunt urmărite. În consecință, dacă o persoană ajunge pe o nouă resursă web, un robot va apărea în curând acolo.

Sunt toate paginile incluse în căutare? Milioane de pagini sunt indexate în fiecare zi. Printre acestea se numără pagini de diferite calități, care pot conține informații diferite - de la conținut unic până la gunoi complet. În plus, după cum spun statisticile, există mult mai mult gunoi pe Internet. Robotul de căutare analizează fiecare document folosind algoritmi speciali. Stabilește dacă are informații utile și dacă poate răspunde solicitării utilizatorului. Dacă nu, atunci astfel de pagini nu sunt acceptate ca „cosmonauți”, dar dacă da, atunci sunt incluse în căutare.

După ce un robot a vizitat o pagină și a determinat utilitatea acesteia, aceasta apare în stocarea motorului de căutare. Aici analizăm orice document până la elementele de bază, așa cum spun maeștrii centrului auto - până la roți. Pagina este ștearsă de markup html, textul curat trece printr-un inventar complet - se calculează locația fiecărui cuvânt. În această formă dezasamblată, pagina se transformă într-un tabel cu cifre și litere, care altfel se numește index. Acum, indiferent de ce se întâmplă cu resursa web care conține această pagină, cea mai recentă copie a acesteia este întotdeauna disponibilă în căutare. Chiar dacă site-ul nu mai există, copii ale documentelor sale sunt stocate pe Internet de ceva timp.

Fiecare index, împreună cu datele despre tipurile de documente, codificare, limbă, împreună cu copiile, constituie baza de date de cautare . Este actualizat periodic, deci se află pe servere speciale cu ajutorul cărora sunt procesate solicitările de la utilizatorii motoarelor de căutare.

Cât de des are loc procesul de indexare? În primul rând, depinde de tipurile de site-uri. Primul tip de resursă web modifică foarte des conținutul paginilor sale. Adică, atunci când un robot de căutare ajunge la aceste pagini de fiecare dată, acestea conțin conținut diferit de fiecare dată. Data viitoare nu veți putea găsi nimic folosindu-le, așa că astfel de site-uri nu sunt incluse în index. Al doilea tip de site este un depozit de date, pe paginile căruia se adaugă periodic link-uri către documente pentru descărcare. Conținutul unui astfel de site de obicei nu se schimbă, așa că robotul îl vizitează extrem de rar. Alte site-uri depind de frecvența actualizării materialului. Aceasta înseamnă următoarele: cu cât apare mai rapid conținut nou pe site, cu atât mai des apare robotul de căutare. Și se acordă prioritate în primul rând celor mai importante resurse web (un site de știri este cu un ordin de mărime mai important decât orice blog, de exemplu).

Indexarea vă permite să îndepliniți prima funcție a unui motor de căutare - colectarea de informații pe pagini noi de pe Internet. Dar Yandex are și o a doua funcție - căutarea unui răspuns la solicitarea unui utilizator într-o bază de date de căutare deja pregătită.

Yandex pregătește un răspuns

Procesul de procesare a cererii și emiterea de răspunsuri relevante este gestionat de sistem informatic "Metasearch" . Pentru activitatea sa, mai întâi colectează toate informațiile de intrare: din ce regiune a fost făcută cererea, din ce clasă aparține, dacă există erori în cerere etc. După o astfel de procesare, metasearch verifică dacă există exact aceleași interogări cu aceiași parametri în baza de date. Dacă răspunsul este da, atunci sistemul arată utilizatorului rezultatele salvate anterior. Dacă o astfel de întrebare nu există în baza de date, metacăutarea se adresează bazei de date de căutare care conține datele indexului.

Și aici se întâmplă lucruri uimitoare. Imaginați-vă că există un computer super-puternic care stochează întregul Internet procesat de roboții de căutare. Utilizatorul setează o interogare și începe o căutare în celulele de memorie pentru toate documentele implicate în interogare. Răspunsul a fost găsit și toată lumea este fericită. Dar să luăm un alt caz când există o mulțime de cereri care conțin aceleași cuvinte în corpul lor. Sistemul trebuie să treacă prin aceleași celule de memorie de fiecare dată, ceea ce poate crește semnificativ timpul necesar procesării datelor. În consecință, timpul crește, ceea ce poate duce la pierderea utilizatorului - acesta va apela la un alt motor de căutare pentru ajutor.

Pentru a evita astfel de întârzieri, toate copiile din indexul site-ului sunt distribuite pe diferite computere. După transmiterea cererii, metasearch instruiește astfel de servere să caute fragmentul lor de text. După care, toate datele de la aceste mașini sunt returnate la computerul central, acesta combină toate rezultatele obținute și oferă utilizatorului primele zece cele mai bune răspunsuri. Cu această tehnologie, două păsări sunt ucise simultan: timpul de căutare este redus de mai multe ori (răspunsul se obține într-o fracțiune de secundă) și, datorită creșterii platformelor, informațiile sunt duplicate (datele nu se pierd din cauza defecțiunilor bruște) . Calculatoarele în sine cu informații duplicate formează un centru de date - aceasta este o cameră cu servere.

Când un utilizator de motor de căutare solicită o interogare, de 20 de ori din 100, obiectivele întrebării sunt ambigue. De exemplu, dacă scrie cuvântul „Napoleon” în bara de căutare, atunci nu se știe încă ce răspuns așteaptă - o rețetă de tort sau o biografie a marelui comandant. Sau expresia „Frații Grimm” - basme, filme, grup muzical. Pentru a restrânge o astfel de gamă posibilă de obiective la răspunsuri specifice, Yandex are o tehnologie specială S p e c t r. Ia în considerare nevoile utilizatorilor folosind statisticile privind interogările de căutare. Dintre toate întrebările adresate în Yandex de către vizitatori, Spectrum identifică diverse obiecte în ele (nume de persoane, titluri de cărți, modele de mașini etc.) Aceste obiecte sunt distribuite în anumite categorii. În prezent există peste 60 de astfel de categorii. Cu ajutorul lor, motorul de căutare are în baza sa de date diferite semnificații ale cuvintelor în interogările utilizatorilor. Interesant este că aceste categorii sunt verificate periodic (analiza are loc de câteva ori pe săptămână), ceea ce permite Yandex să ofere mai precis răspunsuri la întrebările puse.

Pe baza tehnologiei Spectrum, Yandex a organizat solicitări de dialog. Acestea apar sub bara de căutare în care utilizatorul introduce interogarea ambiguă. Această linie reflectă categoriile cărora le poate aparține subiectul întrebării. Rezultatele viitoare ale căutării depind de alegerea utilizatorului pentru această categorie.

De la 15 la 30% din toți utilizatorii motorului de căutare Yandex doresc să primească doar informații locale (date din regiunea în care locuiesc). De exemplu, despre filme noi în cinematografele din orașul tău. Prin urmare, răspunsul la o astfel de solicitare ar trebui să fie diferit pentru fiecare regiune. În acest sens, Yandex își folosește tehnologia căutare bazată pe regiuni . De exemplu, acestea sunt răspunsurile pe care le pot primi rezidenții care caută un repertoriu de filme în cinematograful lor Oktyabr:

Dar acesta este rezultatul pe care locuitorii orașului Stavropol îl vor primi pentru aceeași cerere:

Regiunea utilizatorului este determinată în primul rând de adresa sa IP. Uneori, aceste date nu sunt exacte, deoarece un număr de furnizori pot lucra în mai multe regiuni simultan și, prin urmare, pot schimba adresele IP ale utilizatorilor lor. În principiu, dacă vi se întâmplă acest lucru, vă puteți schimba cu ușurință regiunea în setările din motorul de căutare. Este listat în colțul din dreapta sus al paginii de rezultate. Îl poți schimba.

Motor de căutare Yandex ru - rezultate de răspuns

Când Metasearch a pregătit un răspuns, motorul de căutare Yandex ar trebui să îl afișeze pe pagina de rezultate. Este o listă de link-uri către documente găsite cu câteva informații despre fiecare. Sarcina tehnologiei de emitere a rezultatelor este de a oferi utilizatorului cele mai relevante răspunsuri în cel mai informativ mod. Șablonul pentru un astfel de link arată astfel:

Să ne uităm la această formă de rezultat mai detaliat. Pentru titlul rezultatului căutării Yandex folosește adesea numele titlului paginii (ceea ce optimizatorii scriu în eticheta de titlu). Dacă nu este acolo, atunci cuvintele din titlul articolului sau postării apar aici. Dacă textul titlului este mare, motorul de căutare plasează în acest câmp fragmentul care este cel mai relevant pentru interogarea dată.

Foarte rar, dar se întâmplă ca titlul să nu se potrivească cu conținutul cererii. În acest caz, Yandex își formează titlul rezultatului căutării folosind textul din articol sau postare. Cu siguranță va avea cuvinte de interogare.

Pentru fragment motorul de căutare folosește tot textul din pagină. Selectează toate fragmentele în care este prezent răspunsul la interogare, apoi îl selectează pe cel mai relevant și inserează link-uri către document în câmpul formularului. Datorită acestei abordări, un optimizator competent îl poate reface după ce a văzut un fragment, îmbunătățind astfel atractivitatea conexiunii.

Pentru a percepe mai bine rezultatul solicitării unui utilizator, titlurile sunt formatate ca linkuri în text (evidențiate în albastru cu subliniere). Pentru a face resursa web atractivă și recunoscută, se adaugă o favicon - o mică pictogramă corporativă a site-ului. Apare în stânga textului pe primul rând înainte de titlu. Toate cuvintele care au fost incluse în cerere în răspuns sunt, de asemenea, evidențiate cu caractere aldine pentru a ușura percepția.

Recent, motorul de căutare Yandex a adăugat diverse informații la fragment, care vor ajuta utilizatorul să-și găsească răspunsul și mai rapid și mai precis. De exemplu, dacă un utilizator scrie numele unei organizații în cererea sa, atunci Yandex va adăuga adresa, numerele de contact și un link către locația din hărțile geografice în fragment. Dacă motorul de căutare este familiarizat cu structura site-ului, care conține un document cu un răspuns pentru utilizator, îl va afișa cu siguranță. În plus, Yandex poate adăuga imediat cele mai vizitate pagini ale unei astfel de resurse web la fragment, astfel încât, dacă dorește, vizitatorul să poată merge imediat la secțiunea de care are nevoie, economisindu-și timpul.

Există fragmente care conțin prețul unui produs pentru un magazin online, o evaluare a unui hotel sau restaurant sub formă de stele și alte informații interesante cu diverse numere despre obiectele din documentele de căutare. Scopul acestor informații este de a oferi o listă completă de date despre acele articole sau obiecte care sunt de interes pentru utilizator.

În general, cu diverse exemple, pagina cu răspunsuri va arăta astfel:

Clasament și evaluatori

Sarcina lui Yandex include nu numai căutarea tuturor opțiunilor de răspuns posibile, ci și selectarea celor mai bune (relevante). La urma urmei, utilizatorul nu va scotoci prin toate linkurile pe care Yandex i le va furniza ca rezultat al căutării. Procesul de organizare a rezultatelor căutării se numește clasament . Adică clasamentul este cel care determină calitatea răspunsurilor propuse.

Există reguli după care Yandex determină paginile relevante:

• Site-urile care degradează calitatea căutării vor fi retrogradate în pozițiile din pagina cu rezultate. De obicei, acestea sunt resurse web ai căror proprietari încearcă să înșele motorul de căutare. De exemplu, acestea sunt site-uri cu pagini care conțin text fără sens sau invizibil. Desigur, este vizibil și de înțeles pentru un robot de căutare, dar nu pentru un vizitator care citește acest document. Sau site-uri care, atunci când dau clic pe un link din zona rezultatelor căutării, transferă imediat utilizatorul pe un site complet diferit.
• Site-urile care conțin conținut erotic nu sunt incluse în rezultate sau sunt mult reduse în clasament. Acest lucru se datorează faptului că astfel de resurse web folosesc adesea metode de promovare agresive.
• Site-urile infectate cu viruși nu sunt reduse în rezultatele căutării și nu sunt excluse din rezultatele căutării - în acest caz, utilizatorul este informat despre pericol folosind o pictogramă specială. Acest lucru se datorează faptului că Yandex presupune că astfel de resurse web pot conține documente importante la cererea unui vizitator al motorului de căutare.

De exemplu, acesta este modul în care Yandex va clasifica site-urile pentru interogarea „măr”:

Pe lângă factorii de clasare, Yandex folosește mostre speciale cu întrebări și răspunsuri pe care utilizatorii motoarelor de căutare le consideră cele mai potrivite. Nicio mașină nu poate face astfel de mostre în acest moment - aceasta este prerogativa omului. În Yandex, sunt chemați astfel de specialiști evaluatori. Sarcina lor este să analizeze complet toate documentele de căutare și să evalueze răspunsurile la întrebările specificate. Ei selectează cele mai bune răspunsuri și creează un set special de antrenament. În acesta, motorul de căutare vede relația dintre paginile relevante și proprietățile acestora. Având astfel de informații, Yandex poate selecta formula optimă de clasare pentru fiecare solicitare. Metoda de construire a unei astfel de formule se numește Matrixnet. Avantajul acestui sistem este că este rezistent la supraajustare, ceea ce vă permite să luați în considerare un număr mare de factori de clasare fără a crește numărul de evaluări și modele inutile.

La sfârșitul postării mele, vreau să vă arăt statistici interesante colectate de motorul de căutare Yandex în timpul lucrului său.

1. Popularitatea numelor personale în Rusia și orașele rusești (date preluate din conturile bloggerilor și utilizatorilor rețelelor sociale în martie 2012).

În 1863, marele scriitor Jules Verne a creat următoarea sa carte, „Parisul în secolul al XX-lea”. În el, a descris în detaliu metroul, mașina, scaunul electric, computerul și chiar internetul. Cu toate acestea, editorul a refuzat să tipărească cartea și a rămas acolo timp de mai bine de 120 de ani, până când a fost găsită de strănepotul lui Jules Verne în 1989. Cartea a fost publicată în 1994.

Definiţie

"Yandex" - Companie IT internațională rusă care deține sistemul de căutare pe Internet cu același nume și un portal de internet. Motorul de căutare Yandex este al patrulea dintre motoarele de căutare din lume în ceea ce privește numărul de interogări de căutare procesate (peste 6,3 miliarde pe lună la începutul anului 2014). Începând cu 19 iulie 2014, conform evaluării Alexa.com, site-ul web yandex.ru ocupă locul 22 ca popularitate în lume și primul în Rusia.

Motorul de căutare Yandex.ru a fost anunțat oficial pe 23 septembrie 1997 și a fost dezvoltat pentru prima dată în cadrul CompTek International. Yandex a fost înființată ca o companie separată în 2000. În mai 2011, Yandex a organizat o ofertă publică inițială, câștigând din aceasta mai mult decât orice companie de internet de la IPO a motorului de căutare Google în 2004.

Direcția principală și prioritară a companiei este dezvoltarea unui motor de căutare, dar de-a lungul anilor, Yandex a devenit un multi-portal. În 2013, Yandex oferă peste 50 de servicii. Unele dintre ele - Yandex.Search, Yandex.Maps, Yandex.Market, Blog Search, Yandex.Traffic - domină piața.

1.2 Istoria Yandex

Figura 1 – Poarta vechiului birou de pe strada Samokatnaya

În 1989, antreprenorul și programatorul Arkady Volozh a fondat compania CompTek, care vindea calculatoare personale și era angajată în automatizarea locului de muncă. Volozh era interesat și de algoritmii de procesare a datelor și era interesat de posibilitatea de a scrie o aplicație care să poată căuta informații în cantități mari de text, ținând cont de morfologia limbii. Împreună cu specialistul în lingvistică computerizată Arkadi Borkovski, a fondat compania Arcadia în 1989. După 1990, angajații Arcadia au scris sistemele de regăsire a informațiilor „Clasificarea internațională a invențiilor” și „Clasificatorul bunurilor și serviciilor”. În următorii trei ani, acestea au fost vândute institutelor de cercetare și organizațiilor de brevete.

Cuvântul „Yandex” a fost inventat de Ilya Segalovich, directorul de tehnologie Yandex și directorul general al companiei, Arkady Volozh. Ilya a scris diferite derivate ale cuvintelor care descriu esența tehnologiei. Ca urmare, a apărut opțiunea „yandex” - încă un indexator.

În 1993, Arcadia s-a alăturat CompTek, la care s-a alăturat anterior prietenul de școală al lui Volozh, programatorul Ilya Segalovici. În același an, a fost creat un program pentru a căuta pe hard diskul unui computer. Programul se numea „Yandex”. În colaborare cu Institutul pentru Probleme de Transmitere a Informației, CompTek a creat un dicționar de căutare care a ținut cont de morfologia limbii ruse. În 1994, a fost creată Biblia Computer Reference Book.

În 1995, s-a decis să se utilizeze o aplicație de căutare pentru Internet. La început a funcționat cu un număr limitat de resurse, iar mai târziu cu întregul segment al internetului vorbitor de limbă rusă .

Motorul de căutare Yandex.Ru a fost anunțat oficial pe 23 septembrie 1997 la expoziția Softool. Yandex nu a fost primul motor de căutare din Rusia: Rambler a apărut în 1996, și chiar mai devreme, în decembrie 1995, Altavista, iar acesta din urmă avea cel mai productiv server la acea vreme și se distingea prin cea mai mare viteză de operare dintre concurenții săi, procesând milioane. de cereri pe zi. La două luni după yandex.ru, a fost anunțat sistemul de căutare Aport (deși a fost demonstrat pentru prima dată în februarie 1996).

Până la jumătatea anului 1999, Yandex era unul dintre cele mai populare șapte site-uri de pe Runet; Veniturile Yandex ca divizie a CompTek în acest an au fost de 72 mii USD.

Figura 2-Sala de întâlniri din biroul Yandex.

Yandex Browser a fost lansat în 2012. În curând programul va primi localizări turcești și ucrainene.

Caracteristicile motorului de căutare Yandex

Motorul de căutare Yandex, conform clasamentului motoarelor de căutare, este al patrulea cel mai mare serviciu de căutare din lume în ceea ce privește numărul de interogări de căutare procesate (mai mult de 4,5 miliarde pe lună) și primul cel mai mare server de căutare în altă limbă engleză. . Cifra de afaceri a companiei, conform clasamentelor motoarelor de căutare, în 2012 s-a ridicat la 28,8 miliarde de ruble, iar profitul net - 8,22 miliarde de ruble.

Motorul de căutare Yandex.ru a fost anunțat oficial pe 23 septembrie 1997 și a fost dezvoltat pentru prima dată în cadrul CompTek International. Yandex a fost înființată ca o companie separată în 2000. Compania a atins autosuficiența în 2002, cifra de afaceri pentru 2008 a fost de peste 300 de milioane de dolari. Cifra de afaceri pentru 2006 - 72,6 milioane de dolari, profit net - 29,9 milioane, pentru 2005 - 35,6 milioane de dolari, profit net - 13,6 milioane.

Yandex își îmbunătățește constant algoritmii de căutare, ceea ce îi permite să îndeplinească criteriile moderne de căutare și să devină la nivelul Google, cel puțin în Rusia. De exemplu, pe 9 septembrie 2013, Yandex a lansat o nouă căutare de imagini (Google avea deja una similară). Deocamdată, acesta este cazul, judecând după nivelul de adoptare a ambelor motoare de căutare de către publicul CSI. Yandex, ca și Google, operează pe un sistem de cluster pentru organizarea rețelelor de calculatoare. Fiecare cluster este responsabil pentru un anumit segment de informații stocate. Acest lucru, la rândul său, permite optimizatorilor să asigure promovarea eficientă a site-urilor în motoarele de căutare în rezultatele căutării.

Există 2 tipuri de crawler-uri pentru motoarele de căutare:

robot de scanare principal

un robot rapid care scanează în mod regulat site-urile în care informațiile sunt actualizate foarte des și introduce informații de pe aceste site-uri în motorul de căutare, ceea ce asigură actualizarea rapidă a indexului motorului de căutare. Actualizările (actualizările) ale motorului de căutare sunt de 2 tipuri:

Căutați actualizări de baze de date. Se întâmplă de mai multe ori pe lună. Căutarea începe să afișeze pagini web actualizate colectate de robotul principal de scanare.

Actualizări ale software-ului motorului de căutare. Esența acestor actualizări este schimbarea algoritmilor de clasare a documentelor în motorul de căutare. De obicei, astfel de actualizări sunt anunțate și li se dau nume specifice.

„Yandex” ia în considerare morfologia limbii ruse (un sistem puternic pentru determinarea formelor de cuvinte), are capacitatea de a restrânge interogarea la cea mai precisă folosind formule speciale de căutare și geotargeting, are un algoritm bine dezvoltat pentru evaluarea relevanței de documente (acuratețea relației dintre textul documentului și interogarea de căutare), și are o viteză mare de răspuns la solicitări și absența virtuală a supraîncărcărilor de server. În mâinile capabile ale unui optimizator, un astfel de algoritm vă permite să rezolvați problema cum să promovați gratuit un site web în rezultatele căutării.

Popularitate

La începutul anului 2013, Yandex este al patrulea motor de căutare de pe planetă cu 4,84 miliarde de interogări de căutare. Conform acestui indicator, rămâne doar în urma Google, Baidu și Yahoo!. Mai mult, trebuie remarcat faptul că Yandex este motorul de căutare cu cea mai rapidă creștere dintre primele cinci, cu 28% în 2012. Cota de piata RuNet este de 60,5%. Numărul de interogări zilnice de căutare este (la sfârșitul anului 2013) de 250 de milioane.

Tabelul 1 Indicatori pentru 2002 și 2012

La începutul anului 2010, Yandex a indexat 10 miliarde de pagini. Într-un interviu din 2012, șeful companiei, Arkady Volozh, a anunțat extinderea căutării pe internetul global și lansarea unei tehnologii care va permite „indexarea mai multor zeci de miliarde de pagini”.

Pagina cu rezultatele căutării a fost descărcată de 130 de milioane de ori pe zi în 2012.

În 2008, Yandex a fost al nouălea motor de căutare din lume, în 2009 - al șaptelea, în 2013 - al patrulea.

Potrivit lui Igor Ashmanov, „acum Yandex caută mai bine în Runet decât pe Google”.

Potrivit studiului „Calitatea motoarelor de căutare și căutare în RuNet” din 6 aprilie 2011, Yandex este lider pe piața rusă în navigație și căutare tematică, în numărul de documente indexate, în calitatea căutării regionale și nivelul de spam de căutare în rezultatul său este scăzut.

management

Figura 3-Arkady Volozh

Figura 4-Ilya Segalovici - Director de tehnologie și dezvoltare

Arkady Volozh - director general.

Ilya Segalovici (1964-2013) - director de tehnologie și dezvoltare.

Alexander Shulgin - director financiar

Alexey Tretyakov - director comercial.

Andrey Sebrant - Director de Marketing Servicii.

Ekaterina Fadeeva - Director de afaceri juridice.

Arkady Borkovsky - director tehnic al Yandex Labs

Maxim Kiselev - Director de dezvoltare a afacerii

Informații conexe.