Công cụ tìm kiếm nổi tiếng. Công cụ tìm kiếm hoạt động như thế nào?

Được biết, người dùng đến một trang web từ các công cụ tìm kiếm cung cấp tới 40% lưu lượng truy cập. Vì vậy, việc quan tâm đến việc lập chỉ mục chính xác trang web của bạn trong các công cụ tìm kiếm là rất hữu ích. Bằng cách “lập chỉ mục chính xác”, ý tôi là sự liên quan của truy vấn và nội dung của trang web phải được tôn trọng, tức là, một cách đơn giản và ngôn ngữ có thể truy cập, nội dung của trang web phải tương ứng với yêu cầu (một số “bậc thầy” lạm dụng bộ từ khóa không phù hợp với thực tế. Ví dụ: khi chị tôi đang chuẩn bị phát hành một đĩa CD có các bản sao cục bộ của các cấp trang Web đầu tiên, từ “x#y” và những từ khác tương tự xuất hiện trên máy chủ của các công ty rất có uy tín nhưng không có gì chung với loại này từ vựng :-).

• Altavista
• Tìm nạp-tìm kiếm
• ngôn ngữ trung gian
• Người nói huyên thuyên
• RusThông tinDầu
• Nga Express
• Tìm kiếm cơ thể
• HotBot
• Yandex

Tại sao tôi liệt kê các công cụ tìm kiếm cụ thể này? Bởi vì, theo quan sát của tôi, đây là những thứ mà cư dân mạng nói tiếng Nga sử dụng. "Quan sát của tôi" là gì? Đây là bản phân tích nhật ký truy cập vào máy chủ của tôi http://citforum.ru/, chính xác hơn là một phần nhật ký nơi thông tin về HTTP_REFERER được thu thập, tức là. địa chỉ (URL) nơi khách hàng sử dụng liên kết đến bất kỳ trang nào trên máy chủ của tôi.

Đánh giá các loại máy mình liệt kê trên thực tế ra sao, máy nào dùng nhiều, máy nào ít?

Altavista đứng ở vị trí đầu tiên với khoảng cách rất lớn so với phần còn lại. Công cụ tìm kiếm này đã dẫn đầu ngay cả trước khi tìm kiếm bằng ngôn ngữ khác nhau(kể cả theo tài liệu tiếng Nga). Chà, điều đó có thể hiểu được - một máy chủ tuyệt vời, dễ truy cập, đã hoạt động được một thời gian dài (kể từ đầu năm 1996), căn cứ khổng lồ tài liệu (trên 50 triệu địa chỉ). Cũng cần lưu ý rằng người dùng nói tiếng Nga không chỉ ở Nga mà còn ở Bulgaria, Cộng hòa Séc và Slovakia, Ba Lan, Israel, Đức, chưa kể các nước cộng hòa cũ của Liên Xô - Ukraine, Belarus. .. (Tôi đặc biệt muốn nói về các quốc gia vùng Baltic: Chính họ, khi gặp nhau trên đường phố của một số Kaunas hoặc Tallinn, không biết tiếng Nga, nhưng trước màn hình, đặc biệt nếu điều đó thực sự cần thiết, họ thực sự biết :-)) Vì vậy, đối với tất cả những người dùng này, việc sử dụng Altavista sẽ thuận tiện hơn chứ không phải ô tô nội địa của chúng tôi - gần hơn, vẫn...

Kỳ lạ thay, công cụ tìm kiếm phổ biến nhất tiếp theo lại là công cụ tìm kiếm trẻ nhất ở Nga - Yandex. Như Aleksey Amilyushchenko (công ty Comptek) đã nói với tôi, ngày nay có trung bình 72.000 yêu cầu mỗi ngày và có xu hướng +10% mỗi tuần (dữ liệu từ ngày 04/07/98). Đối với tôi, có vẻ như Yandex là công cụ tìm kiếm hứa hẹn nhất của Nga. Với hệ thống phân tích ngôn ngữ Nga "vĩ đại và hùng mạnh" của Comptek, Yandex rất có thể sẽ giành chiến thắng trong cuộc cạnh tranh với con cá voi thứ hai trong lĩnh vực này - Rambler.

Rambler là công cụ tìm kiếm nghiêm túc thứ ba dành cho người dùng nói tiếng Nga. Điều chính tôi không thích ở nó là nó bỏ qua nội dung của cấu trúc . (Tôi không nghĩ ra điều này, điều này đã được nói bởi Dmitry Kryukov từ Stack Ltd.) Có lẽ, chính vì việc từ chối tính đến các từ khóa mà một tập hợp liên kết kỳ lạ như vậy mới được hiển thị trong kết quả truy vấn. Hạn chế thứ hai của bản chất giao diện thuần túy là kết quả liên tục được đưa ra dưới dạng mã hóa KOI, bất kể người dùng đã chọn gì trước đó. Hạn chế thứ ba: Nhện Rambler hoạt động trên Giao thức HTTP 0.9, dẫn đến lỗi lập chỉ mục, tức là. nếu nhiều người sống trên cùng một địa chỉ IP máy chủ ảo, Rambler chỉ nhìn thấy cái đầu tiên và coi tất cả những cái khác chỉ đơn giản là từ đồng nghĩa. Ồ, hãy hy vọng điều này sẽ sớm được khắc phục.

Vậy thì nơi cuối cùng Theo đánh giá của tôi, có Aport-Search, lập chỉ mục các máy chủ rất kỳ lạ, RusInfOil, thường xuyên đóng cửa để xây dựng lại và TELA-Search - một tiện ích đẹp và gần như vô dụng dành cho máy chủ www.dux.ru.

Bạn có thể hỏi: HotBot và công cụ tìm kiếm siêu dữ liệu Pathfinder của Medialingua có nằm trong danh sách không? Tôi không quên chúng, chỉ là HotBot, vì một lý do không rõ nào đó, đã để lại rất nhiều mục trong nhật ký của tôi, đó không thể là những chuyến bay ngẫu nhiên của những người nước ngoài không hiểu tiếng Nga (có rất ít chuyến bay như vậy từ các nước khác). máy nhập khẩu) và tôi vẫn chưa nghiên cứu “Pathfinder” một cách nghiêm túc.

Tại sao công cụ tìm kiếm cần quảng bá một trang web?

Rất đơn giản, như tôi đã nói, các công cụ tìm kiếm có thể cung cấp tới 40% lưu lượng truy cập cho một trang web. Và để điều này xảy ra, điều cần thiết là trang web của bạn phải được lập chỉ mục chính xác và để làm được điều này, bạn cần biết cách thực hiện việc này.

Và điều này được thực hiện theo cách sau: chính rô-bốt công cụ tìm kiếm sẽ truy cập trang web của bạn hoặc chính bạn chỉ ra trang web đó trong giao diện thích hợp (AddUrl), giao diện này có trong bất kỳ công cụ tìm kiếm tự trọng nào. Tùy chọn đầu tiên bị chậm trễ (robot vẫn sẽ đến đó, có thể trong một ngày, có thể trong một năm: Internet rất lớn). Cách thứ hai đòi hỏi phải dành chút thời gian (nhiều phần mềm khác nhau để đăng ký tự động Trang web của bạn không cung cấp cho chúng tôi bất kỳ thứ gì trong đám mây của công cụ tìm kiếm - máy được nhập khẩu).

Để mọi việc diễn ra trong tốt nhất của mình yêu cầu:

• nên có ít nhất một số văn bản trên trang web. Công cụ tìm kiếm bỏ qua hình ảnh và kiểm tra chúng. Đúng, bạn có thể sao chép văn bản trong thuộc tính alt gắn thẻ hình ảnh
• Mỗi tài liệu trang web PHẢI chứa tiêu đề, từ khóa và mô tả ngắn có ý nghĩa. Họ chỉ viết rằng công cụ tìm kiếm là toàn văn, nhưng thực tế không phải vậy.
• Tạo tệp robots.txt (đặc biệt nếu bạn có máy chủ riêng như www.name.ru).
• Đăng ký thủ công trong mỗi công cụ tìm kiếm mà bạn quan tâm và kiểm soát việc lập chỉ mục trang web của bạn sau đó.

Vì vậy, bạn đã đăng ký trang đầu tiên của trang web của mình trên nhiều công cụ tìm kiếm khác nhau.

Bạn có nghĩ rằng mọi thứ đã có trong hợp đồng? Cho dù nó thế nào đi chăng nữa. Nếu một liên kết đến trang web của bạn trong phản hồi của công cụ tìm kiếm được hiển thị trên màn hình thứ hai, thì “điều đó thật tệ như thể không có liên kết nào cả” (Danny Sullivan, searchenginewatch.com)

Nói cách khác, chỉ xác định trang trong AddURL là không đủ. Cần chuẩn bị trước tài liệu để đáp ứng các yêu cầu thích hợp của công cụ tìm kiếm, để đáp lại yêu cầu của nó, liên kết đến tài liệu của bạn, nếu không phải là liên kết đầu tiên thì ít nhất cũng nằm trong mười liên kết hàng đầu (hoặc sẽ tốt hơn nếu trong top 10 này có một số liên kết đến tài liệu của bạn :- ). "chuẩn bị" nghĩa là gì? Nó sạch sẽ câu hỏi kỹ thuật, không có gì siêu nhiên cả. Ngay trong phần HEAD của mỗi tài liệu trên trang web của bạn, bạn nên chỉ ra Tiêu đề, Từ khóa, Mô tả và Robots.

Tiêu đề:tiêu đề tài liệu. Một tiêu đề hay, ý nghĩa có thể khiến người dùng chọn liên kết của bạn từ nhiều người khác. Bạn thường thấy những tiêu đề như sau: “Nội dung” - cái gì, tại sao - không rõ ràng, không muốn kiểm tra. Một trường hợp khác: trên tất cả các trang của trang web, tiêu đề là “Chào mừng đến với công ty…” - việc kiểm tra tất cả các tài liệu có tiêu đề theo cách này cũng không hấp dẫn lắm. Hãy tưởng tượng rằng bạn đã chọn chế độ tìm kiếm theo tiêu đề mà không có mô tả cho từng tài liệu.

Từ khóa:từ khóa. Chính nội dung của vùng chứa này ảnh hưởng đến mức độ liên quan của tài liệu với truy vấn tìm kiếm.

Cho dù họ có nói rằng công cụ tìm kiếm là toàn văn bản đến mức nào thì điều này không hoàn toàn đúng, nhưng nội dung của vùng chứa này chắc chắn sẽ có trong chỉ mục của công cụ tìm kiếm. Thật không may, những người tạo ra một trong những công cụ tìm kiếm nội địa lớn nhất, Rambler, không muốn làm việc trên vùng chứa này. Nhưng vô ích.

• trường nội dung không được chứa dấu cuối dòng, dấu ngoặc kép, v.v. ký tự đặc biệt, chữ hoa chữ thường không quan trọng
• Không nên lặp lại cùng một từ khóa nhiều lần; điều này có thể bị coi là spam và trang có nguy cơ bị xóa khỏi chỉ mục của công cụ tìm kiếm.
• bạn không nên tạo các từ khóa giống nhau cho các trang khác nhau Trang web của bạn. Tất nhiên, điều này đơn giản hơn, nhưng bản thân nội dung của các tài liệu lại khác. Nếu bạn thực sự muốn tự động hóa quá trình này, bạn có thể viết một chương trình ghi tất cả các khối tài liệu đã chọn vào trường này, ví dụ: giữa các thẻ H, I và B.
• nếu dòng trong nội dung quá dài, không được phép tạo thêm nhiều cấu trúc tương tự.
• Nói chung, tổng khối lượng từ khóa trong một tài liệu có thể lên tới 50% khối lượng của tài liệu đó.

Sự miêu tả: Mô tả ngắn tài liệu. Một nơi chứa khá hữu ích, nội dung của nó được sử dụng như một mô tả ngắn gọn về các tài liệu có liên quan để đáp ứng các công cụ tìm kiếm hiện đại. Nếu vùng chứa này không tồn tại thì một số dòng nhất định từ đầu tài liệu sẽ được trả về. Theo đó, không có gì lạ khi JavaScript nằm ở đầu tài liệu và thay vì mô tả thông thường, chữ abracadabra được đưa ra dưới dạng một đoạn chữ viết.

• Trường nội dung không được chứa kết thúc dòng, dấu ngoặc kép hoặc các ký tự đặc biệt khác.
• Điều mong muốn là có một bản tóm tắt có ý nghĩa về tài liệu từ một vài câu của con người, để người dùng công cụ tìm kiếm ngoài tiêu đề có thể hiểu được ý nghĩa của tài liệu.
• Thật không may, các công cụ tìm kiếm trong nước vẫn chưa biết cách làm việc với vùng chứa này, mặc dù họ hứa rằng họ sẽ sớm tìm hiểu.

Có thể kiểm soát hành động của công cụ tìm kiếm?

Điều đó là có thể, và thậm chí là cần thiết! Hành động đầu tiên cần thực hiện cho việc này là viết một tệp robots.txt và đặt nó vào thư mục gốc của máy chủ của bạn. Tệp này giải thích phổ biến cho robot công cụ tìm kiếm những gì nên được lập chỉ mục và những gì không nên lập chỉ mục. Ví dụ: tại sao phải lập chỉ mục các tệp dịch vụ, chẳng hạn như báo cáo thống kê? Hoặc kết quả của kịch bản? Hơn nữa, nhiều máy “thông minh” sẽ không lập chỉ mục các máy chủ nếu không tìm thấy robots.txt. Nhân tiện, trong tệp này, bạn có thể chỉ định các mặt nạ lập chỉ mục khác nhau cho các công cụ tìm kiếm khác nhau.

Bạn có thể đọc thêm về điều này trong bản dịch "Tiêu chuẩn loại trừ robot" của tôi. Hành động thứ hai: cung cấp cho các trang của trang web thẻ Robots META. Đây là công cụ kiểm soát lập chỉ mục linh hoạt hơn robots.txt. Đặc biệt, trong thẻ này, bạn có thể hướng dẫn robot công cụ tìm kiếm không đi theo các liên kết đến các máy chủ khác, chẳng hạn như trong các tài liệu có danh sách liên kết. Định dạng của mớ hỗn độn này như sau:

robot_terms là danh sách các từ khóa sau được phân tách bằng dấu phẩy (ký tự viết hoa hoặc viết thường không quan trọng): ALL, NONE, INDEX, NOINDEX, FOLLOW, NOFOLLOW. KHÔNG CÓ yêu cầu tất cả robot bỏ qua trang này khi lập chỉ mục (tương đương với việc sử dụng đồng thời từ khóa NOINDEX, NOFOLLOW). TẤT CẢ cho phép trang này và tất cả các liên kết từ nó được lập chỉ mục (tương đương với việc sử dụng đồng thời các từ khóa INDEX, FOLLOW). MỤC LỤC cho phép trang này được lập chỉ mục NOINDEX không cho phép lập chỉ mục trang này THEO cho phép tất cả các liên kết từ trang này được lập chỉ mục KHÔNG THEO không cho phép lập chỉ mục các liên kết từ trang này

Nếu thẻ meta này bị bỏ qua hoặc robot_terms không được chỉ định thì theo mặc định robot tìm kiếm hoạt động như thể robot_terms=INDEX, FOLLOW (tức là TẤT CẢ) đã được chỉ định. Nếu từ khóa TẤT CẢ được phát hiện trong NỘI DUNG, thì rô-bốt sẽ hành động tương ứng, bỏ qua các từ khóa khác có thể được chỉ định. Nếu NỘI DUNG chứa các từ khóa có ý nghĩa trái ngược nhau, ví dụ: THEO DÕI, KHÔNG THEO DÕI, thì rô-bốt sẽ hành động theo quyết định riêng của nó (trong trường hợp này là THEO).

Nếu robot_terms chỉ chứa NOINDEX thì các liên kết từ trang này sẽ không được lập chỉ mục. Nếu robot_terms chỉ chứa NOFOLLOW thì trang sẽ được lập chỉ mục và các liên kết sẽ bị bỏ qua.

Theo dõi trạng thái hiện tại của tài liệu của bạn trong chỉ mục của công cụ tìm kiếm.

Được rồi, bạn đã đọc mọi thứ ở trên và làm như vậy. Cái gì tiếp theo? Và sau đó sẽ có một cuộc kiểm tra dài, tẻ nhạt và quan trọng nhất là thường xuyên để xem mọi thứ diễn ra như thế nào. Thật đáng buồn, bạn sẽ phải chú ý đến điều này, nếu chỉ vì tài liệu đôi khi biến mất khỏi công cụ tìm kiếm. Tại sao? Tôi ước gì tôi biết... Vì vậy, trong các công cụ tìm kiếm tốt, bạn có thể xem những tài liệu nào và có bao nhiêu trong số đó thời điểm hiện tại có trong chỉ mục. Đây là cách nó được thực hiện:

Alta Vista
Trong công cụ tìm kiếm này, việc kiểm tra trạng thái URL khá đơn giản - chỉ cần nhập dòng truy vấn:

url: citforum.ru
url:citforum.ru/win/
url:citforum.ru/win/internet/index.shtml

Trong trường hợp đầu tiên, tất cả các trang máy chủ được lập chỉ mục sẽ được trả về. Trong trang thứ hai - chỉ có các trang mã hóa Windows. Trong phần thứ ba - có tệp index.shtml từ thư mục được chỉ định trong chỉ mục AltaVista không?

kích thích
Kiểm tra trạng thái của URL trong công cụ tìm kiếm Excite cũng dễ dàng như trong AltaVista. Chỉ cần gõ URL. Ví dụ:

HotBot
Trạng thái URL được kiểm tra trong công cụ tìm kiếm HotBot theo một cách hơi khác. Việc này được thực hiện như thế này:

• Nhập URL vào trường yêu cầu
• Thay đổi tùy chọn "tất cả các từ" thành "liên kết đến URL này"

Tìm kiếm thông tin
Trong công cụ tìm kiếm Infoseek, có một cách để kiểm tra trạng thái của URL: giao diện riêng biệt với một loạt các cài đặt:

Trình thu thập thông tin web
WebCrawler cung cấp khả năng kiểm tra trạng thái của URL trên một trang:

Người nói huyên thuyên
Trong công cụ tìm kiếm này, trạng thái URL có thể được kiểm tra theo hai cách.

• Trong phần "Tìm kiếm nâng cao" bằng cách chỉ định tên máy chủ làm mặt nạ ở một trong các tùy chọn 100 từ hàng đầu trên Rambler

Bộ sưu tập liên kết theo chủ đề là danh sách được biên soạn bởi một nhóm chuyên gia hoặc thậm chí là các nhà sưu tập cá nhân. Rất thường xuyên, một chủ đề có tính chuyên môn cao có thể được một chuyên gia đề cập tốt hơn so với một nhóm nhân viên từ một danh mục lớn. Có rất nhiều bộ sưu tập theo chủ đề trên Internet nên việc cung cấp địa chỉ cụ thể là vô nghĩa.

Lựa chọn tên miền

Mục lục - hệ thống tiện lợi tuy nhiên, hãy tìm kiếm để truy cập vào máy chủ Microsoft hoặc IBM, việc truy cập vào thư mục đó hầu như không có ý nghĩa gì. Không khó để đoán ra tên của trang web tương ứng: www.microsoft.com, www.ibm.com hay www.microsoft.ru, www.ibm.ru là trang web của văn phòng đại diện tại Nga của các công ty này.

Tương tự, nếu người dùng cần một trang web dành riêng cho thời tiết trên thế giới, việc tìm kiếm trang web đó trên máy chủ www.weather.com là điều hợp lý. Trong hầu hết các trường hợp, việc tìm kiếm một trang web có từ khóa trong tiêu đề sẽ hiệu quả hơn việc tìm kiếm một tài liệu sử dụng từ đó trong văn bản. Nếu một công ty thương mại (hoặc dự án) phương Tây có tên một âm tiết và triển khai máy chủ của mình trên Internet, thì tên của nó rất có thể phù hợp với định dạng www.name.com và đối với Runet (phần Internet của Nga) - www.name.ru, trong đó tên - tên của công ty hoặc dự án. Lựa chọn địa chỉ có thể cạnh tranh thành công với các phương pháp tìm kiếm khác vì khi hệ thống tương tự tìm kiếm, bạn có thể thiết lập kết nối tới máy chủ chưa được đăng ký với bất kỳ công cụ tìm kiếm nào. Tuy nhiên, nếu không tìm thấy tên mình đang tìm, bạn sẽ phải chuyển sang công cụ tìm kiếm.

Công cụ tìm kiếm

Hãy cho tôi biết bạn đang tìm kiếm gì trên Internet và tôi sẽ cho bạn biết bạn là ai

Nếu máy tính là một hệ thống cực kỳ thông minh có thể dễ dàng giải thích những gì bạn đang tìm kiếm thì nó sẽ tạo ra hai hoặc ba tài liệu - chính xác là những tài liệu bạn cần. Nhưng thật không may, điều này không phải như vậy và để đáp lại yêu cầu, người dùng thường nhận được một danh sách dài các tài liệu, nhiều tài liệu trong số đó không liên quan gì đến những gì anh ta yêu cầu. Những tài liệu như vậy được gọi là không liên quan (từ tiếng Anh có liên quan - phù hợp, có liên quan). Như vậy, tài liệu liên quan là tài liệu có chứa thông tin bạn đang tìm kiếm. Rõ ràng, tỷ lệ tài liệu liên quan nhận được phụ thuộc vào khả năng đưa ra truy vấn một cách chính xác. Tỷ lệ các tài liệu liên quan trong danh sách tất cả các tài liệu được tìm thấy bởi công cụ tìm kiếm được gọi là độ chính xác của tìm kiếm. Các tài liệu không liên quan được gọi là tiếng ồn. Nếu tất cả các tài liệu được tìm thấy đều có liên quan (không có tài liệu gây nhiễu) thì độ chính xác tìm kiếm là 100%. Nếu tất cả các tài liệu liên quan được tìm thấy thì mức độ hoàn thiện của tìm kiếm là 100%.

Do đó, chất lượng tìm kiếm được xác định bởi hai tham số phụ thuộc lẫn nhau: độ chính xác và tính đầy đủ của tìm kiếm. Việc tăng tính đầy đủ của tìm kiếm sẽ làm giảm độ chính xác và ngược lại.

Công cụ tìm kiếm hoạt động như thế nào?

Công cụ tìm kiếm có thể được so sánh với một bộ phận trợ giúp, trong đó các đại lý đi khắp các doanh nghiệp để thu thập thông tin vào cơ sở dữ liệu (Hình 4.21). Khi bạn liên hệ với dịch vụ, thông tin sẽ được lấy từ cơ sở dữ liệu này. Dữ liệu trong cơ sở dữ liệu trở nên lỗi thời nên các đại lý phải cập nhật dữ liệu đó định kỳ. Một số doanh nghiệp tự gửi thông tin về mình, đại lý không cần phải đến gặp. Nói cách khác, bàn trợ giúp có hai chức năng: tạo và cập nhật liên tục dữ liệu trong cơ sở dữ liệu và tìm kiếm thông tin trong cơ sở dữ liệu theo yêu cầu của khách hàng.

Cơm. 4.21.

Tương tự như vậy, máy tìm kiếm bao gồm hai phần: cái gọi là robot (hoặc nhện), vượt qua các máy chủ Web và hình thành cơ sở dữ liệu của công cụ tìm kiếm.

Cơ sở của robot chủ yếu được hình thành bởi chính nó (robot tự tìm thấy các liên kết đến các tài nguyên mới) và ở mức độ thấp hơn nhiều bởi các chủ sở hữu tài nguyên đăng ký trang web của họ trong công cụ tìm kiếm. Ngoài robot (tác nhân mạng, nhện, sâu) hình thành cơ sở dữ liệu, còn có một chương trình xác định xếp hạng của các liên kết được tìm thấy.

Nguyên tắc hoạt động của công cụ tìm kiếm là nó truy vấn danh mục (cơ sở dữ liệu) nội bộ của nó để tìm các từ khóa mà người dùng chỉ định trong trường truy vấn và tạo ra danh sách các liên kết được xếp hạng theo mức độ liên quan.

Cần lưu ý rằng, khi xử lý một yêu cầu cụ thể của người dùng, công cụ tìm kiếm hoạt động chính xác dựa trên các tài nguyên nội bộ (và không bắt đầu hành trình trên Web, như những người dùng thiếu kinh nghiệm thường tin) và các tài nguyên nội bộ đương nhiên bị hạn chế. Mặc dù cơ sở dữ liệu của công cụ tìm kiếm được cập nhật liên tục, máy tìm kiếm không thể lập chỉ mục tất cả các tài liệu Web: số lượng của chúng quá lớn. Do đó, luôn có khả năng tài nguyên bạn đang tìm kiếm không được một công cụ tìm kiếm cụ thể nào biết đến.

Ý tưởng này được minh họa rõ ràng trong Hình. 4.22. Hình elip 1 giới hạn tập hợp tất cả các tài liệu Web tồn tại tại một thời điểm nào đó, hình elip 2 giới hạn tất cả các tài liệu được lập chỉ mục bởi một công cụ tìm kiếm nhất định và hình elip 3 giới hạn các tài liệu được tìm kiếm. Do đó, bằng cách sử dụng công cụ tìm kiếm này, bạn chỉ có thể tìm thấy một phần tài liệu cần thiết được nó lập chỉ mục.

Vấn đề về tính đầy đủ của tìm kiếm không chỉ nằm ở nguồn tài nguyên nội bộ hạn chế của công cụ tìm kiếm mà còn ở chỗ tốc độ của robot bị hạn chế và số lượng tài liệu Web mới không ngừng tăng lên. Việc tăng tài nguyên bên trong của công cụ tìm kiếm không thể giải quyết hoàn toàn vấn đề vì tốc độ thu thập tài nguyên của robot là hữu hạn.

Đồng thời, giả sử rằng máy tìm kiếm chứa bản sao của tài nguyên Internet gốc, nó sẽ không chính xác. Đầy đủ thông tin(tài liệu nguồn) không phải lúc nào cũng được lưu trữ; thường xuyên hơn, chỉ một phần của nó được lưu trữ - cái gọi là danh sách được lập chỉ mục hoặc chỉ mục, nhỏ gọn hơn nhiều so với văn bản của tài liệu và cho phép bạn phản hồi nhanh chóng các truy vấn tìm kiếm.

Để xây dựng một chỉ mục, dữ liệu nguồn được chuyển đổi sao cho khối lượng cơ sở dữ liệu ở mức tối thiểu và việc tìm kiếm được thực hiện rất nhanh chóng và mang lại kết quả tối đa. thông tin hữu ích. Giải thích danh sách được lập chỉ mục là gì, chúng ta có thể so sánh với danh sách trên giấy của nó - cái gọi là sự phù hợp, tức là một cuốn từ điển trong đó thứ tự ABC Các từ được sử dụng bởi một nhà văn cụ thể sẽ được liệt kê, cũng như các tài liệu tham khảo về chúng và tần suất sử dụng chúng trong các tác phẩm của anh ta.

Rõ ràng, sự phù hợp (từ điển) nhỏ gọn hơn nhiều văn bản nguồn hoạt động và tìm thấy trong đó từ đúng dễ dàng hơn nhiều so với việc lật một cuốn sách với hy vọng tìm được từ thích hợp.

Xây dựng chỉ số

Sơ đồ xây dựng chỉ số được thể hiện trong hình. 4.23. Các tác nhân mạng, hay robot nhện, “thu thập dữ liệu” trên Web, phân tích nội dung của các trang Web và thu thập thông tin về những gì được tìm thấy và trên trang nào.

Khi bạn tìm thấy một trang HTML khác, hầu hết các công cụ tìm kiếm đều ghi lại các từ, hình ảnh, liên kết và các thành phần khác (trong các công cụ tìm kiếm khác nhau theo những cách khác nhau) có trên đó. Hơn nữa, khi theo dõi các từ trên một trang, không chỉ sự hiện diện của chúng được ghi lại mà còn cả vị trí của chúng, tức là. vị trí của những từ này: trong tiêu đề, phụ đề, thẻ meta 1 Thẻ meta là thẻ dịch vụ cho phép nhà phát triển đặt thông tin dịch vụ trên các trang Web, bao gồm cả để định hướng công cụ tìm kiếm.(thẻ meta) hoặc ở những nơi khác. Trong trường hợp này, chúng thường được cố định những từ có ý nghĩa, và các liên từ và thán từ như “a”, “but” và “or” bị bỏ qua. Thẻ meta cho phép chủ sở hữu trang xác định các từ khóa và chủ đề mà trang được lập chỉ mục. Điều này có thể có liên quan khi từ khóa có nhiều ý nghĩa. Thẻ meta có thể hướng dẫn công cụ tìm kiếm khi chọn từ nhiều nghĩa của một từ cho đến nghĩa duy nhất đúng. Tuy nhiên, thẻ meta chỉ hoạt động đáng tin cậy nếu chúng được điền bởi chủ sở hữu trang web trung thực. Những chủ sở hữu trang web vô đạo đức đã đưa những từ phổ biến nhất trên Web vào thẻ meta của họ, những từ này không liên quan gì đến chủ đề của trang web. Kết quả là, khách truy cập sẽ truy cập vào các trang web không được yêu cầu, do đó thứ hạng của họ sẽ tăng lên. Đây là lý do tại sao nhiều công cụ tìm kiếm hiện đại bỏ qua các thẻ meta hoặc coi chúng là phần bổ sung cho văn bản trang. Mỗi robot duy trì danh sách tài nguyên riêng bị trừng phạt vì quảng cáo sai sự thật.

Rõ ràng, nếu bạn tìm kiếm các trang web sử dụng từ khóa "dog", thì công cụ tìm kiếm không chỉ phải tìm tất cả các trang có đề cập đến từ "dog" mà cả những trang có từ này liên quan đến chủ đề của trang web. Để xác định mức độ liên quan của một từ cụ thể đến hồ sơ của một trang Web nhất định, cần đánh giá tần suất nó xuất hiện trên trang, liệu có Từ này liên kết đến các trang khác hay không. Tóm lại, bạn cần xếp hạng các từ tìm thấy trên trang theo thứ tự tầm quan trọng. Các từ được gán trọng số tùy thuộc vào số lần và vị trí chúng xuất hiện (trong tiêu đề trang, ở đầu hoặc cuối trang, trong liên kết, trong thẻ meta, v.v.). Mỗi công cụ tìm kiếm có thuật toán riêng để gán hệ số trọng số - đây là một trong những lý do khiến công cụ tìm kiếm trả về kết quả cho cùng một từ khóa danh sách khác nhau tài nguyên. Vì các trang được cập nhật liên tục nên quá trình lập chỉ mục phải diễn ra liên tục. Spiderbot đi theo các liên kết và tạo một tệp chứa chỉ mục, tệp này có thể khá lớn. Để giảm kích thước của nó, họ sử dụng cách giảm thiểu lượng thông tin và nén tệp. Với nhiều robot, công cụ tìm kiếm có thể xử lý hàng trăm trang mỗi giây. Ngày nay, các công cụ tìm kiếm mạnh mẽ lưu trữ hàng trăm triệu trang và nhận được hàng chục triệu truy vấn mỗi ngày.

Khi xây dựng chỉ mục, vấn đề giảm số lượng trùng lặp cũng được giải quyết - một nhiệm vụ không hề nhỏ, vì để so sánh chính xác, trước tiên bạn phải xác định mã hóa tài liệu. Thậm chí nhiều hơn nhiệm vụ đầy thử thách là sự phân tách các tài liệu rất giống nhau (chúng được gọi là “gần như trùng lặp”), ví dụ những tài liệu trong đó chỉ có tiêu đề khác nhau và văn bản bị trùng lặp. Có rất nhiều tài liệu tương tự trên Internet - ví dụ: ai đó đã sao chép một bản tóm tắt và xuất bản nó trên trang web có chữ ký của anh ấy. Hiện đại công cụ tìm kiếm cho phép chúng tôi giải quyết những vấn đề như vậy.

Tất nhiên, danh sách các công cụ tìm kiếm phổ biến không dừng lại ở đó – số lượng của chúng lên tới hàng trăm. Tuy nhiên, tôi chắc chắn rằng những điều này sẽ là quá đủ để bạn làm việc với các trang web tiếng Anh.

Cần lưu ý rằng hầu hết tất cả các công cụ tìm kiếm được trình bày ở trên đều có thể hoạt động với bảng chữ cái Cyrillic. Nhưng để tìm kiếm thông tin bằng tiếng Nga, tôi vẫn khuyên dùng các công cụ tìm kiếm trong nước:

Có những công cụ tìm kiếm bằng tiếng Nga khác, nhưng đây là những công cụ phổ biến nhất, đặc biệt là hai công cụ đầu tiên.

Cơm. 4.1. Máy tìm kiếm hệ thống Google