Hàng đợi để lập chỉ mục. Cách yêu cầu quét lại các trang. Công cụ tìm kiếm nước ngoài
Để thuận tiện cho quản trị viên web và công cụ tìm kiếm, một định dạng sơ đồ trang web đặc biệt đã được phát triển - sơ đồ trang web. Đây là danh sách các liên kết đến các trang nội bộ của trang web, được trình bày ở định dạng XML. Định dạng này cũng được Yandex hỗ trợ. Trong một phần đặc biệt của dịch vụ, bạn có thể tải xuống sơ đồ trang web cho trang web của mình. Điều này sẽ cho phép bạn tác động đến mức độ ưu tiên của rô-bốt thu thập dữ liệu một số trang trên trang web của bạn. Ví dụ: nếu một số trang được cập nhật thường xuyên hơn các trang khác, bạn nên cho biết thông tin này để robot Yandex lên kế hoạch hoạt động chính xác.
Yandex lập chỉ mục các loại tài liệu chính được phân phối trên Internet. Nhưng có những hạn chế xác định cách tài liệu sẽ được lập chỉ mục và liệu nó có được lập chỉ mục hay không:
Một số lượng lớn các tham số cgi trong một URL, một số lượng lớn các thư mục con trùng lặp và tổng chiều dài URL quá dài có thể dẫn đến việc lập chỉ mục tài liệu kém.
Kích thước của tài liệu rất quan trọng đối với việc lập chỉ mục - các tài liệu lớn hơn 10MB sẽ không được lập chỉ mục.
Lập chỉ mục flash:
Các tệp *.swf được lập chỉ mục nếu chúng có liên kết trực tiếp hoặc được nhúng trong html với thẻ đối tượng hoặc thẻ nhúng;
nếu flash chứa nội dung hữu ích thì tài liệu html gốc có thể được tìm thấy theo nội dung được lập chỉ mục trong tệp swf.
Trong tài liệu PDF, chỉ nội dung văn bản được lập chỉ mục. Văn bản được trình bày dưới dạng hình ảnh không được lập chỉ mục.
Yandex lập chỉ mục chính xác các tài liệu ở định dạng Open Office XML và OpenDocument (đặc biệt là các tài liệu Microsoft Office và Open Office). Nhưng hãy nhớ rằng việc triển khai hỗ trợ cho các định dạng mới có thể mất một thời gian.
Có thể chấp nhận sử dụng thẻ
Nếu bạn đã ghi đè hành vi của máy chủ đối với các URL không tồn tại, hãy đảm bảo rằng máy chủ trả về mã lỗi 404. Khi công cụ tìm kiếm nhận được mã phản hồi 404, nó sẽ xóa tài liệu khỏi chỉ mục của nó. Đảm bảo rằng tất cả các trang cần thiết trên trang web đều hiển thị mã 200 OK.
Yandex Webmaster cho phép bạn:
- thêm sơ đồ trang web;
- cập nhật;
- xóa bỏ;
- phân tích.
Cách thêm Sơ đồ trang web vào Yandex Webmaster
Để thêm tệp Sơ đồ trang web vào hàng đợi lập chỉ mục, như mọi khi, bạn cần truy cập dịch vụ Quản trị trang web - webmaster.yandex.ru. Hơn nữa:
- Trong phần Lập chỉ mục, bạn sẽ tìm thấy tùy chọn Sơ đồ trang web.
- Thêm địa chỉ đầy đủ của tệp Sơ đồ trang web, ví dụ: https://site/sitemap.xml.
- Nhấp vào Thêm.
- Đợi trong khi Yandex Webmaster kiểm tra tệp.
Sau khi thêm, tập tin sẽ được xếp hàng để xử lý. Robot sẽ thêm nó trong vòng hai tuần. Mỗi tệp được thêm vào, bao gồm cả những tệp được đính kèm với chỉ mục Sơ đồ trang web, đều được robot xử lý riêng biệt.
Sau khi tải, đối diện với mỗi sơ đồ trang web, bạn sẽ thấy một trong các trạng thái trong Yandex Webmaster:
| Trạng thái | Sự miêu tả | Ghi chú |
|---|---|---|
| "ĐƯỢC RỒI" | Tệp được định dạng chính xác và được tải vào cơ sở dữ liệu robot | Ngày tải xuống cuối cùng sẽ được hiển thị bên cạnh tệp. Các trang được lập chỉ mục sẽ xuất hiện trong kết quả tìm kiếm trong vòng hai tuần |
| « » | URL được chỉ định chuyển hướng đến một địa chỉ khác | Xóa chuyển hướng và thông báo cho robot về bản cập nhật |
| "Lỗi" | Tệp không được định dạng chính xác | Nhấp vào liên kết Lỗi để biết thêm chi tiết. Sau khi thực hiện thay đổi đối với tệp, hãy thông báo cho robot về bản cập nhật |
| "Không được lập chỉ mục" | Khi truy cập Sơ đồ trang web, máy chủ trả về mã HTTP khác 200 | Kiểm tra xem tệp có sẵn cho robot hay không bằng cách sử dụng công cụ Kiểm tra phản hồi của máy chủ, chỉ định đường dẫn đầy đủ đến tệp. Nếu tệp không có sẵn, hãy liên hệ với quản trị viên của trang web hoặc máy chủ nơi đặt tệp. Nếu tệp có sẵn , thông báo cho robot về bản cập nhật |
| Quyền truy cập vào tệp bị từ chối trong robots.txt bằng lệnh Disallow | Cho phép truy cập vào Sơ đồ trang web và thông báo cho robot về bản cập nhật |
Cập nhật sơ đồ trang web
Khi có thay đổi đối với Sơ đồ trang web, bạn không cần phải xóa nó khỏi Yandex Webmaster và thêm lại. Công cụ tìm kiếm thỉnh thoảng tự kiểm tra nó để tìm những thay đổi và lỗi.
Nếu Sơ đồ trang web của bạn không được lập chỉ mục thì việc này có thể được tăng tốc. Bạn cần vào phần “Lập chỉ mục”, sau đó đến mục “Tệp sơ đồ trang web”. Nhấp vào biểu tượng cập nhật đối diện với sơ đồ trang web. Yandex sẽ tải dữ liệu xuống trong vòng ba ngày. Bạn có thể sử dụng chức năng này tối đa 10 lần cho một máy chủ.
Khi bạn đã sử dụng hết tất cả các lần thử, lần tiếp theo sẽ có sau lần thử đầu tiên 30 ngày. Ngày chính xác được hiển thị trong giao diện Webmaster.
Xóa Sơ đồ trang web khỏi Quản trị viên web
Trong giao diện Yandex.Webmaster, bạn có thể xóa các tệp đã được thêm trên trang “Tệp sơ đồ trang web”:
Nếu một lệnh đã được thêm vào Sơ đồ trang web trong tệp robots.txt của bạn, hãy xóa lệnh đó. Sau khi thực hiện thay đổi, thông tin về Sơ đồ trang web sẽ biến mất khỏi robot và cơ sở dữ liệu Yandex.Webmaster trong vòng vài tuần.
Các định dạng được Yandex Webmaster hỗ trợ
Yandex chấp nhận Sơ đồ trang web ở các định dạng sau:
Định dạng Sơ đồ trang web XML
Tốt nhất là truyền ở định dạng XML, bởi vì nó có thể chứa dữ liệu bổ sung.
Yandex hỗ trợ giao thức Sơ đồ trang web. Sử dụng định dạng này nếu bạn muốn báo cáo:
- ngày cập nhật trang cuối cùng (phần tử mod cuối cùng);
- tần suất thay đổi trang (phần tử tần số thay đổi);
- tầm quan trọng của trang (yếu tố ưu tiên) - robot tải từng trang một, có tính đến sự hiện diện và giá trị của hệ số từ 0,0 đến 1,0. Chỉ định hệ số cho những URL quan trọng nhất đối với trang web.
Sơ đồ trang web định dạng TXT
Ở định dạng này, bạn chỉ có thể truyền địa chỉ trang. Đó là tất cả. Vâng, buồn và phiền, tốt hơn nên sử dụng XML :)
Chỉ sử dụng định dạng này để báo cáo địa chỉ trang.
https://site/ssylki-v-yandex-webmaster/ https://site/zerkala-sajta-v-yandex-webmaster/
Để truyền thông tin về video, hãy chỉ định các liên kết đến nguồn cấp dữ liệu XML trong Sơ đồ trang web (xem chi tiết trong Trợ giúp dịch vụ Ya.Video).
Tìm kiếm không hỗ trợ chia sẻ thông tin hình ảnh, RSS và nguồn cấp dữ liệu Atom bằng Sơ đồ trang web.
Khi nào cần có Sơ đồ trang web?
Yandex đang phát triển các thuật toán đặc biệt để robot lập chỉ mục tìm hiểu về trang web. Ví dụ: sử dụng liên kết nội bộ và bên ngoài - di chuyển từ trang này sang trang khác. Đôi khi robot có thể bỏ qua các trang. Sử dụng Sơ đồ trang web nếu trang web của bạn:
- một số lượng lớn các trang;
- các trang riêng lẻ không có liên kết điều hướng;
- làm tổ sâu.
Cách tạo một tập tin
Thêm Sitemap.xml vào Yandex Webmaster - video
Thông thường, khoảng thời gian trung bình để Yandex lập chỉ mục là 1–2 tuần.
Một số blog được lập chỉ mục nhanh hơn nhiều. Các bài đăng mà tôi xuất bản trên blog của mình được Yandex lập chỉ mục trong vòng hai giờ hoặc thậm chí trong vòng hai phút. Nhưng vẫn có những ngoại lệ.
Điều này đã xảy ra với hai trang " Viết văn thế nào để lên top?"(14/04/2011) và " iForum 2011. Điều gì đã xảy ra trong năm nay"(18/04/2011). Có chuyện gì với họ vậy? Tại sao chúng không có trong chỉ mục? Đã bao nhiêu thời gian trôi qua rồi.
Tôi đã đăng lại nó trên Twitter và đăng liên kết trên hai blog khác và sử dụng biểu mẫu thêm //webmaster.yandex.ru/site/add.xml.
Xin chào.
Xin vui lòng cho tôi biết lý do có thể là gì.
Trân trọng, Ilya.
Câu trả lời của Plato nhanh chóng đến:
Xin chào, Ilya!
Trang được chỉ định đã được robot lập chỉ mục và sẽ xuất hiện trong kết quả tìm kiếm sau lần cập nhật tiếp theo của cơ sở dữ liệu tìm kiếm. Vui lòng đợi thêm vài ngày nữa.
—
Trân trọng, Platon Shchukin
Dịch vụ hỗ trợ Yandex
trợ giúp.yandex.ru
Thành thật mà nói, tôi được an ủi bởi câu trả lời này. Nhưng sau khi cập nhật kết quả tìm kiếm Yandex xảy ra vào ngày 29 tháng 4 năm 2011, tôi lại lo lắng. Những trang này không bao giờ xuất hiện trong kết quả tìm kiếm. Nhưng tại sao? Có chuyện gì với họ vậy? Khuyến mãi là không thể tránh khỏi chỉ với các liên kết được lập chỉ mục. Mặt khác, chúng đơn giản là không được tính đến, mặc dù chúng đã được đăng trên trang.
Nhân tiện, Google đã lập chỉ mục cả hai tài liệu.
Được rồi, trong khi Yandex đang cập nhật cơ sở dữ liệu kết quả tìm kiếm của mình, tôi mang đến cho bạn một video tuyệt vời về các công nghệ tương lai được chế tạo trên kính. Về nguyên tắc, tôi nghĩ các website cũng sẽ phát triển theo hướng này. Đặc biệt, giao diện và dẫn đường Bây giờ đã có một phần trông như thế này rồi.
tái bút Tôi đã kiểm tra vào ngày 30 tháng 4 - các trang đã có trong chỉ mục Yandex. Bản sao của những trang này đã được lưu vào ngày 24 tháng 4 năm 2011. Hoan hô!
Mọi thứ không phải lúc nào cũng tốt với các trang web mới. Yandex lập chỉ mục chúng rất chậm. Yandex.Webmaster nói:
Trang web của bạn không được Yandex lập chỉ mục. (Trang web đã được thêm thành công vào hàng đợi lập chỉ mục)
Nếu trang web này mới và trước đó robot chưa biết đến, thì sau khi thêm nó vào dịch vụ Yandex.Webmaster, nó sẽ bắt đầu được lập chỉ mục và sau đó xuất hiện trong tìm kiếm. Điều này thường xảy ra trong vòng hai tuần kể từ thời điểm trang web được thêm vào.
Yandex.Webmaster viết rằng trang này không được lập chỉ mục vì nó mới, nhưng đồng thời nó có thể lập chỉ mục 2 trang. Đó là lý do tại sao, đối với các cuộc thi “Khuyến mãi là điều không thể tránh khỏi”, các cuộc thi được tổ chức trên Google tiếng Nga.
Khi thêm một trang web mới vào Yandex.Webmaster, một thông báo xuất hiện cho biết trang web đó đã được thêm vào hàng đợi lập chỉ mục. Sau hai hoặc ba ngày đã có những thay đổi:
Trang web đã bắt đầu được lập chỉ mục. Các trang sẽ xuất hiện trong tìm kiếm sau 1-2 lần cập nhật cơ sở dữ liệu tìm kiếm. Việc tìm kiếm có thể chứa các trang được lập chỉ mục bởi một robot nhanh.
Do sự chậm trễ của các bản cập nhật mới nhất, Yandex được hỏi những câu hỏi mà nó đưa ra câu trả lời đầy đủ thông tin
Còn về số liệu thống kê của up thì hiển thị ở dạng bảng.
Tần suất cập nhật Yandex còn nhiều điều đáng mong đợi Cách tăng tốc độ lập chỉ mục trang web
Và cuối cùng, một mẹo nhỏ về cách tăng tốc độ lập chỉ mục trang web. Bạn chỉ cần lấy một vài liên kết bên ngoài đậm nét đến trang bạn cần (ví dụ: một bài viết mới trên blog của bạn). Điều quan trọng là các liên kết đến từ các trang web đáng tin cậy và các nhóm mạng xã hội (theo chủ đề) phổ biến, trong đó
Trong hướng dẫn này, chúng tôi sẽ xem xét vấn đề thêm trang web mới của chúng tôi để lập chỉ mục cho các công cụ tìm kiếm khác nhau.
Tôi quyết định đề cập đến cả những công cụ tìm kiếm phổ biến và những công cụ mà có thể bạn chưa từng nghe đến.
Lập chỉ mục trang web trong Yandex
Để thêm một trang web để lập chỉ mục, chỉ cần nhập url của trang chính và hình ảnh xác thực. Captcha là một số số bảo vệ chống lại việc đăng ký tự động. Sau khi bạn nhấp vào nút “thêm”, có thể có một số tùy chọn để phát triển sự kiện.
1) Thông báo “trang web của bạn đã được thêm” báo hiệu việc bổ sung thành công tài nguyên vào hàng đợi lập chỉ mục trong Yandex.
2) Nếu thông báo “Dịch vụ lưu trữ của bạn không phản hồi” xuất hiện, điều đó có nghĩa là máy chủ của bạn hiện đang ngừng hoạt động. Bạn có thể thử thêm trang web sau hoặc tìm dịch vụ lưu trữ tốt hơn.
3) Nhưng nếu một thông báo xuất hiện rằng “URL được chỉ định bị cấm lập chỉ mục”, thì mọi thứ thật tồi tệ. Điều này cho thấy rằng các lệnh trừng phạt đã được áp dụng đối với tài nguyên của bạn dưới hình thức cấm trang web. Rất có thể miền bạn mua đã có sẵn một trang web bị trừng phạt. Bằng cách sử dụng addurl, quản trị viên web thường kiểm tra các trang web để tìm lệnh cấm trong Yandex.
Lập chỉ mục trang web trong Google (Google)
Công cụ tìm kiếm quan trọng tiếp theo cho trang web của chúng tôi là Google. Quá trình thêm một trang web vào chỉ mục trong Google hoàn toàn giống như trên Yandex. Google cũng có adurilka của riêng mình, được đặt tại: https://www.google.com/webmasters/tools/submit-url.
Bạn cũng cần nhập hình ảnh xác thực khi thêm. Nhưng có hai điểm khác biệt. Nếu trong Yandex, bạn có thể chỉ cần thêm URL mà không cần thực hiện các chuyển động không cần thiết, thì trong Google, bạn cần phải đăng nhập vào tài khoản của mình. Nếu không nó sẽ không hoạt động. Theo đó, nếu bạn chưa có tài khoản ở đó, bạn sẽ phải tạo một tài khoản. Sự khác biệt thứ hai giữa Google và Yandex là tốc độ lập chỉ mục. Google lập chỉ mục các trang web rất nhanh chóng.
Lập chỉ mục trang web trong Rambler (Rambler.ru)
Tất nhiên, Rambler không còn như trước đây như nhiều người sẽ nói và cung cấp rất ít lưu lượng truy cập. Và dù sao đi nữa, tại sao lại bỏ bê họ? Quá trình lập chỉ mục trang web trong Rambler là lâu nhất trong số các công cụ tìm kiếm trong nước khác. Và adurilka của anh ấy đã lâu không hoạt động, đó là tại: robot.rambler.ru/cgi-bin/addsite.cgi
Anh ấy đã sử dụng cơ sở dữ liệu tìm kiếm Yandex từ lâu. Vì vậy, để vào được chỉ mục Rambler.ru, chỉ cần thêm vào Yandex là đủ.
Lập chỉ mục trang web trong Mail.ru (Mail)
Công cụ tìm kiếm Mail.ru cũng có tài khoản quản trị trang web. Việc thêm một trang web để lập chỉ mục trong Mail.ru được thực hiện thông qua biểu mẫu addurl, có tại: go.mail.ru/addurl
Hơn nữa, giống như Google, để đăng ký lập chỉ mục, bạn cần tạo tài khoản của riêng mình và đăng nhập vào đó. Nếu không thì sẽ không thành công. Mile gần đây đang cố gắng phát triển các công cụ của riêng mình dành cho quản trị viên web.
Ở trên, chúng tôi đã xem xét các công cụ tìm kiếm trong nước chính mà chúng tôi muốn lập chỉ mục trang web của mình. Tôi sẽ cung cấp PS sau đây nhiều hơn cho kiến thức SEO tổng quát của bạn hơn là các hành động cụ thể.
Công cụ tìm kiếm Aport.ru (Aport)
Aport.ru từng là một công cụ tìm kiếm, có cơ sở dữ liệu chỉ mục và adurilka riêng. Bây giờ nó đã được biến thành một công cụ tìm kiếm sản phẩm, trong đó bạn có thể so sánh giá cả hàng hóa và dịch vụ.
Công cụ tìm kiếm Nigma.ru (Nigma)
Nigma.ru là công cụ tìm kiếm thông minh tiếng Nga của chúng tôi. Tổng lưu lượng truy cập của nó là khoảng ba triệu yêu cầu mỗi ngày. Rõ ràng, không nên bỏ qua lưu lượng truy cập từ Nygma. Bạn có thể thêm trang web của mình để lập chỉ mục trong Nigma trên trang nigma.ru/index_menu.php?menu_element=add_site.
Điều hướng phương tiện Tagoo.ru
Hệ thống Tagoo.ru là một công cụ tìm kiếm phương tiện tìm kiếm dữ liệu phương tiện. Điều này bao gồm nội dung âm nhạc, video và chương trình. Để hệ thống Tagoo lập chỉ mục trang web của bạn, bạn cần sử dụng biểu mẫu thêm: tagoo.ru/ru/webmaster.php?mode=add_site.
Công cụ tìm kiếm Turtle.ru (Rùa)
Công cụ tìm kiếm quốc tế Turtle (Rùa) tìm kiếm trên khắp các quốc gia CIS bằng bất kỳ ngôn ngữ nào. Để lập chỉ mục, các tài nguyên nằm trong các vùng miền như: ru, su, ua, am, az, ge, by, kz, kg, uz, md được chấp nhận. Để thêm một trang web để lập chỉ mục trong Turtle, bạn cần sử dụng Aduril: http://www.turtle.ru/add.html. Bạn nên đợi thông báo rằng trang web của bạn đã được chấp nhận. Nó có thể không được thêm vào, nhưng bạn thậm chí sẽ không biết.
Công cụ tìm kiếm nước ngoài
Nếu trên là các công cụ tìm kiếm trong nước thì bên dưới sẽ là danh sách các công cụ tìm kiếm nước ngoài.
Công cụ tìm kiếm Yahoo.com (Yahoo)
Công cụ tìm kiếm Bing.com (Bing)
Công cụ tìm kiếm Bing thuộc sở hữu của Microsoft và được tạo ra để thay thế Live Search. Microsoft hy vọng đứa con tinh thần mới sẽ phổ biến hơn nhiều so với phiên bản tiền nhiệm. Nếu bạn muốn trang Bing.com của mình được lập chỉ mục, bạn có thể làm như vậy tại http://www.bing.com/toolbox/submit-site-url.
Công cụ tìm kiếm Ukraina
Và để kết thúc bài đánh giá của mình, tôi sẽ trích dẫn hai công cụ tìm kiếm phổ biến ở Ukraine.
Công cụ tìm kiếm tiếng Ukraina Meta.ua (Meta)
