Google đã hoàn toàn tái tổ chức tài liệu về các trình thu thập dữ liệu và trình đọc dữ liệu do người dùng kích hoạt. Trước đây, tất cả thông tin được gộp chung trên một trang, nhưng bây giờ đã được chia thành nhiều trang khác nhau.
Hầu hết các thay đổi chỉ là sắp xếp lại nội dung, nhưng Google cũng đã thêm các phần mô tả sản phẩm nào mà mỗi trình thu thập dữ liệu ảnh hưởng đến và bổ sung các đoạn mã robots.txt cho từng trình thu thập dữ liệu để hướng dẫn cách sử dụng mã đại diện người dùng (user agent tokens).
Trong thông báo dành cho các nhà phát triển, Google giải thích: “Tài liệu trở nên quá dài, điều này hạn chế khả năng mở rộng nội dung về các trình thu thập và trình đọc dữ liệu,” do đó họ đã thực hiện việc tái cấu trúc này.
Nếu bạn kiểm tra kỹ từng trình thu thập, chẳng hạn như Googlebot, bạn sẽ thấy có hai phần mới:
- Các sản phẩm bị ảnh hưởng
- Ví dụ nhóm robots.txt
Dưới đây là ví dụ, phần được đánh dấu màu đỏ đã được thêm vào cho mọi trình thu thập dữ liệu:
Trình thu thập dữ liệu của Google, Các sản phẩm bị ảnh hưởng và Nhóm Robots Ví dụ
Dưới đây là cách mà mỗi trình thu thập dữ liệu ảnh hưởng đến các sản phẩm:
- Googlebot: Các tùy chọn thu thập dữ liệu dành cho mã đại diện người dùng Googlebot ảnh hưởng đến Google Tìm kiếm (bao gồm Discover và tất cả các tính năng của Google Tìm kiếm), cũng như các sản phẩm khác như Google Hình ảnh, Google Video, Google Tin tức và Discover.
- Googlebot Image: Các tùy chọn thu thập dữ liệu dành cho mã đại diện người dùng Googlebot-Image ảnh hưởng đến Google Hình ảnh, Discover, Google Video và tất cả các tính năng của Google Tìm kiếm nơi hình ảnh, logo và favicon được hiển thị.
- Googlebot Video: Các tùy chọn thu thập dữ liệu dành cho mã đại diện người dùng Googlebot-Video ảnh hưởng đến các tính năng tìm kiếm liên quan đến video của Google và các sản phẩm khác phụ thuộc vào video.
- Googlebot News: Các tùy chọn thu thập dữ liệu dành cho mã đại diện người dùng Googlebot-News ảnh hưởng đến tất cả các phần của Google Tin tức (ví dụ, tab Tin tức trong Google Tìm kiếm và ứng dụng Google Tin tức).
- Google StoreBot: Các tùy chọn thu thập dữ liệu dành cho mã đại diện người dùng Storebot-Google ảnh hưởng đến tất cả các phần của Google Mua sắm (ví dụ, tab Mua sắm trong Google Tìm kiếm và Google Mua sắm).
- Google-InspectionTool: Các tùy chọn thu thập dữ liệu dành cho mã đại diện người dùng Storebot-Google ảnh hưởng đến các công cụ kiểm tra tìm kiếm như Kiểm tra Kết quả Đa dạng và kiểm tra URL trong Search Console. Nó không ảnh hưởng đến Google Tìm kiếm hoặc các sản phẩm khác.
- GoogleOther: Các tùy chọn thu thập dữ liệu dành cho mã đại diện người dùng GoogleOther không ảnh hưởng đến bất kỳ sản phẩm cụ thể nào. GoogleOther là trình thu thập dữ liệu chung có thể được sử dụng bởi các nhóm sản phẩm khác nhau để truy xuất nội dung công khai từ các trang web. Ví dụ, nó có thể được sử dụng cho các lượt thu thập một lần phục vụ cho nghiên cứu và phát triển nội bộ. Nó không ảnh hưởng đến Google Tìm kiếm hoặc các sản phẩm khác.
- GoogleOther-Image: Các tùy chọn thu thập dữ liệu dành cho mã đại diện người dùng GoogleOther-Image không ảnh hưởng đến bất kỳ sản phẩm cụ thể nào, tương tự như GoogleOther. GoogleOther-Image là phiên bản của GoogleOther được tối ưu hóa để truy xuất các URL hình ảnh công khai.
- GoogleOther-Video: Các tùy chọn thu thập dữ liệu dành cho mã đại diện người dùng GoogleOther-Video không ảnh hưởng đến bất kỳ sản phẩm cụ thể nào, tương tự như GoogleOther. GoogleOther-Video là phiên bản của GoogleOther được tối ưu hóa để truy xuất các URL video công khai.
- Google-CloudVertexBot: Các tùy chọn thu thập dữ liệu dành cho mã đại diện người dùng Google-CloudVertexBot ảnh hưởng đến các lượt thu thập được yêu cầu bởi chủ sở hữu trang web để xây dựng các Đại lý AI của Vertex. Nó không ảnh hưởng đến Google Tìm kiếm hoặc các sản phẩm khác.
- Google-Extended: Google-Extended là một mã sản phẩm độc lập mà các nhà xuất bản web có thể sử dụng để quản lý xem liệu trang web của họ có hỗ trợ cải thiện các Ứng dụng Gemini và API sinh tự động của Vertex AI, bao gồm các thế hệ mô hình tương lai phục vụ cho các sản phẩm này. Google-Extended không ảnh hưởng đến việc trang web có được bao gồm hay xếp hạng trong Google Tìm kiếm hay không.
- APIs-Google: Các tùy chọn thu thập dữ liệu dành cho mã đại diện người dùng APIs-Google ảnh hưởng đến việc gửi các tin nhắn thông báo đẩy bởi Google APIs.
- AdsBot Mobile Web: Các tùy chọn thu thập dữ liệu dành cho mã đại diện người dùng AdsBot-Google-Mobile ảnh hưởng đến khả năng kiểm tra chất lượng quảng cáo trang web của Google Ads.
- AdsBot: Các tùy chọn thu thập dữ liệu dành cho mã đại diện người dùng AdsBot-Google ảnh hưởng đến khả năng kiểm tra chất lượng quảng cáo trang web của Google Ads.
- AdSense: Các tùy chọn thu thập dữ liệu dành cho mã đại diện người dùng Mediapartners-Google ảnh hưởng đến Google AdSense. Trình thu thập dữ liệu AdSense truy cập các trang web tham gia để cung cấp quảng cáo phù hợp.
- Google-Safety: Mã đại diện người dùng Google-Safety xử lý các lượt thu thập dữ liệu liên quan đến phát hiện lạm dụng, chẳng hạn như phát hiện phần mềm độc hại cho các liên kết được công khai trên các sản phẩm của Google. Do đó, nó không bị ảnh hưởng bởi các tùy chọn thu thập dữ liệu.
- Feedfetcher: Feedfetcher được sử dụng để thu thập các nguồn cấp dữ liệu RSS hoặc Atom cho Google Tin tức và PubSubHubbub.
- Google Publisher Center: Google Publisher Center thu thập và xử lý các nguồn cấp dữ liệu mà các nhà xuất bản đã cung cấp để sử dụng trên các trang đích của Google Tin tức.
- Google Read Aloud: Theo yêu cầu của người dùng, Google Read Aloud thu thập và đọc to các trang web bằng cách sử dụng công nghệ chuyển văn bản thành giọng nói (TTS).
- Google Site Verifier: Google Site Verifier thu thập các mã xác minh của Search Console.
Google cũng đã thêm thông tin về các mã hóa nội dung (nén) được hỗ trợ bởi các trình thu thập dữ liệu và trình đọc dữ liệu của Google. Đây chỉ là thay đổi về tài liệu, không thay đổi về hành vi. Ngoài ra, Google đã cập nhật URL trong chuỗi mã đại diện người dùng HTTP của GoogleProducer trong tài liệu về trình đọc dữ liệu để khớp với giá trị được sử dụng bởi trình đọc thực tế.
