Để tăng tính độc đáo của kết quả tìm kiếm, hãy khám phá phương pháp mà Google sử dụng để thu thập thông tin và đánh chỉ mục các trang web.
Mục Lục
Thu thập dữ liệu là gì?
Một quá trình được gọi là Khám phá, trong đó các công cụ tìm kiếm khai thác nội dung mới trên internet, là hoạt động tổng hợp thông tin. Để thực hiện tác vụ này, các bot thu thập dữ liệu thông qua các liên kết từ các trang web đã biết tới các trang web mới.
Một quá trình không bao giờ dừng lại là việc lấy thông tin bởi vì có hàng ngàn trang web được tạo ra hoặc cập nhật hàng ngày.
“Quá trình tập hợp thông tin khá đơn giản,” theo lời của Martin Splitt, chuyên gia phân tích xu hướng quản trị web của Google.
Tóm lại, chúng tôi khởi đầu bằng một vài đường dẫn trang web và tiếp tục tìm kiếm thông tin từ các liên kết liên quan. Do đó, chúng tôi đang tạo ra bộ sưu tập thông tin của chúng tôi thông qua một trang web, có thể nhiều hoặc ít.
Bắt đầu quy trình bằng việc tập hợp thông tin. Sau đó là tạo chỉ mục, sắp xếp (các trang đi qua nhiều thuật toán sắp xếp khác nhau) và kết thúc bằng việc cung cấp kết quả tìm kiếm phù hợp với yêu cầu.
Hãy khám phá thêm về quy trình lấy dữ liệu ở đây.
Trình thu thập thông tin của công cụ tìm kiếm là gì?
Một thành phần trong chương trình thu thập thông tin các trang web là công cụ tìm kiếm (còn gọi là web spider hoặc crawl bot), nhiệm vụ của nó là quét toàn bộ nội dung trên các trang web và thu thập dữ liệu để lập chỉ mục.
Khi trình thu thập thông tin truy cập một trang web mới qua các liên kết, nó sẽ quét toàn bộ nội dung chứa trong đó. Nó sẽ duyệt qua tất cả các đoạn văn bản, thành phần hình ảnh, các liên kết, các tệp HTML, CSS hoặc JavaScript, và nhiều hơn thế nữa. Sau đó, thông tin này sẽ được chuyển đến để được xử lý và lập chỉ mục cuối cùng.
Có 2 dạng trình thu thập thông tin chủ yếu: Googlebot là công cụ thu thập thông tin trang web được dùng bởi công cụ tìm kiếm Google, và công cụ tìm kiếm Google là một phần mềm tìm kiếm phổ biến được sử dụng trên toàn cầu.
- Googlebot Smartphone – công cụ thu thập thông tin chính.
- Googlebot Desktop – phần mềm thu thập dữ liệu phụ.
Dưới hình thức ứng dụng duyệt web trên điện thoại thông minh, Googlebot ưa thích thu thập thông tin của các trang web chủ đạo. Tuy nhiên, nó cũng có thể thu thập dữ liệu của mọi trang web thông qua phần mềm thu thập dữ liệu trên máy tính để bàn để đánh giá hoạt động của các trang web từ hai khía cạnh.
Số lần thu thập thông tin trên các trang web mới được quyết định bởi ngân sách thu thập dữ liệu.
Ngân sách thu thập dữ liệu là gì?
Số trang thu thập và tần suất thu thập lại dữ liệu của chúng sẽ được quyết định bởi ngân sách. Nói cách khác, ngân sách xác định số lượng và thời gian thu thập thông tin bằng cách sử dụng các chương trình thu thập dữ liệu trên web.
Kinh phí thu thập thông tin được định rõ bởi hai yếu tố chủ yếu:
- Số lượng trang có thể được lấy cùng lúc trên trang web mà không gây quá tải cho máy chủ – giới hạn tốc độ lấy dữ liệu.
- Nhu cầu lấy thông tin bằng Googlebot bao gồm việc thu thập và cập nhật số trang cần thiết.
Tập trung chủ yếu vào việc quản lý ngân sách thu thập thông tin cho các trang web lớn có hàng triệu trang, không thích hợp cho các trang web nhỏ chỉ có vài trăm trang.
Có ngân sách thu thập thông tin quan trọng không nhất thiết đem lại bất cứ lợi ích bổ sung nào cho trang web bởi vì điều này không phải là một tín hiệu về chất lượng cho các công cụ tìm kiếm, hơn thế nữa.
Lập chỉ mục là gì?
Việc phân tích và lưu trữ nội dung từ các trang web thu thập thông tin vào cơ sở dữ liệu, còn được gọi là chỉ mục hóa, là quá trình quan trọng. Chỉ các trang web đã được chỉ mục mới có thể được đánh giá và sử dụng trong các truy vấn tìm kiếm liên quan.
Khi trình thu thập dữ liệu web của Googlebot phát hiện ra website mới, nó sẽ tiến hành chuyển toàn bộ nội dung bao gồm văn bản, hình ảnh, video, thẻ meta, thuộc tính và các yếu tố khác vào giai đoạn lập chỉ mục. Sau đó, nội dung này sẽ được phân tích cú pháp để có thể hiểu rõ hơn về ngữ cảnh và được lưu trữ trong mục lục.
Martin Splitt giải thích vai trò của giai đoạn lập chỉ mục thực sự làm gì.
Bước thứ hai là tạo chỉ mục. Chúng ta cần khám phá nội dung này để biết chúng đề cập đến vấn đề gì và mục đích của chúng khi chúng ta có những trang này, chúng ta cần hiểu chúng.
Google áp dụng công nghệ chỉ mục Caffeine (Hệ thống chỉ mục Caffeine) để thực hiện nhiệm vụ này. Công nghệ này ra đời vào năm 2010.
Vô số lượng trang web kích thước khổng lồ có thể được lưu trữ trong hệ thống dữ liệu của Caffeine Index. Googlebot sẽ xử lý và đánh chỉ mục những trang này dựa trên nội dung mà chúng chứa và thu thập thông tin một cách có hệ thống.
Cập nhật Mobile-First Indexing của Googlebot đã tập trung vào việc lập chỉ mục nội dung từ các phiên bản dành cho thiết bị di động của các trang web được truy cập, chứ không chỉ từ trình thu thập dữ liệu trên thiết bị di động như trước đây.
Mobile-First Indexing là gì?
Khi giới thiệu Mobile-First Indexing (Lập chỉ mục ưu tiên thiết bị di động) lần đầu vào năm 2016, Google cho biết họ sẽ chủ yếu sử dụng nội dung trên phiên bản di động của trang web để lập chỉ mục.
Tuyên bố chính thức từ Google cho biết rõ ràng:
“Chúng tôi sẽ thu thập thông tin về trang web của bạn từ phiên bản dành cho thiết bị di động được lập chỉ mục đầu tiên trên thiết bị di động. Vì thế, hãy đảm bảo rằng Googlebot có thể truy cập toàn bộ nội dung và tài nguyên trên trang web của bạn.”
Bởi vì hầu hết tất cả mọi người đang sử dụng smartphone để lướt web trong thời điểm hiện tại, vì vậy Google muốn xem xét các trang web “theo cách giống nhau” như tất cả mọi người. Điều này cũng là một lời kêu gọi rõ ràng tới các chủ sở hữu trang web để đảm bảo rằng trang web của họ phản hồi nhanh và thân thiện với thiết bị di động.
Sử dụng phương pháp mobile-first indexing không đồng nghĩa với việc Google sẽ bỏ qua việc thu thập dữ liệu từ website bằng Googlebot Desktop để so sánh với phiên bản di động. Điều quan trọng cần lưu ý là vậy.
Hiện tại đã được đề cập đến khái niệm thu thập thông tin và đánh chỉ mục từ góc độ lý thuyết.
Hãy xem những thao tác có thể thực hiện khi thu thập thông tin và/hoặc sắp xếp các mục trên trang web của bạn. Hiện tại.
Làm cách nào để Google thu thập dữ liệu và lập chỉ mục website?
Không có “hướng dẫn trực tiếp” nào có thể khiến các công cụ tra cứu lập chỉ mục trang web của bạn khi nói về việc thu thập thông tin và lập chỉ mục thực tế.
Không có một cách duy nhất để làm điều này và kết quả cũng không đảm bảo.Để ảnh hưởng đến quá trình thu thập dữ liệu và chỉ mục trang web của bạn, có nhiều phương pháp có thể áp dụng, tùy thuộc vào thời điểm và cách thức thực hiện. Tuy nhiên, không có phương pháp nào đảm bảo hoàn toàn hiệu quả.
Hãy kiểm tra lựa chọn của bạn khi nói chuyện với Google về sự hiện diện của mình. Do đó,
1. Không cần làm gì cả – cách tiếp cận thụ động
Bạn không cần phải thực hiện bất kỳ việc gì để trang web của bạn được Google thu thập thông tin và lập chỉ mục từ góc độ kỹ thuật.
Một đường dẫn từ trang web bên ngoài là tất cả những gì bạn cần và robot tìm kiếm của Google sẽ cuối cùng bắt đầu thu thập dữ liệu và lập chỉ mục tất cả các trang có sẵn.
Thực hiện phương pháp “không làm gì cả” có thể gây ra sự chậm trễ trong việc thu thập dữ liệu và lập chỉ mục các trang của bạn do có thể mất một khoảng thời gian để trình thu thập dữ liệu web khám phá ra website của bạn. Tuy nhiên, việc này có thể gây ra hậu quả không tốt.
2. Gửi website qua công cụ Kiểm tra URL
Yêu cầu trực tiếp Google lập chỉ mục (hoặc lập chỉ mục lại) các trang của bạn bằng cách sử dụng công cụ kiểm tra URL trong Google Search Console là một trong những phương pháp để bạn có thể “đảm bảo” an toàn cho việc thu thập dữ liệu và lập chỉ mục của các trang web riêng lẻ.
Khi bạn sở hữu một trang hoàn toàn mới hoặc đã áp dụng một số thay đổi quan trọng đối với trang hiện tại của mình, công cụ này sẽ rất tiện dụng để tạo chỉ mục cho trang đó sớm nhất có thể.
Quá trình này khá dễ dàng:
Nhấp chuột vào ô nhập và sau đó nhập đường dẫn mà bạn muốn Google lập chỉ mục vào thanh tìm kiếm trên Google Search Console.
Công cụ Tìm kiếm Console sẽ hiển thị tình trạng của trang cho bạn. Nếu trang chưa được đánh chỉ mục, bạn có thể yêu cầu đánh chỉ mục. Nếu trang đã được đánh chỉ mục, bạn không cần phải làm gì thêm hoặc yêu cầu lại (nếu bạn đã thực hiện bất kỳ sửa đổi quan trọng nào đối với trang).
Bắt đầu kiểm tra khả năng lập chỉ mục trực tiếp của URL sẽ được thực hiện bởi công cụ kiểm tra URL (có thể mất vài giây hoặc vài phút).
Một cửa sổ thông báo sẽ hiển thị để xác nhận rằng liên kết của bạn đã được thêm vào danh sách ưu tiên để thu thập thông tin và chỉ mục sau khi kiểm tra thành công. Thời gian lập chỉ mục có thể kéo dài từ vài phút đến vài ngày.
Khuyến cáo chỉ sử dụng phương pháp lập chỉ mục cho một số trang web và không sử dụng quá mức nếu muốn lập chỉ mục nhiều liên kết. Chú ý:
Yêu cầu lập chỉ mục không nhất thiết đảm bảo rằng URL của bạn sẽ được lập chỉ mục. Nếu URL bị chặn để thu thập dữ liệu và/hoặc lập chỉ mục hoặc có một số vấn đề về chất lượng với các nguyên tắc về chất lượng của Google, thì URL đó có thể hoàn toàn không được lập chỉ mục.
3. Gửi sitemap tới Google
Một danh sách hoặc một tệp XML bao gồm tất cả các trang web của bạn mà bạn dự định sẽ được công cụ tìm kiếm thu thập thông tin và lập chỉ mục được gọi là Sơ đồ trang web (Sitemap).
Hỗ trợ công cụ tìm kiếm thu thập thông tin trang web của bạn một cách dễ dàng hơn rất nhiều, điều này là lợi ích chính của sơ đồ trang web. Tốc độ lập chỉ mục toàn bộ trang web của bạn được cải thiện bằng cách gửi một lượng URL lớn đồng thời.
Để thông báo cho Google về bản đồ trang web của bạn, bạn có thể sử dụng Google Search Console.
Paste đường dẫn của sơ đồ trang web của bạn vào phần Thêm sơ đồ trang web mới trên Google Search Console.
Xác minh bản đồ trang web của bạn và lấy thông tin từ tất cả các trang được đưa vào danh sách trong sitemap là công đoạn cuối cùng mà Googlebot thực hiện sau khi đã gửi yêu cầu.
4. Thực hiện liên kết nội bộ phù hợp
Để giúp việc thu thập dữ liệu trên các trang web của bạn trở nên dễ dàng hơn, phương pháp tốt nhất là xây dựng một hệ thống kết nối nội bộ mạnh mẽ và bền vững trong thời gian dài.
Thiết kế website phẳng là giải pháp cho việc thực hiện điều đó. Nói một cách khác, tất cả các trang web được liên kết với nhau với khoảng cách không quá 3 liên kết.
Thu thập thông tin từ các trang web bạn muốn chỉ mục có thể được đảm bảo bởi một hệ thống liên kết nội bộ hiệu quả, bởi vì các công cụ thu thập dữ liệu web có thể truy cập dễ dàng vào tất cả các trang web đó. Điều này đặc biệt quan trọng với các trang web lớn (ví dụ: trang thương mại điện tử) có hàng ngàn sản phẩm.
Làm cách nào để ngăn Google thu thập dữ liệu và lập chỉ mục trang của bạn?
Ví dụ, có nhiều lí do để ngăn Googlebot thu thập dữ liệu và lập chỉ mục các phần trên trang web của bạn.
- Dữ liệu cá nhân sẽ không hiển thị trong kết quả tìm kiếm, ví dụ như trang thông tin của người dùng sau khi đăng nhập.
- Không được lấy thông tin từ các trang web trùng lặp, như các trang có nội dung giống nhau, để giảm chi phí thu thập dữ liệu hoặc chúng có thể xuất hiện nhiều lần trong kết quả tìm kiếm.
- Hoặc có sự cố với các trang trống, như là các trang đang được thực hiện nhưng chưa được chuẩn bị để lập chỉ mục và hiển thị trong kết quả tìm kiếm.
- Các trang được người dùng tạo không cung cấp bất kỳ thông tin chất lượng nào cho việc tìm kiếm, chúng được coi là những trang không có giá trị.
Hiển nhiên Googlebot hiệu quả khi khám phá các trang web mới ngay cả khi không nằm trong kế hoạch của bạn tại thời điểm hiện tại.
Dưới đây là các phương án để ngăn chặn việc thu thập dữ liệu hoặc lập chỉ mục.
1. Sử dụng robots.txt (để ngăn thu thập dữ liệu)
Một tài liệu văn bản nhỏ mang tên Robots.Txt bao gồm các chỉ thị trực tiếp cho phần mềm thu thập dữ liệu web về cách thức thu thập dữ liệu trang web của bạn.
Đầu tiên, khi tiện ích thu thập dữ liệu web truy cập trang web của bạn, nó sẽ kiểm tra xem trang của bạn có tệp robots.Txt hay không và chỉ dẫn tương ứng. Sau khi đọc các chỉ thị từ tệp, nó sẽ bắt đầu thu thập dữ liệu trên trang web của bạn theo chỉ dẫn đã được cung cấp, bất cứ khi nào.
Bạn có thể thông báo với trình thu thập dữ liệu web biết phần nào của trang web nên được truy cập và thu thập dữ liệu và phần nào không nên “quét” bằng cách sử dụng các lệnh “cho phép” và “không cho phép” trong tệp robots.Txt.
Dưới đây là một minh họa về tệp robots.Txt trên trang web của New York Times với nhiều chỉ thị cấm.
Ví dụ: bạn có thể chặn Googlebot thu thập thông tin.
- Các trang web có nội dung giống nhau.
- Trang cá nhân của tôi.
- Đường dẫn có tham số truy vấn.
- Các trang có nội dung không đầy đủ.
- Trang thử nghiệm này.
Phần mềm thu thập thông tin trên web sẽ tự động truy cập tất cả các trang web có sẵn, bao gồm cả những đường dẫn mà bạn muốn loại trừ khỏi danh sách thu thập nếu không có hướng dẫn trong tệp này.
Không nên sử dụng robots.Txt như một cách để che giấu nội dung, tuy nhiên đó là một phương pháp hiệu quả để ngăn chặn Googlebot thu thập thông tin trang web của bạn.
Nếu một vài trang khác đang liên kết đến các đường dẫn này, những trang không được cho phép vẫn có thể được Google đánh dấu.
Hướng dẫn Meta Robots là một cách hiệu quả hơn để ngăn chặn các trang web được lập chỉ mục.
2. Sử dụng chỉ thị “noindex” (để ngăn lập chỉ mục)
Các đoạn mã HTML nhỏ được đặt trong phần của trang để chỉ ra meta robots (thẻ meta), hỗ trợ các công cụ tìm kiếm lập chỉ mục hoặc thu thập dữ liệu trang đó.
Một trong những chỉ dẫn phổ biến nhất là “noindex”, một chỉ dẫn meta của robot với giá trị noindex trong thuộc tính nội dung. Nó ngăn các công cụ tìm kiếm lập chỉ mục và hiển thị trang web của bạn trong kết quả tìm kiếm.
Nó có vẻ như thế này:
Thuộc tính “robot” được hiểu là các chỉ thị áp dụng cho mọi loại công cụ thu thập thông tin trên mạng.
Phân loại đặc biệt là một lệnh hữu ích cho những trang mà người dùng muốn xem nhưng không muốn chúng được sắp xếp hoặc hiển thị trong kết quả tìm kiếm.
Kết hợp thuộc tính theo dõi hoặc không theo dõi với Noindex để thông báo cho các công cụ tìm kiếm biết liệu họ nên thu thập dữ liệu liên kết trên trang hay không.
Làm cách nào để kiểm tra xem trang có được lập chỉ mục hay không?
Có một vài lựa chọn khi cần kiểm tra xem các trang web đã được thu thập dữ liệu và lập chỉ mục chưa hoặc xem xét xem một trang cụ thể có gặp vấn đề không.
1. Kiểm tra thủ công
Tiến hành thao tác thủ công bằng cách sử dụng phép toán site: là phương pháp đơn giản nhất để kiểm tra xem trang web của bạn đã được lập chỉ mục hay chưa.
Sử dụng đường dẫn URL thay vì tên miền nếu bạn muốn kiểm tra xem một đường dẫn URL cụ thể đã được lập chỉ mục hay chưa.
Nếu website của bạn đã được chỉ mục, bạn sẽ tìm thấy nó trong kết quả tìm kiếm.
2. Kiểm tra trạng thái lập chỉ mục
Bạn có thể tận dụng Bản báo cáo phạm vi lập chỉ mục trên Google Search Console để có cái nhìn tổng thể chi tiết hơn về những trang đã được lập chỉ mục (hoặc chưa được lập chỉ mục).
Thông tin về tình trạng của đường dẫn và các vấn đề liên quan đến các trang web được thu thập thông tin và lập chỉ mục có thể được cung cấp bằng các biểu đồ trong bản báo cáo phạm vi lập chỉ mục, với thông tin chi tiết.
3. Sử dụng công cụ Kiểm tra URL
Kể từ lần thu thập thông tin trước đó, công cụ kiểm tra liên kết có thể cung cấp thông tin về từng trang web riêng biệt trong trang web của bạn.
Bạn có thể kiểm tra xem trang web của mình có:
- Tồn tại một số thách thức (kèm thông tin về cách phát hiện chúng).
- Đã thu thập thông tin và đây là lần thu thập cuối cùng.
- Trang web có được đánh chỉ mục và có thể hiển thị trong kết quả tìm kiếm hay không.
