Chắc hẳn là nhiều bạn (mình sẽ gọi là “publisher” hen) sẽ gặp vấn đề về việc bài viết mới hoặc các trang dịch vụ mãi không thể ranking, hoặc thậm chí là được lập chỉ mục (index).
Vấn đề này thường xuyên diễn ra đối với những website có quy mô nhỏ, và cách khắc phục thì có thể kể đến quy trình link building.
Thế nhưng, đối với những website lớn, việc bị giới hạn về khả năng index và ranking có thể gây trở ngại rất nhiều cho doanh nghiệp, và hướng đi backlink có thể sẽ tốn không ít thời gian và công sức.
Có một cách mà bạn có thể tối ưu một cách tự động, giúp giảm thiểu những đầu việc chưa cần thiết, đó chính là tối ưu Crawl Budget.
Crawl Budget là gì?
Crawl Budget (Ngân sách thu thập dữ liệu) là số lượng trung bình các URL mà Googlebot có thể thu thập trên trang web của bạn trong một khoảng thời gian nhất định, trước khi kết thúc một phiên. Google hiện sử dụng hai loại trình thu thập chính: Googlebot Desktop (cho giao diện máy tính) và Googlebot Smartphone (liên quan đến lập chỉ mục ưu tiên di động – Mobile-First Indexing).
Việc tối ưu hóa ngân sách thu thập dữ liệu nhằm đảm bảo Googlebot không lãng phí thời gian vào các trang không quan trọng như các liên kết tự động tạo từ bộ lọc, hộp tìm kiếm, v.v. (ví dụ như: ?search=), từ đó tránh bỏ sót các trang quan trọng như bài viết hoặc trang đích (landing pages).
Các yếu tố ảnh hưởng đến Crawl Budget
Ngân sách thu thập dữ liệu của một trang web phụ thuộc vào nhiều yếu tố, bao gồm giới hạn tốc độ thu thập (crawl rate limit), nhu cầu thu thập (crawl demand) và quy mô của trang web. Các trang web nhỏ thường có ngân sách thấp hơn, trong khi các trang lớn hơn được phân bổ ngân sách lớn hơn.
Dưới đây là các yếu tố chính tác động tích cực hoặc tiêu cực đến ngân sách thu thập dữ liệu:
- Nhu cầu thu thập (Crawl Demand): Đây là mức độ mà Google muốn thu thập dữ liệu từ trang web của bạn, dựa trên độ phổ biến của các trang và mức độ “cũ” của nội dung trong chỉ mục của Google.
- Giới hạn tốc độ thu thập (Crawl Rate Limit): Quy định số lần truy xuất tối đa mà Googlebot thực hiện trên trang web và khoảng thời gian chờ giữa các lần truy xuất.
- Sức khỏe thu thập (Crawl Health): Khi trang web nhận được nhiều lượt truy cập hơn, server cần đủ khả năng đáp ứng. Nếu server phản hồi nhanh, Googlebot có thể tăng tốc độ thu thập; ngược lại, nếu xảy ra lỗi hoặc chậm, tốc độ sẽ giảm.
- Điều hướng phân cấp (Faceted Navigation): Ví dụ như lọc sản phẩm theo màu sắc, giá cả, kích thước, v.v., có thể tạo ra nhiều URL không cần thiết. Nếu không có liên kết chuẩn (canonical link), điều này dễ gây trùng lặp nội dung, khiến Googlebot khó xác định trang quan trọng.
- Mã định danh phiên (Session IDs): Các tham số tự động tạo từ hành vi người dùng hoặc công cụ theo dõi, ví dụ như Google bot có thể crawl những trang “?utm” chẳng hạn.
- Trang lỗi mềm (Soft 404s): Đây là các trang trả về mã trạng thái 200 OK dù nội dung không tồn tại, có thể làm lãng phí ngân sách thu thập.
- Trang bị hack: Nếu trang web bị tấn công, các URL lỗi 404 có thể xuất hiện, ảnh hưởng tiêu cực đến quá trình thu thập.
- Không gian trống quá nhiều (Infinity Spaces): Là số lượng lớn liên kết không cung cấp nhiều nội dung mới cho Googlebot, có thể khiến việc thu thập trở nên khó khăn và dẫn đến việc trang web bị bỏ qua một phần hoặc hoàn toàn khỏi kết quả tìm kiếm.
- Nội dung chất lượng thấp: Nội dung thiếu giá trị hoặc không hữu ích có thể bị Google đánh giá thấp, ảnh hưởng đến quá trình thu thập.
- Sitemap: Tệp XML liệt kê các URL và tần suất thay đổi, giúp Googlebot ưu tiên thu thập các trang quan trọng.
- Tệp Robots.txt: Hướng dẫn trình thu thập về các trang hoặc thư mục được phép hoặc không được phép truy cập.
Cách tối ưu hóa ngân sách thu thập dữ liệu
Để cải thiện quá trình thu thập dữ liệu, bạn có thể áp dụng các phương pháp sau:
Hạn chế sử dụng quá nhiều tệp JavaScript
Các trang dựa trên JavaScript nặng có thể tiêu tốn nhiều ngân sách thu thập hơn so với trang HTML. Nếu Googlebot dành quá nhiều thời gian xử lý, các yếu tố như hình ảnh hoặc video có thể không được hiển thị đúng và nhanh, ảnh hưởng đến trải nghiệm người dùng.
Không chặn tệp CSS và JavaScript trong Robots.txt
Google cần truy cập các tệp này để hiển thị trang web giống như người dùng thực tế. Việc chặn chúng có thể ảnh hưởng đến khả năng lập chỉ mục, bao gồm cả thuật toán thân thiện với di động (Mobile-friendly algorithm) và thuật toán bố cục trang (Page layout algorithm).
- Thuật toán thân thiện với di động (Mobile-friendly algorithm): Để nội dung quan trọng hiển thị ngay khi trang được tải (above-the-fold content), Google cần có khả năng render toàn bộ trang, bao gồm cả JavaScript và CSS. Điều này rất quan trọng vì thuật toán thân thiện với di động của Google đánh giá mức độ thân thiện của trang web dựa trên việc trang có thể được hiển thị đầy đủ hay không, bao gồm cả các thành phần JavaScript và CSS. Khi trang đáp ứng được tiêu chí này, Google có thể áp dụng nhãn “thân thiện với di động” trong kết quả tìm kiếm và mang lại lợi thế xếp hạng trên tìm kiếm di động. Google từng khuyến nghị các quản trị viên web nên tối ưu theo cách này nếu muốn cải thiện thứ hạng trang web trên thiết bị di động.
- Thuật toán bố cục trang (Page layout algorithm): Thuật toán này đánh giá vị trí của nội dung trên trang so với quảng cáo. Nếu Google xác định rằng trang có quá nhiều quảng cáo lấn át nội dung chính, thứ hạng của trang đó có thể bị giảm. Tuy nhiên, các quản trị viên web có thể sử dụng các kỹ thuật CSS để sắp xếp nội dung xuất hiện ở vị trí đầu trang trong khi các quảng cáo được đẩy xuống bên dưới.
Kiểm tra định dạng tệp font
Tệp font có thể ảnh hưởng đến tốc độ tải trang. Đảm bảo chúng được tối ưu để không làm chậm quá trình thu thập.
Xử lý lỗi server
Nếu trang web gặp lỗi server (5xx) hoặc thời gian phản hồi lâu, Googlebot sẽ giảm tốc độ thu thập. Nâng cấp gói hosting là giải pháp hiệu quả.
Giảm và chuyển hướng URL 404
Chắc chắn rồi, các URL 404 lãng phí ngân sách thu thập.
Sử dụng chuyển hướng 301 để dẫn Googlebot đến các trang hợp lệ (đừng redirect tới trang chủ nhé).
Cẩn thận khi chỉnh sửa Robots.txt
Khi chỉnh sửa file robots.txt, bạn cần phải tuân thủ hướng dẫn của Google để tránh chặn nhầm các trang quan trọng, ví dụ như các landing page, hoặc các trang có các parameters đặc biệt như “?” mà bạn muốn SEO.
Đôi khi, Google sẽ vẫn index những trang bạn đã disallow trong file Robots.txt:
Câu hỏi thường gặp về Crawl Budget
Dưới đây là những câu hỏi thường gặp về Crawl Budget:
- Làm thế nào để tăng tốc độ thu thập?
Bạn không thể trực tiếp tăng tốc độ thu thập. Google chỉ cung cấp hai tùy chọn: để Google tự tối ưu hoặc giới hạn tốc độ tối đa. - Chặn URL trong robots.txt có ảnh hưởng đến Crawl Budget không?
Theo Google là không, các URL bị chặn trong robots.txt không ảnh hưởng đến ngân sách thu thập. - Crawl Budget có phải là yếu tố xếp hạng không?
Câu trả lời là “Không nhé”, ngân sách thu thập không phải là yếu tố xếp hạng, mà chỉ liên quan đến quá trình lập chỉ mục. - Tốc độ trang có ảnh hưởng đến Crawl Budget?
Có, tốc độ trang tác động tích cực hoặc tiêu cực. Trang tải nhanh giúp Googlebot thu thập hiệu quả hơn, trong khi lỗi 5xx hoặc timeout làm giảm tốc độ. - Thêm trang riêng lẻ có ảnh hưởng đến Crawl Budget không?
Theo John Mueller từ Google, việc thêm các trang riêng lẻ không ảnh hưởng đến cách Googlebot thu thập trang web của bạn.
Hy vọng bài viết này có ích! Cảm ơn bạn đã đọc hen.
- Mình là người có đam mê vọc vạch về Marketing và cũng là người tạo ra blog này để chia sẻ những gì mình biết, hiểu và tìm tòi được.
SEOApril 29, 2025Checklist SEO Local Cho Doanh Nghiệp
SEOApril 11, 2025Top 3 cách cài đặt Google Analytics (code, plugin và GTM)
SEOApril 10, 2025Cách cài đặt Google Tag Manager vào website
SEOApril 7, 2025Tự hỏi về cách để tạo website cho riêng mình? Đây là cách mình làm
