Chặn Google lập chỉ mục các trang subpages trong Wordpress

Mặc định Google sẽ lập chỉ mục (index) tất cả các trang của Wordpress (bao gồm subpages) nên sẽ gây ra trùng lặp title và description không tốt cho seo. Đó là lý do chúng ta phải chặn, không cho Google index những trang này nữa.

Theo Joost de Valk (cha đẻ của plugin Yoast SEO) thì Google có khả năng hiểu được các trang con (subpages) thông qua các thẻ rel="next" và rel="prev" khi phân trang cho Wordpress. Vì thế nó sẽ tự động không index các trang con này mà không cần đến thuộc tính noindex trên trang. Đó cũng là lý do từ phiên bản Yoast SEO 6.3 tính năng noindex subpages cũng được loại bỏ trên plugin này.

Nhưng thực tế, Google vẫn index các trang subpages. Trong công cụ quản trị web (Google Search Console) vẫn cảnh báo trùng title và description giữa các trang. Nhìn rất ngứa mắt. Đó là lý do bạn nên chặn lập chỉ mục ngay và luôn!

Sử dụng 1 trong 3 cách sau đây:

1. Chặn index subpages bằng robots.txt

Bạn thêm đoạn code sau vào file robots.txt trong thư mục root web:

User-agent: *
Disallow: /page/

Lưu ý là đừng để cấu trúc URL có từ page nếu không cũng sẽ bị chặn index nhé. Cách này có thể áp dụng cho tất cả các website nói chung chứ không riêng gì Wordpress.

Kể từ tháng 09/2019, Google bot không còn tuân theo chỉ thị trong robots.txt nữa rồi. Các bạn đang chặn index bằng file robots.txt hãy xóa nó và sử dụng giải pháp khác đi nhé.

2. Chặn index subpages bằng functions.php

Bạn sửa file functions.php trong theme đang sử dụng, thêm vào đoạn code sau:

function dvp_subpage_fix() {
if(is_paged()) echo '<meta name="robots" content="noindex,follow"/>';}
add_action('wp_head', 'dvp_subpage_fix');

Code này sẽ tự động thêm thẻ <meta name="robots" content="noindex,follow"/> vào các trang subpages. Yên tâm là nó chỉ chặn lập chỉ mục chứ Google Bots vẫn thu thập dữ liệu được bình thường.

3. Sửa trực tiếp file header.php

Tìm file header.php trong thư mục theme đang sử dụng. Nếu nội dung file header.php có thẻ meta robots rồi thì chỉnh sửa, nếu chưa có thì thêm vào đoạn code sau:

<meta name="robots" content="follow, <?php echo (get_query_var('paged')==1)?'index':'noindex'?>" />

So với việc chặn bằng robots.txt thì sửa file header.php hoặc functions.php an toàn hơn. Không sợ bị Google noindex nhầm các trang không phải subpages. Tuy nhiên, mỗi khi update theme thì phải làm lại từ đầu nên cũng khá bất tiện. Giải pháp tốt nhất là dùng child-theme thì update theme thoải mái nhé.

4. Dùng plugin seo như Rank Math

Nếu các bạn dùng plugin seo Rank Math thì có sẵn tính năng tắt index subpages.

Bạn vào phần Titles & Meta, chọn Misc Pages. Bật Noindex Subpages lên là được nhé.

Lưu ý rằng: Việc chặn index các subpages không có nghĩa là các bot thu thập thông tin sẽ nghe theo. Đây chỉ là yêu cầu đơn phương từ phía website của bạn, có thể một số bot (ví dụ Ahrefs, Semrush,…) vẫn sẽ cào dữ liệu về để phân tích. Nhưng mình thấy Google khá tôn trọng yêu cầu này từ phía website nên những web mình chặn index đều không thấy Google lập chỉ mục.