Dạo gần đây có nhiều anh em hỏi cách chặn bot ahrefs như nào? Thì nhân đây cũng rảnh rỗi ngồi chả biết làm gì viết cho anh em cách chặn bot ahref chơi.
Đây là những kinh nghiệm của riêng mình trong quá trình chặn bot Ahrefs, nếu anh em thích thì hãy cùng hoaidoan.vn đoán xem nhé.
Chặn Bot Ahrefs không backlink
Về riêng bot ahref thì em có 2 cách là dùng robots.txt và htaccess.
Riêng cách 1 là chắc chắn còn cách 2 thì cũng tuỳ, có người bảo người có người không nên mình cứ share anh em thích thì thử nghiệm không thì thôi.
Cách 1: Chặn bằng robots.txt
User-agent: AhrefsBot
Disallow: /
Ngoài ra, mọi người có thể kiểm soát tần số của AhrefsBot đến trang web của mình bằng cách xác định sự chậm trễ tối thiểu chấp nhận được giữa hai yêu cầu liên tiếp từ bot như sau (trong robots.txt):
User-Agent: AhrefsBot
Crawl-Delay: 2
trong đó chú ý giá trị của tham số Crawl-Delay tính bằng giây
Cách 2: Hoặc Chặn bằng htaccess
#htaccess mod rewrite code
Options +FollowSymLinks -MultiViews
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^Rogerbot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Exabot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Dotbot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Gigabot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow* [OR]
RewriteRule ^(.*)$ <a>/</a> [L,R=301]
Như vậy là đã xong cách chặn bot Ahrefs mà mình biết, nếu anh em nào có cách khác hãy để lại thông tin bên dưới để mọi người cùng tham khảo nhé. Hẹn gặp lại anh em trong những bài viết sắp tới!
Nguồn: Tham khảo từ Anh Nguyễn Tiến Anh
SEO Mentor & Founder SEO Agency 3HDIGI
Phụ trách hoạt động SEO của các doanh nghiệp lớn ở cả 2 phía Client & Agency.
Kinh nghiệm đào tạo SEO tại TTTH – Đại Học Khoa Học Tự Nhiên TPHCM từ 2018
