# Quy tắc chung áp dụng cho HẦU HẾT các bot (bao gồm Googlebot)
User-agent: *

# CHẶN các trang/thư mục không cần thiết cho SEO:
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php # CHO PHÉP file quan trọng của WP hoạt động
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-login.php*
Disallow: /cgi-bin/
Disallow: /trackback/
Disallow: /comments/
Disallow: /feed/
Disallow: /*/feed/
Disallow: /nhuphuong/ # Chặn thư mục cụ thể

# Chặn các trang tìm kiếm, tham số URL và giỏ hàng/thanh toán (WooCommerce/E-commerce)
Disallow: /?s=*
Disallow: /search/*
Disallow: /*add-to-cart=*
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

# CHO PHÉP các thư mục quan trọng (Mặc định là Allow, nhưng nên ghi rõ cho chắc chắn)
Allow: /
Allow: /wp-content/uploads/

# Chặn các file không cần thiết (Có thể giữ lại hoặc xóa tùy mục đích)
Disallow: /index.php
Disallow: /*.xlsx

---

# Quy tắc cụ thể cho bot Site Audit của Ahrefs
User-agent: AhrefsSiteAudit

# Giới hạn tốc độ crawl (3 giây giữa các yêu cầu)
Crawl-delay: 3

# Áp dụng các Disallow chung để giảm tải khi Site Audit
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /*add-to-cart=*
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

---

# Quy tắc cụ thể cho Googlebot-Image
User-agent: Googlebot-Image

# Cho phép bot hình ảnh crawl mọi thứ (hoặc theo quy tắc chung)
Allow: /

---

# Khai báo Sitemap
Sitemap: https://thunggiay.com/sitemap_index.xml