Một trong những sai lầm phổ biến nhất khi Audit Layer 3 (WAF) và Layer 5 (robots.txt) là đánh đồng mọi con bot của các hãng AI làm một. Thực tế, OpenAI, Anthropic và Perplexity tách biệt rõ ràng mục đích của từng User-Agent.
1. Ba nhóm AI User-Agent bạn bắt buộc phải phân biệt
- Bot thu thập dữ liệu huấn luyện (Training Crawlers): Ví dụ
GPTBot,Claude-Web,CCBot,Google-Extended. Bạn có thể chặn nếu không muốn nội dung được dùng để huấn luyện mô hình nền tảng. - Bot lập chỉ mục tìm kiếm AI (Search Indexing Bots): Ví dụ
OAI-SearchBot,PerplexityBot. Đây là các bot giúp thương hiệu của bạn xuất hiện kèm link nguồn trong kết quả tìm kiếm AI. - Bot truy cập theo yêu cầu người dùng (User-Triggered Fetchers): Ví dụ
ChatGPT-User,Claude-User. Khi người dùng đưa một URL hoặc hỏi thông tin trực tiếp, bot này thay mặt người dùng vào đọc trang.
2. Cấu hình mẫu chuẩn cho doanh nghiệp cần làm GEO
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Googlebot
Allow: /Bạn có thể kiểm tra ngay tình trạng chặn 196 AI Bots của domain mình bằng công cụ AI Crawler Access Check và AI Log Analyzer trong mục Chia sẻ · Tools.