🤖 Tạo File Robots.txt Online

Cấu hình robots.txt chuẩn SEO với giao diện trực quan. Chọn bot, rule Allow/Disallow, Sitemap rồi xuất file ngay.

⚙️ Cấu Hình Chung

User-agent (Áp dụng cho bot)

Allow tất cả trang (/)

Crawl-delay

🚫 Disallow (Chặn)

✅ Allow (Cho phép riêng)

🗺 Sitemap URL

📄 Kết Quả robots.txt

💡 Đặt file robots.txt tại thư mục gốc của website: https://yourdomain.com/robots.txt

❓ Câu Hỏi Thường Gặp

File robots.txt có bắt buộc phải có khôngũ

Không bắt buộc nhưng rất nên có. Robots.txt giúp bạn điều hướng Googlebot và các crawler index đúng trang, tránh lãng phí crawl budget vào các trang admin, cart, hoặc trang lọc. Nếu không có file robots.txt, bot sẽ crawl toàn bộ site mà không có hướng dẫn.

Disallow trong robots.txt có bảo mật trang khôngũ

KHÔNG. Robots.txt hoàn toàn không phải công cụ bảo mật. Bot tốt (Googlebot) sẽ tuân theo, nhưng bot xấu hoàn toàn có thể bỏ qua. Để bảo mật trang admin, hãy dùng xác thực (authentication) ở server level.

Chặn GPTBot có tác dụng gì?

GPTBot là bot của OpenAI dùng để thu thập dữ liệu huấn luyện AI. Nếu bạn muốn nội dung không bị dùng huấn luyện ChatGPT, thêm Disallow: / cho User-agent: GPTBot. Tương tự với CCBot (Common Crawl) và Google-Extended (Bard/Gemini).