Công cụ Kiểm tra và Phân tích Robots.txt

Phân tích, chỉnh sửa và kiểm tra file robots.txt để đảm bảo công cụ tìm kiếm truy cập đúng trang và tối ưu hóa khả năng crawl

Tải từ URL

Nội dung tùy chỉnh

URL Website

Nhập URL website để tải file robots.txt (ví dụ: https://example.com)

URL Test (tùy chọn)

URL để kiểm tra quyền truy cập theo robots.txt

User Agent

Tự động tải robots.txt từ website và phân tích chi tiết

Mô phỏng bot crawl để kiểm tra URL có bị chặn không

Phát hiện lỗi cú pháp và cảnh báo trong robots.txt

Hiển thị thống kê toàn diện về các directive

1 Nhập URL website hoặc nội dung robots.txt

2 Chọn User-Agent và URL test (tùy chọn)

3 Click 'Phân tích' để kiểm tra

4 Xem kết quả và đề xuất tối ưu

Googlebot

Bingbot

Yahoo! Slurp

DuckDuckBot

Facebook Bot

Twitter Bot

Ngăn bot truy cập các thư mục nhạy cảm

Disallow: /admin/

Explicitly cho phép bot truy cập thư mục cụ thể

Allow: /public/

Hướng dẫn bot tìm thấy sitemap của website

Sitemap: /sitemap.xml