Tạo File Robots.TXT
Generate your Robots.Txt
Your Generated Robots.Txt
What is Robots.Txt
Tệp robots.txt hướng dẫn công cụ tìm kiếm trình thu thập thông tin họ có thể truy cập vào những URL nào trên trang web của bạn. Điều này chủ yếu nhằm mục đích ngăn chặn trang web của bạn không bị quá tải với các yêu cầu; nó không phải là một chiến lược cho giữ một trang web ngoài chỉ mục của Google. Chặn lập chỉ mục với noindex hoặc bảo vệ bằng mật khẩu một trang để ngăn trang đó khỏi kết quả tìm kiếm của Google.
TXT rôbốt tùy chỉnh trong Blogger là gì?
Custom Robots.Txt là một tệp văn bản phía máy chủ có thể được tùy chỉnh cho các bot của công cụ tìm kiếm. Nó ngụ ý rằng bạn có thể ngăn chặn các chương trình công cụ tìm kiếm thu thập dữ liệu các thư mục nhất định, các trang web hoặc kết nối blog.
Xem cách thêm tệp txt này vào blogger website
Why Disallow: /search ?
Trong tệp txt rô bốt này, chúng tôi không cho phép tìm kiếm, điều đó có nghĩa là trình thu thập thông tin sẽ không lập chỉ mục các cụm từ tìm kiếm trên trang web của chúng tôi. Cụm từ tìm kiếm có nghĩa là khi người dùng tìm kiếm một số truy vấn trong hộp tìm kiếm trang web của bạn, bạn có thể thấy hộp tìm kiếm của chúng tôi ở trên cùng bên phải góc.
