Bỏ qua tới nội dung
Kiến thức

Sitemap.xml và robots.txt là gì? Cách hoạt động và cấu hình

Sitemap.xml và robots.txt là gì, khác nhau thế nào? Giải thích cách hoạt động, ví dụ cấu hình mẫu và các lỗi thường gặp khiến Google bỏ sót trang.

Bởi Đội ngũ ULI· Đăng · Cập nhật · 9 phút đọc
Sitemap.xml và robots.txt là gì? Cách hoạt động và cấu hình

Tóm tắt nhanh

Sitemap.xml là tệp liệt kê các URL quan trọng của website để công cụ tìm kiếm phát hiện và thu thập nhanh hơn. Robots.txt là tệp đặt ở thư mục gốc, hướng dẫn trình thu thập được phép hoặc không được phép truy cập những đường dẫn nào. Một tệp giúp 'chỉ đường', tệp kia 'đặt biển cấm'.

  • Sitemap giúp Google phát hiện URL, không bảo đảm URL được lập chỉ mục
  • Robots.txt chặn thu thập dữ liệu, không phải công cụ ẩn trang khỏi Google
  • Muốn loại trang khỏi kết quả tìm kiếm, dùng thẻ noindex thay vì robots.txt
  • Sitemap chỉ nên chứa URL chuẩn (canonical), trả mã 200 và cho phép lập chỉ mục
  • Khai báo sitemap trong robots.txt và gửi qua Google Search Console
Mục lục bài viết

Bạn vừa đăng mười sản phẩm mới nhưng một tuần sau tìm trên Google vẫn chưa thấy? Hoặc ngược lại, trang giỏ hàng, trang tìm kiếm nội bộ lại xuất hiện trên kết quả tìm kiếm? Cả hai tình huống thường liên quan đến hai tệp nhỏ nhưng quan trọng: sitemap.xml và robots.txt. Bài viết giải thích chúng là gì, hoạt động ra sao và cấu hình thế nào cho đúng.

Sitemap.xml là gì?

Sitemap.xml là một tệp XML liệt kê các URL mà bạn muốn công cụ tìm kiếm biết đến, kèm thông tin như thời điểm cập nhật gần nhất. Nó giống bản đồ chỉ đường cho Googlebot: thay vì phải lần theo từng liên kết, bot có danh sách đầy đủ các trang quan trọng.

Một sitemap tối giản trông như sau:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://vidu-noithat.vn/</loc>
    <lastmod>2026-11-10</lastmod>
  </url>
  <url>
    <loc>https://vidu-noithat.vn/sofa-go-oc-cho</loc>
    <lastmod>2026-11-12</lastmod>
  </url>
</urlset>

Những điểm cần nhớ:

  • Mỗi tệp sitemap tối đa 50.000 URL và 50MB (chưa nén). Website lớn dùng sitemap index để gom nhiều tệp con, ví dụ tách riêng sản phẩm, bài viết, danh mục.
  • URL phải là đường dẫn tuyệt đối, đúng giao thức (https) và đúng tên miền chính (có hay không có www).
  • Google dùng <lastmod> nếu giá trị chính xác, và bỏ qua <priority> và <changefreq>.
  • Ngoài sitemap trang web, còn có sitemap cho hình ảnh, video và tin tức với các thẻ mở rộng riêng.

Sitemap không bảo đảm trang được lập chỉ mục. Nó chỉ giúp Google phát hiện URL; việc có đưa vào chỉ mục hay không còn phụ thuộc chất lượng nội dung, trùng lặp và các tín hiệu khác.

Robots.txt là gì?

Robots.txt là tệp văn bản đặt tại thư mục gốc của tên miền (ví dụ https://vidu-noithat.vn/robots.txt), cho trình thu thập biết đường dẫn nào được phép và không được phép truy cập. Tệp này tuân theo Giao thức loại trừ robot (Robots Exclusion Protocol), đã được chuẩn hóa thành RFC 9309.

Ví dụ robots.txt phổ biến cho một website bán hàng:

User-agent: *
Disallow: /gio-hang/
Disallow: /thanh-toan/
Disallow: /tai-khoan/
Disallow: /*?sort=
Allow: /

Sitemap: https://vidu-noithat.vn/sitemap.xml

Giải thích các chỉ thị:

  • User-agent: bot mà nhóm quy tắc áp dụng; * là tất cả bot. Có thể viết nhóm riêng cho Googlebot, Bingbot…
  • Disallow: đường dẫn không được thu thập.
  • Allow: ngoại lệ được phép trong vùng bị chặn.
  • Sitemap: vị trí sitemap, có thể khai báo nhiều dòng.
  • Ký tự * khớp chuỗi bất kỳ, $ đánh dấu cuối URL.

Lưu ý: robots.txt là lời đề nghị, không phải hàng rào bảo mật. Bot của các công cụ tìm kiếm uy tín tuân thủ, nhưng bot xấu có thể bỏ qua. Đừng bao giờ dựa vào robots.txt để "giấu" trang quản trị hay dữ liệu nhạy cảm – hãy dùng mật khẩu và phân quyền.

Sitemap và robots.txt khác nhau thế nào?

Sitemap nói "đây là những trang nên ghé", robots.txt nói "đừng vào những chỗ này". Hai tệp bổ sung cho nhau chứ không thay thế nhau.

Tiêu chíSitemap.xmlRobots.txt
Mục đíchGiúp bot phát hiện URL quan trọngKiểm soát bot được thu thập đường dẫn nào
Định dạngXMLVăn bản thuần
Vị tríThường ở gốc, nhưng có thể đặt bất kỳ đâuBắt buộc ở thư mục gốc tên miền
Ảnh hưởng lập chỉ mụcGián tiếp (giúp phát hiện)Gián tiếp (chặn đọc nội dung)
Bắt buộc?Không, nhưng nên cóKhông, nhưng nên có
Khai báo với GoogleGửi trong Search Console + dòng Sitemap:Google tự đọc khi truy cập tên miền

Robots.txt khác thẻ noindex ra sao?

Robots.txt ngăn bot đọc trang, còn thẻ noindex ngăn trang xuất hiện trong kết quả tìm kiếm – và hai cách này không nên dùng chung cho cùng một URL. Đây là lỗi phổ biến nhất mà chúng tôi gặp khi kiểm tra website.

Nếu bạn vừa chặn /trang-cu/ trong robots.txt, vừa đặt thẻ noindex trên trang đó, Googlebot sẽ không đọc được trang nên không thấy thẻ noindex. Kết quả là URL vẫn có thể nằm trong chỉ mục (thường hiển thị không có mô tả) nếu có liên kết trỏ tới.

Cách làm đúng:

  • Muốn ẩn khỏi kết quả tìm kiếm: cho phép thu thập, thêm <meta name="robots" content="noindex"> hoặc header X-Robots-Tag: noindex.
  • Muốn tiết kiệm tài nguyên thu thập cho các URL vô hạn (bộ lọc, sắp xếp, tìm kiếm nội bộ): chặn bằng robots.txt.
  • Muốn gom trang trùng lặp: dùng thẻ rel="canonical" trỏ về bản chính.

Tài liệu chính thức của Google về robots.txt có tại developers.google.com/search/docs/crawling-indexing/robots/intro.

Sitemap và robots.txt hoạt động cùng nhau như thế nào?

Khi Googlebot đến một tên miền, nó đọc robots.txt trước, tìm thấy đường dẫn sitemap, rồi dùng sitemap để lên danh sách URL cần thu thập trong phạm vi được phép. Quy trình đơn giản hóa:

  1. Bot truy cập /robots.txt để biết quy tắc (Google lưu đệm tệp này, thường tối đa khoảng 24 giờ).
  2. Bot đọc dòng Sitemap: hoặc dùng sitemap bạn đã gửi trong Search Console.
  3. Bot so sánh danh sách URL với quy tắc robots.txt; URL bị Disallow sẽ không được tải.
  4. Bot thu thập các URL còn lại, ưu tiên URL mới hoặc có lastmod thay đổi.
  5. Nội dung được xử lý, hiển thị (render) và đánh giá để quyết định có lập chỉ mục hay không.

Vì vậy, nếu sitemap liệt kê một URL mà robots.txt lại chặn, Search Console sẽ báo lỗi mâu thuẫn. Hai tệp cần nhất quán với nhau.

Sau khi tạo sitemap, bạn nên gửi sitemap lên Google qua Search Console để theo dõi số URL đã được phát hiện và lập chỉ mục.

Checklist cấu hình sitemap và robots.txt đúng chuẩn

Một cấu hình tốt chỉ cần đảm bảo vài nguyên tắc cốt lõi. Dùng danh sách dưới đây để tự kiểm tra:

  • Robots.txt truy cập được tại https://tenmien/robots.txt, trả mã 200.
  • Không có dòng Disallow: / vô tình chặn toàn bộ website (lỗi hay gặp khi chuyển từ bản thử nghiệm sang chính thức).
  • Không chặn thư mục chứa CSS, JavaScript, hình ảnh cần thiết để hiển thị trang.
  • Có dòng Sitemap: với URL tuyệt đối.
  • Sitemap chỉ chứa URL chuẩn (canonical), trả mã 200, không có noindex.
  • Không đưa URL chuyển hướng (301/302), URL lỗi 404, URL có tham số lọc vào sitemap.
  • lastmod phản ánh lần thay đổi nội dung thật, không tự cập nhật mỗi ngày.
  • Sitemap được tạo tự động khi thêm/xóa trang, không phải sửa tay.
  • Đã gửi sitemap trong Google Search Console và kiểm tra báo cáo "Trang".
  • Website lớn: tách sitemap theo loại nội dung để dễ theo dõi tỷ lệ lập chỉ mục.

Robots.txt trong thời đại AI tìm kiếm

Robots.txt giờ còn quyết định nội dung của bạn có được các công cụ AI đọc và trích dẫn hay không. Các nhà cung cấp AI công bố user-agent riêng cho bot của họ, và nhiều nhà cung cấp tách bot dùng cho tìm kiếm/trích dẫn khỏi bot thu thập dữ liệu huấn luyện. Ví dụ, Google có token Google-Extended để kiểm soát việc dùng nội dung cho các mô hình Gemini mà không ảnh hưởng đến Google Search.

Nếu mục tiêu của bạn là được AI nhắc tên và dẫn nguồn – nội dung cốt lõi của GEO (Generative Engine Optimization) – hãy kiểm tra để chắc rằng robots.txt không vô tình chặn các bot tìm kiếm AI. Tên user-agent có thể thay đổi, nên luôn đối chiếu với tài liệu chính thức của từng nhà cung cấp trước khi cấu hình.

Bên cạnh robots.txt và sitemap, một số website bổ sung tệp llms.txt để tóm tắt nội dung quan trọng cho mô hình ngôn ngữ. Đây là đề xuất cộng đồng, chưa phải tiêu chuẩn chính thức, nhưng dễ triển khai.

Kết luận: hai tệp nhỏ, tác động lớn

Sitemap giúp Google tìm thấy những trang bạn muốn được biết đến; robots.txt giúp bot không lãng phí thời gian vào những nơi không cần thiết. Cấu hình đúng hai tệp này là bước nền tảng của SEO kỹ thuật, và sai một dòng trong robots.txt có thể khiến cả website biến mất khỏi kết quả tìm kiếm.

Khi xây dựng website, ULI cấu hình sitemap tự động cập nhật và robots.txt theo từng loại trang. Nếu bạn không chắc website hiện tại đã cấu hình đúng hay chưa, hãy liên hệ ULI để được kiểm tra và tư vấn phần SEO kỹ thuật cơ bản.

Câu hỏi thường gặp

Website nhỏ có cần sitemap không?

Website vài chục trang, liên kết nội bộ tốt thì Google vẫn tìm thấy được. Tuy vậy sitemap gần như không tốn chi phí và giúp trang mới được phát hiện nhanh hơn, nên vẫn nên có.

Chặn trang bằng robots.txt thì trang có biến mất khỏi Google không?

Không chắc chắn. Google có thể vẫn lập chỉ mục URL bị chặn nếu có liên kết trỏ tới, chỉ là không đọc được nội dung. Muốn loại trang khỏi kết quả, hãy dùng thẻ meta robots noindex và cho phép Google thu thập trang đó.

Một sitemap chứa tối đa bao nhiêu URL?

Theo giao thức sitemaps, mỗi tệp tối đa 50.000 URL và 50MB khi chưa nén. Website lớn hơn dùng tệp chỉ mục sitemap (sitemap index) để gom nhiều sitemap con.

Có nên chặn bot AI trong robots.txt không?

Tùy mục tiêu. Nếu bạn muốn nội dung được ChatGPT, Gemini, Perplexity trích dẫn thì không nên chặn các bot tìm kiếm của họ. Nếu muốn hạn chế dùng nội dung để huấn luyện mô hình, có thể chặn riêng từng user-agent theo tài liệu của từng nhà cung cấp.

Thẻ priority và changefreq trong sitemap có tác dụng không?

Google cho biết họ bỏ qua priority và changefreq. Thẻ lastmod được dùng nếu giá trị chính xác và nhất quán với lần thay đổi nội dung thật.

Đội ngũ ULI

Biên soạn bởi đội thiết kế website, SEO và phát triển phần mềm của ULI (uli.vn). Nội dung được rà soát và cập nhật định kỳ.

Bài viết liên quan

Mẫu website gợi ý

Tất cả mẫu →

Cần một website chuẩn SEO & GEO cho doanh nghiệp?

Chọn một mẫu trong kho giao diện, ULI tuỳ biến theo thương hiệu, tối ưu tốc độ, schema, sitemap, llms.txt và bàn giao trọn gói.