CHỦ ĐỀ 03 · Tích hợp hệ thống
Thiết kế RAG có thể kiểm chứng
Đưa đúng tài liệu, đúng quyền và đúng phiên bản vào câu trả lời.
01Tách retrieval và generation
Một câu trả lời sai có thể do không tìm được tài liệu đúng hoặc do suy luận sai từ tài liệu đã tìm được. Đo riêng chất lượng truy xuất và chất lượng trả lời. Metadata cần giữ nguồn, phiên bản, thời điểm hiệu lực và phạm vi truy cập.
02Chunk theo ý nghĩa
Chia tài liệu tại ranh giới có nghĩa, giữ tiêu đề và liên kết giữa các phần. Chunk quá nhỏ mất ngữ cảnh; quá lớn kéo vào nhiều nhiễu. Với tên sản phẩm hoặc mã hợp đồng chính xác, kết hợp tìm kiếm từ khoá và ngữ nghĩa rồi đánh giá trên câu hỏi đại diện.
03Tôn trọng quyền từ trước khi trả lời
Lọc quyền truy cập tại tầng truy xuất, không đưa tài liệu không được phép vào context rồi yêu cầu model giữ bí mật. Khi nguồn không đủ hoặc mâu thuẫn, trả lời trong phạm vi bằng chứng và nêu phần chưa xác định. Citation phải trỏ tới đoạn thực sự hỗ trợ khẳng định.
GÓC QUYẾT ĐỊNH
Nhân viên hỏi về nghỉ phép; hệ thống truy xuất cả chính sách đã hết hiệu lực và tài liệu dành riêng cho HR.
Áp bộ lọc quyền và thời điểm hiệu lực trước khi tạo câu trả lời. Giữ liên kết tới chính sách hiện hành và tránh trộn các phiên bản.
Những điều cần giữ lại
- Retrieval tốt và generation tốt đều cần được kiểm thử.
- Quyền truy cập phải được kiểm soát trước khi context được tạo.
- Nguồn thiếu thì câu trả lời phải phản ánh giới hạn đó.
Thuật ngữ quan trọng
8 thuật ngữ của bài — lưu thành thẻ ghi nhớ để ôn theo lịch.
- RAG (Retrieval-Augmented Generation)
- Truy xuất tài liệu liên quan rồi đưa vào context để model trả lời dựa trên đó. Câu trả lời sai có thể do truy xuất sai hoặc do suy luận sai từ tài liệu đúng, nên phải đo riêng hai phần.
- Chunk
- Đoạn tài liệu được cắt ra để lập chỉ mục và truy xuất. Nên cắt tại ranh giới có nghĩa và giữ tiêu đề; chunk quá nhỏ mất ngữ cảnh, quá lớn kéo theo nhiều nhiễu.
- Hybrid search
- Kết hợp tìm kiếm từ khoá với tìm kiếm ngữ nghĩa, hữu ích khi câu hỏi chứa tên sản phẩm hay mã hợp đồng cần khớp chính xác. Cách kết hợp phải được đánh giá trên câu hỏi đại diện.
- Document metadata
- Thông tin đi kèm từng tài liệu — nguồn, phiên bản, thời điểm hiệu lực, phạm vi truy cập — để lọc đúng phiên bản và đúng quyền khi truy xuất.
- Permission-aware retrieval
- Lọc tài liệu theo quyền của người hỏi ngay ở tầng truy xuất, trước khi tạo context. Đưa tài liệu không được phép vào context rồi dặn model giữ bí mật là không đủ.
- Citation
- Trích dẫn trỏ tới đúng đoạn nguồn thực sự hỗ trợ một khẳng định trong câu trả lời, để người đọc kiểm chứng được.
- Grounded answer
- Câu trả lời chỉ khẳng định trong phạm vi bằng chứng đã truy xuất. Nguồn thiếu hoặc mâu thuẫn thì nói rõ phần chưa xác định thay vì tự lấp chỗ trống.
- Semantic search
- Tìm theo ý nghĩa thay vì khớp đúng chữ: tìm được đoạn diễn đạt khác câu hỏi nhưng dễ trượt với tên sản phẩm hay mã hợp đồng cần khớp chính xác — vì vậy thường đi cùng tìm kiếm từ khoá.
THỬ ÁP DỤNG
Thiết kế metadata cho tài liệu nội bộ với ít nhất 5 trường, trong đó có quyền đọc và ngày hiệu lực.