Thẩm định — tránh AI "bịa"

Mục tiêu

Sau phần này, anh em biết khi nào có thể tin kết quả Claude trả về, và khi nào phải dừng lại để kiểm. Cụ thể là hiểu vì sao AI đôi khi "bịa" rất tự tin, nhận ra những loại thông tin dễ sai nhất, và có vài cách đơn giản để xác minh trước khi dùng.

Nội dung

Bài 03 giới thiệu 4D, trong đó D3 là Thẩm định (Discernment): biết đánh giá kết quả AI trả về. Bài này đào sâu hơn vào D3, vì đây là kỹ năng ít người để ý nhưng quan trọng nhất để dùng AI an toàn.

Hallucination là gì

"Hallucination" là từ giới công nghệ dùng để chỉ hiện tượng AI đưa ra thông tin sai nhưng trình bày rất tự tin, không hề có dấu hiệu nghi ngờ.

Không phải Claude cố tình nói sai. Cơ chế hoạt động của mô hình ngôn ngữ là: luôn đưa ra câu trả lời có vẻ hợp lý nhất dựa trên dữ liệu đã học. Anthropic mô tả cơ chế này như sau: mặc định Claude sẽ thừa nhận không biết, nhưng khi nó "nhận ra" một tên hoặc khái niệm quen thuộc, cơ chế đó có thể bị vô hiệu hóa. Kết quả là nó sinh ra câu trả lời trông rất ổn, thực ra là bịa.

Anthropic gọi đây là "confabulation": não không tìm thấy thông tin, nhưng vẫn lấp đầy chỗ trống bằng nội dung có vẻ hợp lý.

Người dùng gặp Claude một thời gian đủ lâu đều có kỷ niệm về chuyện này. Nhận được câu trả lời dài, mạch lạc, có con số, có tên, đọc xong thấy thuyết phục lắm. Rồi khi đem đi kiểm chứng thì phát hiện con số đó không tồn tại, hoặc tên người đó chưa từng nói câu đó.

Loại thông tin nào hay sai nhất

Không phải thứ gì Claude nói cũng đều có rủi ro như nhau. Anh em cần biết vùng nguy hiểm.

Số liệu cụ thể. Tỷ lệ phần trăm, con số thống kê, doanh thu, kết quả nghiên cứu. Claude hay đưa ra số trông rất chính xác, nhưng không có nguồn gốc rõ ràng.

Trích dẫn lời người thật. "Theo ông X từng nói..." hoặc trích đoạn từ một bài báo, một nghiên cứu. Câu trích dẫn có thể hoàn toàn do Claude tự tạo ra.

Ngày tháng và sự kiện lịch sử gần đây. Đặc biệt với những sự kiện gần đây, sau thời điểm Claude được huấn luyện lần cuối (cutoff khác nhau theo từng phiên bản model), hoặc sự kiện nhỏ, ít được ghi chép.

Quy định pháp luật, chính sách. Luật thuế, quy định lao động, điều khoản bảo hiểm. Những thứ thay đổi theo từng năm và từng địa phương, Claude rất dễ nhầm phiên bản cũ hoặc quy định của nước khác.

Tên và thông tin cá nhân. Email, số điện thoại, chức vụ của người cụ thể. Claude có thể tạo ra thông tin này mà không hề cảnh báo.

Ngược lại, những việc ít rủi ro hơn: viết nháp, tóm tắt ý từ tài liệu anh em đã cung cấp sẵn, gợi ý cấu trúc, dịch thuật với văn bản anh em có thể đối chiếu.

Nguyên tắc cốt lõi: việc càng quan trọng, càng phải verify

Không cần phải kiểm tra mọi thứ. Điều đó sẽ làm mất hết ý nghĩa của việc dùng AI.

Cách đơn giản để quyết định có cần verify không: hỏi "nếu thông tin này sai, hậu quả là gì?" Nếu hậu quả nhỏ (viết nháp nội bộ, brainstorm ý tưởng), không cần quá khắt khe. Nếu hậu quả lớn (gửi cho khách hàng, đưa vào báo cáo chính thức, quyết định kinh doanh), phải verify.

Anthropic nói thẳng trong tài liệu kỹ thuật: "Hãy validate thông tin quan trọng, đặc biệt là các quyết định có rủi ro cao."

Cách kiểm đơn giản

Bắt Claude dẫn nguồn. Hỏi thẳng: "Con số này từ đâu? Em có thể cho mình biết nghiên cứu hoặc nguồn cụ thể không?" Nếu nó không đưa ra được nguồn rõ ràng, đó là tín hiệu cần cẩn thận.

Cho Claude thừa nhận không biết. Thêm vào cuối prompt: "Nếu em không chắc, nói thẳng là không biết, đừng đoán." Câu này đơn giản nhưng hiệu quả theo đúng cơ chế Anthropic mô tả: nó kích hoạt lại mạch mặc định "thừa nhận không đủ thông tin".

Kiểm chéo việc quan trọng. Thông tin dùng trong báo cáo, gửi đối tác, đăng công khai, tra lại từ nguồn gốc: website chính thức, văn bản pháp lý, nghiên cứu có link rõ ràng.

Hỏi lại bằng góc khác. Nếu không chắc một kết quả, hỏi lại Claude theo cách khác, hoặc yêu cầu nó tự phản biện: "Có điểm nào trong câu trả lời trên mà em không chắc chắn không?"

Ví dụ thực chiến

Tình huống: anh em đang chuẩn bị bài thuyết trình, cần một con số về tỷ lệ doanh nghiệp Việt Nam ứng dụng AI.

Anh em hỏi Claude, nó trả về ngay: "Theo khảo sát năm 2024, khoảng 34% doanh nghiệp vừa và nhỏ tại Việt Nam đã ứng dụng AI vào ít nhất một quy trình vận hành."

Nghe ổn. Nhưng anh em chưa nên dùng ngay.

Thêm một bước: yêu cầu Claude tự kiểm.

Mình vừa hỏi em về tỷ lệ doanh nghiệp Việt Nam ứng dụng AI, em đưa ra con số 34%.

Em có thể:
1. Cho mình biết nguồn cụ thể của con số đó (tên tổ chức nghiên cứu, năm, link nếu có)?
2. Nếu em không chắc nguồn, hãy nói thẳng là không chắc thay vì đoán?

Phản ứng Claude sau câu này sẽ rất khác. Có thể nó sẽ thừa nhận: "Mình không có nguồn cụ thể cho con số đó, mình đã tổng hợp ước tính từ nhiều tài liệu và có thể không chính xác." Đó là câu trả lời đáng tin hơn nhiều so với con số ban đầu nghe rất chắc.

Nếu cần số liệu thật cho báo cáo: lấy từ VCCI, GSO, hoặc các báo cáo của McKinsey/IDC có tên tổ chức rõ ràng. Claude hỗ trợ tốt ở bước gợi ý nên tìm ở đâu, không phải bước cung cấp số liệu đã verified.

Một prompt khác để kiểm chéo câu trả lời dài:

Trong câu trả lời vừa rồi, em hãy chỉ ra:
- Những điểm em chắc chắn (và lý do)
- Những điểm em không chắc hoặc có thể sai

Không cần giải thích dài, liệt kê ngắn gọn thôi.

Thử ngay

Lấy một tình huống thật trong công việc của anh em, chọn một chủ đề mà anh em biết tương đối rõ.

Đặt câu hỏi cho Claude về chủ đề đó, để nó trả lời bình thường. Sau đó, dùng prompt này:

Trong câu trả lời vừa rồi:
- Điểm nào em chắc chắn?
- Điểm nào em không hoàn toàn chắc hoặc cần kiểm lại?
Nói thẳng, không cần che.

So sánh hai câu trả lời. Anh em sẽ thấy sự khác biệt: Claude trong câu thứ hai thường thành thật hơn nhiều.

Rồi chọn một điểm không chắc mà nó liệt kê, đi kiểm tra thật từ nguồn gốc. Làm một lần như vậy sẽ thấm hơn đọc mười lần.

Tóm tắt

• Hallucination không phải Claude cố sai, đó là cơ chế kiến trúc: khi "nhận ra" một khái niệm, nó có thể tắt mạch "thừa nhận không biết" và sinh ra nội dung trông hợp lý nhưng bịa.
• Vùng nguy hiểm nhất: số liệu cụ thể, trích dẫn lời người thật, ngày tháng sự kiện gần đây, quy định pháp luật, thông tin cá nhân.
• Nguyên tắc: việc càng quan trọng, hậu quả sai càng lớn, càng phải verify trước khi dùng.
• Ba cách kiểm thực tế: bắt Claude dẫn nguồn, cho phép nó thừa nhận không biết, hỏi lại bằng góc khác.
• Claude rất hữu ích ở bước gợi ý, viết nháp, tổng hợp. Nhưng vai trò người kiểm chứng cuối cùng vẫn là anh em.