OAGF #06 – Khi AI không chỉ trả lời mà còn hành động: Ngân hàng phải kiểm soát điều gì?

OAGF Series #06 | AI Governance, Risk & Audit | Odin Lab

Tại Odin Lab Bank (OLB), trợ lý AI ban đầu chỉ tìm kiếm tài liệu và hướng dẫn nhân viên. Sau giai đoạn thử nghiệm, nhóm dự án muốn AI tự tạo phiếu yêu cầu, phân loại mức ưu tiên và chuyển yêu cầu tới bộ phận xử lý. Giá trị kỳ vọng là giảm thao tác lặp lại và rút ngắn thời gian phục vụ.

Nhưng khi AI không chỉ trả lời mà còn hành động, một sai sót có thể trực tiếp làm thay đổi dữ liệu hoặc trạng thái quy trình. Nếu AI hiểu sai yêu cầu và tự thực hiện hành động không phù hợp, ngân hàng sẽ ngăn chặn, phát hiện và khắc phục như thế nào?

Đó là vấn đề trọng tâm của Agentic AI Governance. Bài viết tiếp nối OAGF #04 về kiểm soát và bằng chứng, áp dụng phương pháp OAGF vào tình huống giả lập Odin Lab Bank.

Nội dung bài viết

• Bốn mức quyền tự chủ của AI
• Rủi ro đặc thù của AI Agent
• Sáu nguyên tắc kiểm soát
• Tình huống OLB AI Agent
• Human Oversight
• Kiểm thử và bằng chứng
• Operational Resilience
• Điều kiện mở rộng quyền tự chủ

1. Điều gì thay đổi khi AI được quyền hành động?

Trợ lý AI thông thường chủ yếu tạo thông tin để con người tham khảo. AI Agent có thể lựa chọn công cụ, gọi API, phối hợp nhiều bước và thay đổi trạng thái hệ thống. Ranh giới quan trọng không phải tên gọi sản phẩm mà là quyền hạn thực tế được cấp cho AI.

• Level 0 – Inform: Cung cấp thông tin, không thực hiện hành động.
• Level 1 – Recommend: Đề xuất; con người quyết định và tự thực hiện.
• Level 2 – Execute with Approval: Chuẩn bị hành động; chỉ thực hiện sau phê duyệt hợp lệ.
• Level 3 – Bounded Autonomy: Tự thực hiện trong phạm vi, quyền và giới hạn đã được phê duyệt.

Đây là thang quyền tự chủ đề xuất của OAGF, không phải phân loại bắt buộc của tiêu chuẩn quốc tế. Khi nâng quyền tự chủ, tổ chức cần đánh giá lại rủi ro, kiểm soát và thẩm quyền. Quyền tự động tạo phiếu thông thường khác rất xa quyền thay đổi tài khoản đặc quyền hay thao tác trên hệ thống quan trọng.

2. Những rủi ro mới cần được đánh giá

Agentic AI có thể khuếch đại hậu quả của các rủi ro AI vốn có: hiểu sai mục tiêu nhưng vẫn thực hiện chuỗi hành động; vượt thẩm quyền khi sử dụng công cụ; prompt injection từ tài liệu, email hoặc kết quả công cụ không đáng tin cậy; hành động dây chuyền làm tăng phạm vi ảnh hưởng; khó truy vết quyết định; và phụ thuộc vận hành khi Agent hoặc tích hợp gặp sự cố.

Việc cấp một tài khoản kỹ thuật có quyền rộng cho Agent có thể biến lỗi diễn giải thành sự kiện an ninh nghiêm trọng. Vì vậy, OAGF đánh giá cả use case, workflow và từng công cụ/hành động có quyền thực thi.

3. Sáu nguyên tắc kiểm soát Agentic AI

• Quyền tối thiểu: Chỉ cấp công cụ, API và quyền cần thiết; tránh dùng tài khoản quản trị rộng.
• Giới hạn hành động: Xác định dữ liệu, đối tượng, hạn mức và thời gian; thực thi bằng kiểm soát kỹ thuật thay vì chỉ bằng prompt.
• Phê duyệt theo rủi ro: Hành động quan trọng cần approval gate gắn với hành động cụ thể.
• Phân tách nhiệm vụ: Không để Agent tự đề xuất, tự phê duyệt và tự thực thi toàn bộ hành động nhạy cảm.
• Truy vết: Ghi nhận định danh Agent, nguồn yêu cầu, công cụ, tham số quan trọng, kết quả và phê duyệt; bảo vệ nhật ký.
• Dừng và phục hồi: Có khả năng ngắt thực thi, thu hồi quyền, xử lý lỗi và hoàn tác khi khả thi.

Một cơ chế dừng khẩn cấp không tự động đảo ngược mọi tác động đã xảy ra. Với hành động khó hoặc không thể hoàn tác, yêu cầu phòng ngừa phải cao hơn.

4. Thực hành tại OLB: AI Agent xử lý yêu cầu nội bộ

OLB mở rộng Knowledge Assistant để đọc hướng dẫn được phê duyệt, phân loại yêu cầu, tạo phiếu trên hệ thống quản lý dịch vụ và đề xuất nhóm xử lý. Tổ chức chia hành động thành ba nhóm.

Nhóm A – Auto Execute: Tự động phân loại và tạo phiếu trong phạm vi đã phê duyệt, có kiểm tra đầu vào và nhật ký. Nhóm B – Human Approval: Các thay đổi ưu tiên đặc biệt hoặc tác động đáng kể phải được người có thẩm quyền phê duyệt trước. Nhóm C – Deny / Escalate: Không cho phép Agent tự thay đổi quyền quản trị, vô hiệu hóa kiểm soát bảo mật hoặc thực hiện hành động ngoài danh mục.

Phân nhóm trên là tình huống giả lập, không phải khuyến nghị cấp quyền mặc định tại mọi ngân hàng. Policy Check phải được thực thi bởi thành phần kiểm soát đáng tin cậy, độc lập với lời giải thích do mô hình tạo ra.

5. Human-in-the-Loop có đủ an toàn?

Phê duyệt của con người là kiểm soát quan trọng nhưng không đủ nếu người phê duyệt chỉ thấy nút “Approve” mà không hiểu Agent sắp làm gì. Trước khi phê duyệt hành động quan trọng, cần thể hiện mục tiêu, hệ thống và đối tượng bị ảnh hưởng, căn cứ chính, rủi ro và khả năng hoàn tác.

Hệ thống phải xác thực thẩm quyền người phê duyệt và bảo đảm Agent chỉ thực hiện đúng hành động, tham số và phạm vi đã được phê duyệt. Human Oversight chỉ có giá trị khi con người có đủ thông tin, quyền hạn và khả năng can thiệp.

6. Làm thế nào chứng minh các kiểm soát hoạt động?

• Least Privilege: Thử gọi API ngoài phạm vi; lưu kết quả từ chối và cấu hình quyền.
• Approval Gate: Thử thực thi khi chưa có phê duyệt hoặc khi nội dung phê duyệt bị thay đổi; lưu nhật ký.
• Action Boundaries: Thử vượt hạn mức hoặc đối tượng được phép; lưu policy test results.
• Prompt Injection: Đưa chỉ dẫn độc hại vào nguồn không tin cậy trong môi trường kiểm thử; lưu báo cáo đánh giá bảo mật.
• Emergency Stop: Dừng Agent khi đang thực hiện; lưu nhật ký và xác nhận trạng thái.
• Recovery: Mô phỏng lỗi giữa quy trình nhiều bước; lưu kết quả khôi phục và đối soát.

Kết quả đạt trong bộ kiểm thử giới hạn không chứng minh hệ thống an toàn tuyệt đối. Bằng chứng phải gắn với phạm vi, thời điểm, người đánh giá và tiêu chí được phê duyệt. Xem thêm ODIN 101 Q006 – Control Evidence.

7. Khi Agent gặp sự cố: Operational Resilience

Giả sử một thay đổi trong quy tắc phân loại khiến Agent tạo hàng loạt phiếu sai. OLB phải xác định phiếu đã tạo, phạm vi ảnh hưởng, quy trình gián đoạn, người xử lý và thời gian khôi phục. Vì vậy, Agentic AI Governance cần liên kết quản lý thay đổi, sự cố, cấu hình và khả năng phục hồi.

Với quy trình quan trọng, cần cân nhắc phương án xử lý thủ công hoặc cơ chế thay thế khi Agent không sẵn sàng. AI có thể tăng tốc vận hành nhưng không nên tạo ra điểm phụ thuộc mà tổ chức không thể kiểm soát.

8. Khi nào nên mở rộng quyền tự chủ?

OLB chỉ xem xét nâng quyền sau khi chứng minh giá trị vận hành, đánh giá rủi ro, giới hạn kỹ thuật, bằng chứng kiểm thử, trách nhiệm rõ ràng và phương án phục hồi. Cách tiếp cận phù hợp là mở rộng từng bước, không chuyển thẳng từ trợ lý tra cứu sang Agent có quyền rộng.

Các nguyên tắc được phát triển theo OAGF và tham chiếu các tài liệu công khai như NIST AI RMF, NIST AI RMF Playbook, OWASP GenAI Security Project và ISO/IEC 42001. Các mức Level 0–3 là đề xuất quản trị của OAGF, không phải quy định nguyên văn của các nguồn này.

Kết luận: Quyền tự chủ phải được chứng minh

Agentic AI mở ra khả năng tự động hóa quy trình nhiều bước, nhưng quyền tự chủ phải đi cùng giới hạn kỹ thuật, trách nhiệm, bằng chứng và khả năng phục hồi. Autonomy must be earned through evidence, not granted by default.

Đọc thêm OAGF #01 – Giới thiệu framework, OAGF #03 – AI Risk Assessment, OAGF #04 – Evidence-Based Assurance và Bộ công cụ Odin Lab.

Odin Lab — Turn Risk into Value.

Odin Lab Bank là ngân hàng giả lập phục vụ nghiên cứu và đào tạo. Các tình huống, mức quyền tự chủ và phương án kiểm soát chỉ có tính minh họa.