Hệ thống KI trong sản xuất: Cách nhận diện và ngăn chặn các ảo giác một cách có hệ thống

Mô hình ngôn ngữ không chỉ là các chương trình sai sót – chúng còn phát minh ra các sự kiện một cách hoàn toàn chắc chắn. Một AI Agent có thể khẳng định đã tạo ra các bộ dữ liệu không tồn tại hoặc tuyên bố đã thực hiện các thao tác chưa từng xảy ra. Sự phân biệt cơ bản giữa lỗi và sự bịa đặt này quyết định cách các nhóm sản xuất đảm bảo độ tin cậy của hệ thống AI của họ. Dmytro Kyiashko, chuyên về xác thực các hệ thống thông minh, đã dành tâm huyết cho một câu hỏi then chốt: Làm thế nào để chứng minh một cách hệ thống khi một mô hình đang bóp méo sự thật?

Tại sao phát hiện lỗi truyền thống của AI thất bại

Phần mềm truyền thống hiển thị trạng thái lỗi. Một chức năng bị hỏng báo lỗi ngoại lệ. Một giao diện cấu hình sai cung cấp mã lỗi tiêu chuẩn kèm thông báo rõ ràng, ngay lập tức cho thấy điều gì đã không hoạt động.

Các mô hình sinh tạo ra hoàn toàn khác biệt. Chúng xác nhận hoàn thành các nhiệm vụ mà chúng chưa từng khởi xướng. Chúng trích dẫn các truy vấn cơ sở dữ liệu mà chưa từng thực hiện. Chúng mô tả các quy trình chỉ tồn tại trong dữ liệu huấn luyện của chúng. Các câu trả lời có vẻ hợp lý. Nội dung là hư cấu. Hình thức bịa đặt này vượt khỏi phạm vi xử lý lỗi cổ điển.

“Mỗi AI Agent tuân theo các hướng dẫn do kỹ sư thiết kế”, Kyiashko giải thích. “Chúng tôi biết chính xác các chức năng mà agent của chúng tôi có và không có.” Kiến thức này trở thành nền tảng của sự phân biệt. Khi một agent, được huấn luyện dựa trên các truy vấn cơ sở dữ liệu, im lặng thất bại, đó là một lỗi. Nhưng nếu nó trả về kết quả truy vấn chi tiết mà không từng liên hệ với cơ sở dữ liệu, đó là một ảo tưởng. Mô hình đã xây dựng các đầu ra có khả năng dựa trên các mẫu huấn luyện.

Hai phương pháp đánh giá bổ sung

Kyiashko sử dụng hai phương pháp xác thực khác nhau, bổ sung cho nhau.

Các trình đánh giá dựa trên mã đảm nhận việc kiểm tra khách quan. “Các trình đánh giá mã hoạt động tối ưu khi lỗi có thể định nghĩa rõ ràng và có thể kiểm tra dựa trên quy tắc. Ví dụ như kiểm tra cấu trúc JSON, cú pháp SQL hoặc tính toàn vẹn định dạng dữ liệu”, Kyiashko nói. Phương pháp này xác định chính xác các vấn đề cấu trúc.

Tuy nhiên, một số lỗi không thể phân loại theo nhị phân. Giọng điệu có phù hợp không? Tóm tắt có đầy đủ các điểm chính không? Câu trả lời có thực sự hữu ích không? Để xử lý các trường hợp này, các LLM-as-Judge-Evaluators được sử dụng. “Chúng được dùng khi lỗi đòi hỏi sự diễn giải hoặc tinh tế mà logic mã thuần túy không thể nắm bắt.” Kyiashko sử dụng LangGraph làm khung.

Không phương pháp nào hoạt động độc lập. Các hệ thống xác thực mạnh mẽ kết hợp cả hai phương pháp để phát hiện các loại ảo tưởng khác nhau mà từng phương pháp riêng lẻ có thể bỏ sót.

Xác thực dựa trên thực tế khách quan

Phương pháp của Kyiashko tập trung vào xác minh theo trạng thái hệ thống hiện tại. Nếu một agent khẳng định đã tạo ra các bộ dữ liệu, bài kiểm tra sẽ xác nhận xem các bộ dữ liệu này có thực sự tồn tại hay không. Phán đoán của agent không còn quan trọng nếu trạng thái khách quan phủ nhận nó.

“Tôi sử dụng các dạng kiểm tra tiêu cực khác nhau – kiểm tra đơn vị và tích hợp – để phát hiện ảo tưởng của LLM”, ông giải thích. Các bài kiểm tra này cố ý yêu cầu các hành động mà agent không được phép thực hiện, rồi kiểm tra xem agent có báo thành công sai hay không, và trạng thái hệ thống có thay đổi hay không.

Một kỹ thuật kiểm tra dựa trên các giới hạn đã biết. Một agent không có quyền ghi vào cơ sở dữ liệu sẽ được yêu cầu tạo ra các mục mới. Bài kiểm tra xác nhận rằng không có dữ liệu trái phép nào được tạo ra và câu trả lời không khẳng định thành công.

Phương pháp hiệu quả nhất sử dụng dữ liệu sản xuất thực tế. “Tôi lấy các cuộc hội thoại khách hàng lịch sử, chuyển đổi chúng sang định dạng JSON và chạy các bài kiểm tra của mình với tệp này.” Mỗi cuộc hội thoại trở thành một trường hợp kiểm tra, xác minh xem agent có đưa ra các khẳng định mâu thuẫn với nhật ký hệ thống hay không. Phương pháp này phát hiện các kịch bản mà các bài kiểm tra giả lập bỏ sót. Người dùng thực tạo ra các điều kiện biên, phát hiện lỗi ẩn. Nhật ký sản xuất tiết lộ nơi các mô hình hallucinogen dưới tải thực tế.

Kiểm tra RAG: Khi agent cần phát minh thay vì tra cứu

Một loại kiểm tra đặc biệt đánh giá Retrieval-Augmented Generation (RAG). Kyiashko xác nhận xem các agent có sử dụng đúng ngữ cảnh cung cấp hay không, thay vì tự phát minh chi tiết. Bài kiểm tra đặt câu hỏi, trong đó ngữ cảnh liên quan có sẵn, và xác minh xem agent có thực sự dựa vào ngữ cảnh này hay đã hallucinogen.

Điều này đặc biệt quan trọng đối với các hệ thống làm việc với nguồn dữ liệu bên ngoài. Nếu một agent khẳng định “tài liệu X chứa”, mà không xác minh, đó là một ảo tưởng RAG điển hình. Bài kiểm tra của Kyiashko sẽ kiểm tra tài liệu sau đó và phát hiện sự lệch lạc – tương tự như việc loại bỏ các watermark bị chỉnh sửa hoặc che giấu để xác thực tính xác thực: bảo vệ tính toàn vẹn trước, rồi mới tin tưởng vào độ tin cậy.

Khoảng cách kiến thức trong Quality Engineering

Các kỹ sư QA dày dạn gặp khó khăn khi lần đầu thử nghiệm hệ thống AI. Các giả định đã thành thói quen của họ không thể áp dụng.

“Trong QA truyền thống, chúng tôi biết chính xác định dạng câu trả lời, định dạng dữ liệu đầu vào và đầu ra”, Kyiashko giải thích. “Trong kiểm thử hệ thống AI, không có gì trong số đó.” Đầu vào là một Prompt – và các biến thể trong cách người dùng đặt câu hỏi là vô hạn. Điều này đòi hỏi giám sát liên tục.

Kyiashko gọi đó là “phân tích lỗi liên tục” – kiểm tra định kỳ phản ứng của agent với người dùng thực, xác định các thông tin phát minh và mở rộng bộ kiểm thử phù hợp.

Độ phức tạp tăng lên do khối lượng hướng dẫn. Các hệ thống AI cần các Prompt mở rộng, định nghĩa hành vi và giới hạn. Mỗi hướng dẫn có thể tương tác không thể dự đoán với các hướng dẫn khác. “Một trong những vấn đề lớn của hệ thống AI là lượng lớn hướng dẫn cần cập nhật và kiểm thử liên tục”, ông nhận xét.

Khoảng cách kiến thức là rất lớn. Hầu hết các nhóm thiếu hiểu biết rõ ràng về các chỉ số phù hợp, chuẩn bị dữ liệu hiệu quả hoặc các phương pháp xác thực đáng tin cậy cho các đầu ra thay đổi theo từng lần chạy. “Xây dựng một AI Agent khá dễ dàng”, Kyiashko nói. “Tự động hóa kiểm thử agent này là thách thức cốt lõi. Theo quan sát của tôi, nhiều thời gian hơn dành cho kiểm thử và tối ưu hóa hơn là phát triển chính nó.”

Hạ tầng kiểm thử thực tiễn để mở rộng quy mô

Phương pháp của Kyiashko tích hợp các nguyên tắc đánh giá, đánh giá đối thoại nhiều vòng và các chỉ số cho các loại ảo tưởng khác nhau. Ý tưởng trung tâm: phạm vi kiểm thử đa dạng.

Xác thực ở cấp mã nguồn phát hiện lỗi cấu trúc. Đánh giá LLM-as-Judge cho phép đánh giá hiệu quả và độ chính xác, tùy thuộc vào phiên bản mô hình sử dụng. Phân tích lỗi thủ công giúp xác định các mẫu chung. Các bài kiểm tra RAG xác minh xem agent có sử dụng đúng ngữ cảnh hay không, thay vì phát minh chi tiết.

“Khung này dựa trên ý tưởng về một phương pháp kiểm thử đa dạng. Chúng tôi sử dụng kiểm tra bao phủ mã nguồn, các trình đánh giá LLM-as-Judge, phân tích lỗi thủ công và đánh giá RAG.” Nhiều phương pháp xác thực phối hợp cùng nhau để phát hiện các mẫu hallucinogen mà các phương pháp riêng lẻ có thể bỏ sót.

Từ các bản phát hành hàng tuần đến cải tiến liên tục

Các ảo tưởng làm giảm lòng tin nhanh hơn lỗi kỹ thuật. Một tính năng sai có thể làm người dùng thất vọng. Một agent tự tin cung cấp thông tin sai lệch làm mất uy tín lâu dài.

Phương pháp kiểm thử của Kyiashko cho phép các bản phát hành hàng tuần đáng tin cậy. Xác thực tự động phát hiện các lỗi hồi quy trước khi triển khai. Các hệ thống huấn luyện trên dữ liệu thực tế xử lý chính xác phần lớn các yêu cầu của khách hàng.

Chu kỳ hàng tuần thúc đẩy lợi thế cạnh tranh. Các hệ thống AI cải thiện qua các tính năng bổ sung, phản hồi tinh vi hơn và mở rộng phạm vi lĩnh vực. Mỗi vòng lặp đều được kiểm thử. Mỗi bản phát hành đều được xác thực.

Sự thay đổi trong Quality Engineering

Các doanh nghiệp tích hợp AI hàng ngày. “Thế giới đã thấy lợi ích, nên không có trở lại”, Kyiashko lập luận. Việc áp dụng AI tăng tốc trên toàn ngành – nhiều startup mới ra đời, các công ty lớn tích hợp trí tuệ vào sản phẩm cốt lõi.

Khi kỹ sư phát triển hệ thống AI, họ cần hiểu cách kiểm thử chúng. “Ngay hôm nay, chúng ta cần biết cách hoạt động của LLM, cách xây dựng AI Agents, cách kiểm thử chúng và cách tự động hóa các kiểm tra này.”

Prompt Engineering trở thành kỹ năng nền tảng của các Quality Engineers. Các kiểm thử dữ liệu và xác thực động theo cùng xu hướng. “Đây nên là các kỹ năng cơ bản rồi.”

Các mẫu mà Kyiashko quan sát trong ngành – qua việc xem xét các bài báo nghiên cứu AI và đánh giá kiến trúc startup – xác nhận sự thay đổi này. Các vấn đề giống nhau xuất hiện khắp nơi. Các thách thức xác thực mà ông đã giải quyết trong sản xuất vài năm trước giờ trở thành các yêu cầu phổ quát, khi các triển khai AI mở rộng quy mô.

Những gì tương lai mang lại

Lĩnh vực này định hình các thực hành tốt nhất qua các lỗi sản xuất và cải tiến lặp đi lặp lại trong thời gian thực. Nhiều công ty sử dụng AI sinh tạo. Nhiều mô hình đưa ra quyết định tự động. Các hệ thống ngày càng mạnh mẽ hơn – điều này có nghĩa là các ảo tưởng ngày càng hợp lý hơn.

Nhưng kiểm thử hệ thống hóa phát hiện các phát minh trước khi người dùng gặp phải. Kiểm thử các ảo tưởng không hướng tới sự hoàn hảo – các mô hình luôn có các trường hợp ngoại lệ, nơi chúng phát minh. Mục tiêu là phát hiện và ngăn chặn các phát minh này trước khi chúng vào sản xuất.

Các kỹ thuật này hoạt động tốt khi được áp dụng đúng cách. Điều còn thiếu là một nhận thức phổ biến về cách triển khai chúng trong môi trường sản xuất, nơi độ tin cậy là yếu tố quyết định.

Về tác giả: Dmytro Kyiashko là Nhà Phát Triển Phần Mềm Kiểm Thử chuyên về kiểm thử hệ thống AI. Ông đã phát triển các khung kiểm thử cho AI hội thoại và các agent tự hành, đồng thời nghiên cứu các thách thức về độ tin cậy và xác thực trong các hệ thống AI đa chế độ.