Sakana quay lại tuyên bố rằng AI của họ có thể tăng tốc đáng kể việc đào tạo model

Người dùng trên X nhanh chóng phát hiện rằng hệ thống của Sakana thực sự dẫn đến hiệu suất đào tạo người mẫu kém hơn mức trung bình. Theo một người dùng, AI của Sakana khiến tốc độ chậm lại gấp 3 lần — chứ không phải tăng tốc.

Có chuyện gì vậy? Có lỗi trong mã, theo bài đăng của Lucas Beyer, thành viên đội ngũ kỹ thuật tại OpenAI.

“Mã nguồn gốc của họ sai một cách tinh vi," Beyer đã viết trên X. “Việc họ chạy điểm chuẩn cho TWICE với kết quả cực kỳ khác biệt sẽ khiến họ phải dừng lại và suy nghĩ.”

Trong kết quả khám nghiệm tử thi hôm thứ Sáu, Sakana thừa nhận rằng hệ thống đã tìm ra cách “lừa đảo” (như Sakana đã mô tả) và đổ lỗi cho xu hướng 'hack phần thưởng' của hệ thống - tức là xác định các sai sót để đạt được số liệu cao mà không đạt được mục tiêu mong muốn (tăng tốc độ đào tạo mô hình). Hiện tượng tương tự đã được quan sát thấy ở AI được huấn luyện để chơi cờ vua.

Theo Sakana, hệ thống đã tìm thấy các lỗ hổng trong mã đánh giá mà công ty đang sử dụng, cho phép nó bỏ qua các xác thực về độ chính xác, cùng với các kiểm tra khác. Sakana cho biết họ đã giải quyết vấn đề và dự định sửa đổi các tuyên bố của mình trong các tài liệu cập nhật.

“Kể từ đó, chúng tôi đã thực hiện việc đánh giá và khai thác hồ sơ thời gian chạy mạnh mẽ hơn để loại bỏ nhiều lỗ hổng như vậy,” công ty đã viết trong bài đăng X. “Chúng tôi đang trong quá trình sửa đổi bài báo và kết quả của mình để phản ánh và thảo luận về các tác động. Chúng tôi xin lỗi sâu sắc vì sự giám sát của chúng tôi đối với độc giả. Chúng tôi sẽ sớm cung cấp bản sửa đổi của công việc này và thảo luận về những gì chúng tôi đã học được.”

Xin khen ngợi Sakana vì đã nhận lỗi. Tuy nhiên, đây là một lời nhắc nhở hữu ích rằng nếu một tuyên bố nghe có vẻ quá hấp dẫn để trở thành sự thật, đặc biệt là trong AI thì có lẽ đúng như vậy.