Phương pháp lựa chọn đặc trưng nhân quả cho các hệ thống Bandit nhiều cánh tay trong bối cảnh trong hệ thống đề xuất
Author
Venue
ACM RecSys CONSEQUENCES (không lưu trữ) 2024
Abstract
Các đặc trưng (hay còn gọi là bối cảnh) đóng vai trò quan trọng đối với hiệu suất của các thuật toán Multi-Armed Bandit (MAB) trong bối cảnh cụ thể. Trong thực tế triển khai các hệ thống trực tuyến quy mô lớn, việc lựa chọn và triển khai các đặc trưng quan trọng cho mô hình là điều cần thiết: việc thiếu các đặc trưng quan trọng có thể dẫn đến kết quả phần thưởng không tối ưu, trong khi việc bao gồm các đặc trưng không liên quan có thể gây ra hiện tượng quá khớp (overfitting), làm giảm khả năng giải thích của mô hình và tăng chi phí triển khai. Tuy nhiên, các phương pháp lựa chọn đặc trưng cho các mô hình học máy truyền thống không đáp ứng được yêu cầu của các trường hợp sử dụng MAB bối cảnh, vì các phương pháp truyền thống chỉ chọn các đặc trưng có tương quan với biến kết quả, nhưng không nhất thiết gây ra hiệu ứng điều trị dị biệt giữa các nhánh - yếu tố thực sự quan trọng đối với MAB bối cảnh. Trong bài báo này, chúng tôi giới thiệu các phương pháp lựa chọn đặc trưng không phụ thuộc mô hình được thiết kế cho vấn đề MAB bối cảnh, dựa trên hiệu ứng nhân quả dị biệt mà đặc trưng đóng góp vào phân phối phần thưởng. Đánh giá thực nghiệm được thực hiện dựa trên dữ liệu tổng hợp cũng như dữ liệu thực từ một thí nghiệm trực tuyến nhằm tối ưu hóa hình ảnh bìa nội dung trong hệ thống đề xuất. Kết quả cho thấy phương pháp lựa chọn đặc trưng này hiệu quả trong việc chọn ra các đặc trưng quan trọng dẫn đến phần thưởng MAB theo ngữ cảnh cao hơn so với các đặc trưng không quan trọng. So với phương pháp nhúng mô hình, phương pháp không dựa trên mô hình này có ưu điểm về tốc độ tính toán nhanh, dễ triển khai và loại bỏ các vấn đề về sai sót trong mô hình.
