Structuring MoE Expert Selection for Agentic Reinforcement Learning

Đoạn trích bài viết

Các agent LLM tầm xa thường được thực hiện bằng cách sử dụng các mô hình hỗn hợp chuyên gia (MoE) hiếm, tuy nhiên việc cùng thiết kế hành vi của agent và các cấu trúc MoE vẫn chưa được khám phá. Trong công việc này, chúng tôi nghiên cứu toàn diện các mối liên hệ giữa việc huấn luyện sau agent và lựa chọn chuyên gia của Bộ.