HalcyonĐồng thời hay riêng từng lựa chọn? Các bộ mã hóa nhỏ gọn cho các quyết định tập kín từ 17 triệu đến 1 tỷ tham số
Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters
Đoạn trích bài viết
Nhiều quy trình mô hình ngôn ngữ kết thúc ở một quyết định tập kín, chẳng hạn như chọn một công cụ. Đưa câu lệnh vào một mô hình ngôn ngữ lớn cho việc này thì chậm và nhạy cảm với thứ tự. Chúng tôi đặt câu hỏi rằng một bộ mã hóa cho các quyết định như vậy có thể nhỏ đến mức nào và liệu nó nên đọc các lựa chọn cùng lúc hay riêng lẻ.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.