Periscope: Mở rộng các mô hình ngôn ngữ đóng băng vượt ra ngoài cửa sổ ngữ cảnh của chúng
Periscope: Extending Frozen Language Models Beyond Their Context Window
Đoạn trích bài viết
Một mô hình ngôn ngữ đọc văn bản dài trong một bước đi hình vuông, dừng lại tại cửa sổ ngữ cảnh, và mất độ chính xác với độ dài trước khi đạt đến nó.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.