MixLID: Việc xác định ngôn ngữ ở mức token trong văn bản hỗn hợp ngôn ngữ
MixLID: Token-Level Language Identification in Mixed-Language Text
Đoạn trích bài viết
Việc xử lý văn bản đa ngôn ngữ đòi hỏi phải xác định một loạt các ngôn ngữ và phân biệt ngôn ngữ của mỗi token trong các đầu vào chứa nhiều ngôn ngữ. Chúng tôi giới thiệu MixLID, một mô hình nhận dạng ngôn ngữ cấp token hỗ trợ 111 kết hợp ngôn ngữ-script. MixLID theo dõi hai...
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.