Học cách học một ngôn ngữ

Đoạn trích bài viết

Chúng tôi giới thiệu mô hình ngôn ngữ được trang bị trước (PFLM), một biến đổi cấp độ byte có tham số 300M được đào tạo trước chỉ trên các mẫu từ một bộ phận không ngôn ngữ tổng hợp. Với tiền tố của văn bản thực, nó học cách dự đoán ngôn ngữ trong bối cảnh với trọng số đông lạnh, chưa bao giờ thấy một từ của bất kỳ ngôn ngữ thực nào.