Xem xét lại huấn luyện máy chiếu trong LLM đa phương thức

Đoạn trích bài viết

LLM đa phương thức thường được huấn luyện bằng cách đầu tiên sắp xếp một bộ mã hóa thị giác với một mô hình ngôn ngữ thông qua huấn luyện máy chiếu trên các bộ dữ liệu ghi chú hình ảnh lớn, tiếp theo là huấn luyện chung của mô hình đa phương thức đầy đủ. Mặc dù được sử dụng rộng rãi, vai trò của giai đoạn huấn luyện máy chiếu vẫn chưa được hiểu rõ.