Halcyon
Bản tin sáng Tra cứu

Mỗi trọng số là một lộ trình của các quyết định rời rạc được chia sẻ

Every Weight Is a Path of Shared Discrete Decisions

Đoạn trích bài viết

Chúng tôi giới thiệu TWIG (Tree-structured Weights with Inherited Gates), một biểu diễn trong đó mỗi trọng số của một mạng nơ-ron là điểm cuối của một lộ trình gồm các quyết định rời rạc nhỏ: một dấu, một phép dịch chuyển theo lũy thừa của hai, một cổng số không, một chỉ mục vào một bảng được chia sẻ.

Toàn văn bài viết

Đọc bài viết đầy đủ trên huggingface

Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.

Mở bài viết gốc