Expenditure Horizon: Đo lường năng lực tối ưu hóa, với một ứng dụng cho NanoGPT

Đoạn trích bài viết

Chúng tôi đề xuất một thước đo về khả năng tối ưu hóa của một agent AI với một "sự chân trời chi tiêu". Chúng tôi đưa ra một ví dụ thực nghiệm từ tốc độ NanoGPT. Một khó khăn trong việc đo lường khả năng của AI để tăng tốc AI R&D là tính toán chi phí token, chi phí tính toán thí nghiệm và chi phí lao động con người.