Ngân sách ngữ cảnh AI: chừa đầu ra trước
Chừa dung lượng đầu ra trước khi điền đầu vào. Bảng dành 10% mỗi cửa sổ ví dụ cho đầu ra và cho biết trần đầu vào còn lại.
Ngân sách ngữ cảnh AI: chừa đầu ra trước
| Cửa sổ ngữ cảnh (token) | Dự trữ đầu ra (token) | Trần đầu vào (token) |
|---|---|---|
| 4096 | 410 | 3686 |
| 8192 | 820 | 7372 |
| 16384 | 1639 | 14745 |
| 32768 | 3277 | 29491 |
| 65536 | 6554 | 58982 |
| 131072 | 13108 | 117964 |
| 262144 | 26215 | 235929 |
| 1048576 | 104858 | 943718 |
Công thức & phương pháp
output reserve = ceil(window × 0.10); input ceiling = window − output reserveNhững yếu tố có thể thay đổi kết quả
Cửa sổ là giả định, không phải thông số sản phẩm. Chỉ dẫn hệ thống, tin công cụ và lịch sử cũng dùng ngân sách. Tách token tùy model.
Nguồn & định nghĩa
Ngày kiểm tra phương pháp:
Tiếp tục với tác vụ liên quan
Tính ngân sách cửa sổ ngữ cảnh
Ngữ cảnh còn lại = giới hạn đã nhập − token chỉ dẫn − token lịch sử − phần dự trữ đầu ra. Tính toàn bộ nội dung prompt theo quy tắc tách token của nhà cung cấp.
Tính chi phí token AI
Chi phí = token đầu vào × đơn giá đầu vào ÷ một triệu + token đầu ra × đơn giá đầu ra ÷ một triệu. Nhập giá đúng nhà cung cấp và cấp xử lý đang dùng.
Tính chi phí đầu vào có cache
Chi phí đầu vào hỗn hợp bằng phí đọc token đã cache cộng phí token chưa cache. Tỷ lệ cache hit là giả định, không phải hành vi được bảo đảm.
Tính số yêu cầu AI theo ngân sách
Số yêu cầu nguyên có thể chi trả = ngân sách ÷ chi phí token ước tính mỗi yêu cầu, làm tròn xuống. Giả định mức dùng đầu vào/đầu ra trung bình giống nhau.