Tính thời gian tạo token
Với đầu ra dương, thời gian = độ trễ token đầu tiên + số token còn lại ÷ tốc độ tạo. Yêu cầu 0 token cho thời gian mô hình bằng 0.
Công thức & phương pháp
If tokens > 0: seconds = first-token ms ÷ 1,000 + (tokens − 1) ÷ subsequent tokens/s.Ví dụ tính toán
| Đầu vào | Giá trị |
|---|---|
| Token đầu ra | 501 |
| Tốc độ sau token đầu tiên | 50 tokens/s |
| Thời gian đến token đầu tiên | 800 ms |
| Kết quả | Giá trị |
|---|---|
| Thời gian sinh theo mô hình | 10,8 s |
| Thời gian sinh theo mô hình | 0,18 min |
So sánh các tình huống
Đầu vào đầu tiên thay đổi, các đầu vào ví dụ còn lại giữ nguyên. Đây là các tình huống tính toán, không phải dự báo.
| So sánh các tình huống | Token đầu ra | Thời gian sinh theo mô hình | Thời gian sinh theo mô hình |
|---|---|---|---|
| −19,96% | 401 | 8,8 s | 0,1466666667 min |
| Ví dụ | 501 | 10,8 s | 0,18 min |
| +19,96% | 601 | 12,8 s | 0,2133333333 min |
Giả định & giới hạn
Tốc độ không đổi là giả định đơn giản hóa. Xử lý prompt, hàng đợi, suy luận ẩn, công cụ, mạng và tải dịch vụ có thể làm thay đổi độ trễ. Nhập tốc độ đo từ yêu cầu tương tự; không cam kết tốc độ model.
Kết quả hiển thị đã được làm tròn. Phép tính dùng số JavaScript chưa làm tròn nên có thể xuất hiện sai khác nhỏ do số dấu phẩy động.
Chạy ngay trong trình duyệt
Công cụ tương tác chạy trong môi trường cô lập bị chặn truy cập mạng. ClearByte và mã quảng cáo không thể đọc các giá trị bên trong. Tiện ích trình duyệt và thiết bị bị xâm nhập nằm ngoài phạm vi bảo vệ này.
Nguồn & định nghĩa
Ngày kiểm tra phương pháp:
Tiếp tục với tác vụ liên quan
Tính số yêu cầu AI theo ngân sách
Số yêu cầu nguyên có thể chi trả = ngân sách ÷ chi phí token ước tính mỗi yêu cầu, làm tròn xuống. Giả định mức dùng đầu vào/đầu ra trung bình giống nhau.
Tính ngân sách cửa sổ ngữ cảnh
Ngữ cảnh còn lại = giới hạn đã nhập − token chỉ dẫn − token lịch sử − phần dự trữ đầu ra. Tính toàn bộ nội dung prompt theo quy tắc tách token của nhà cung cấp.
Tính chi phí token AI
Chi phí = token đầu vào × đơn giá đầu vào ÷ một triệu + token đầu ra × đơn giá đầu ra ÷ một triệu. Nhập giá đúng nhà cung cấp và cấp xử lý đang dùng.
Tính chi phí đầu vào có cache
Chi phí đầu vào hỗn hợp bằng phí đọc token đã cache cộng phí token chưa cache. Tỷ lệ cache hit là giả định, không phải hành vi được bảo đảm.