Cache hit là gìNgữ cảnh lặp lại sẽ được tái sử dụng
Tái sử dụng cache giúp phản hồi nhanh hơn và giảm chi phí, đặc biệt trong hội thoại nhiều lượt, lệnh gọi quy trình lặp lại và vòng lặp tự động hoàn thành mã.
- Input thông thường: tính theo hệ số của mô hình.
- Phần cache lặp lại và khớp: tính từ 0.1x.
- Với mô hình chi phí cao, hệ số cache có thể tăng lên 0.2x hoặc tạm dừng khi chi phí thượng nguồn biến động mạnh.
Ví dụ đơn giảnNếu bạn liên tục đưa cùng một ngữ cảnh lớn vào một hội thoại dài, phần lặp lại khớp cache sẽ được tính ở hệ số thấp hơn.
Cache hit từ 0.1xPhần cache khớp chỉ được tính 10% chi phí input thông thường.
Phiên dài có thể tiết kiệm hơnCác câu hỏi nối tiếp, lệnh gọi quy trình và vòng lặp tự động hoàn thành mã dễ tái sử dụng ngữ cảnh lặp lại hơn.
Mô hình cao cấp có thể điều chỉnhKhi chi phí thượng nguồn biến động mạnh, hệ số cache có thể thay đổi và có thể tạm dừng trong trường hợp cực đoan.