Qué cuenta como acierto de cachéEl contexto repetido se puede reutilizar
Reutilizar la caché mejora la velocidad de respuesta y reduce el coste de uso, sobre todo en conversaciones de varios turnos, llamadas de flujo de trabajo repetidas y bucles de autocompletado de código.
- Entrada normal: se factura al multiplicador del modelo.
- Entrada en caché repetida: se factura desde 0.1x.
- En modelos de alto coste, el multiplicador de caché puede subir a 0.2x o pausarse durante una volatilidad upstream extrema.
Ejemplo sencilloSi incluyes repetidamente un gran contexto compartido a lo largo de una conversación larga, la parte repetida que coincide puede cobrarse a un multiplicador menor.
Los aciertos de caché desde 0.1xLa parte de caché coincidente se factura solo al 10% del coste normal de entrada.
Las sesiones largas pueden costar menosLas preguntas de seguimiento, las llamadas de flujo de trabajo y los bucles de autocompletado de código reutilizan más fácilmente el contexto repetido.
Los modelos premium pueden ajustarseCuando los costes upstream se mueven con fuerza, los multiplicadores de caché pueden cambiar y pausarse en casos extremos.