Was als Cache-Hit zähltWiederholter Kontext kann wiederverwendet werden
Die Wiederverwendung des Caches verbessert die Antwortgeschwindigkeit und senkt die Nutzungskosten, besonders bei mehrstufigen Chats, wiederholten Workflow-Aufrufen und Code-Vervollständigungsschleifen.
- Normale Eingabe: wird zum Modell-Multiplikator berechnet.
- Wiederholte zwischengespeicherte Eingabe: wird ab 0.1x berechnet.
- Bei kostenintensiven Modellen kann der Cache-Multiplikator auf 0.2x steigen oder bei extremer vorgelagerter Volatilität ausgesetzt werden.
Einfaches BeispielWenn Sie über eine lange Konversation hinweg wiederholt einen großen gemeinsamen Kontext einfügen, kann der übereinstimmende wiederholte Teil zu einem niedrigeren Multiplikator berechnet werden.
Cache-Hits beginnen bei 0.1xÜbereinstimmender Cache-Input wird nur mit 10% der regulären Eingabekosten berechnet.
Längere Sitzungen können günstiger seinFolgeanfragen, Workflow-Aufrufe und Code-Vervollständigungsschleifen nutzen wiederholten Kontext eher erneut.
Premium-Modelle können angepasst werdenWenn die vorgelagerten Kosten stark schwanken, können sich die Cache-Multiplikatoren ändern und in Extremfällen ausgesetzt werden.