Что считается попаданием в кэшПовторяющийся контекст можно переиспользовать
Переиспользование кэша ускоряет ответ и снижает стоимость, особенно в многоходовых диалогах, повторных вызовах рабочих процессов и циклах автодополнения кода.
- Обычный ввод: тарифицируется по множителю модели.
- Повторяющийся кэшированный ввод: тарифицируется от 0.1x.
- Для дорогих моделей множитель кэша может вырасти до 0.2x или быть приостановлен при сильных колебаниях стоимости.
Простой примерЕсли вы многократно включаете большой общий контекст в длинном диалоге, совпавшая повторяющаяся часть может тарифицироваться по более низкому множителю.
Попадание в кэш — от 0.1xСовпавшая часть кэша тарифицируется лишь по 10% от обычной стоимости ввода.
Длинные сессии могут стоить дешевлеУточняющие вопросы, вызовы рабочих процессов и автодополнение кода чаще переиспользуют повторяющийся контекст.
Премиум-модели могут корректироватьсяВ периоды резких колебаний стоимости множитель кэша может меняться, а в крайних случаях кэш временно отключается.