Как тратить меньше токенов в чате
В цену сообщения входят вопрос и ответ, память, файлы, роль и включённые возможности. Расход можно сократить на каждом из этих слоёв.
Из чего состоит запрос
Модель получает с каждым сообщением не только последний вопрос. В запрос входят роль, описания навыков и возможностей, сводка и история по режиму памяти, файлы с картинками, и лишь затем сам вопрос. Поэтому длинный диалог и много включённого удорожают каждый следующий ответ.
Оценку видно до отправки в окне памяти диалога, где есть строка «Следующий запрос: ≈ N TOK + ответ». Итог пишется под ответом как «Списано N TOK» и остаётся в истории операций.
Где можно сократить
| Что | Как сократить расход |
|---|---|
| Модель | Для простых вопросов не нужна самая дорогая. Цена стоит в строке модели, а как её читать, объясняет «Как читать цену модели». |
| Возможности | Включённые возможности добавляют описания к каждому сообщению, при этом цена видна у строки, а сумма написана над списком. Если нужна обычная переписка, нажмите Чистый чат в блоке «Быстрый выбор». Подробности в статье про возможности модели. |
| Память | Режим Экономный отправляет сводку раннего разговора и несколько последних пар дословно, а не всю историю. На новую тему откройте новый чат, тогда старая переписка не тянется следом. Пары, которые не нужны, можно исключить из контекста. |
| Рассуждения | Для простых вопросов выберите уровень Быстро, если блок «Глубина рассуждений» есть у модели. |
| Файлы | Файлы и картинки входят в запрос, поэтому лишнего не прикладывайте. Закреплённый файл идёт в каждый запрос, пока вы его не открепите. |
| Роль и навыки | Текст роли уходит с каждым сообщением, так что короткая роль дешевле длинной. Навык, пока он не понадобился, добавляет к запросу лишь название и описание. Исключение — модели без подгрузки по запросу, и тексты навыков уходят им целиком. |
Что расход не уменьшает
У обычной модели остановка ответа расход не уменьшает. Стрелка отправки на время ответа становится квадратом, но ответ допишется на сервере, и токены спишутся полностью.
Не нашли ответ?
Посмотрите частые вопросы или напишите в поддержку.