Режимы памяти диалога, счётчик и сжатие

Откуда берётся забывчивость

Сама модель переписку не хранит. С каждым вопросом сайт заново отправляет ей часть разговора, и видит она лишь эту часть. Такой набор называют контекстом, на сайте он показан как «Память диалога».

Сколько отправлять, решает режим памяти. Его выбирают в блоке Контекст диалога панели параметров диалога. Из одного чата в другой память не переходит, поэтому в новом чате всё придётся рассказать заново.

Три режима

В панели и в окне памяти режимы названы по-разному, но это одни и те же режимы.

В панели	В окне памяти	Что получает модель
Экономный	Экономная память	Краткую сводку всего, что было раньше, и несколько последних пар «вопрос — ответ» дословно. Дешевле, чем полная память.
Учитывать всё	Полная память	Всю историю после действующей сводки. Когда диалог становится слишком длинным, ранние сообщения сжимаются в сводку, и это платно.
Выключен переключатель справа от заголовка Контекст диалога	Без памяти	Только текущий вопрос и закреплённые файлы. Каждый вопрос уходит с чистого листа.

У модели, которая не помнит прежних сообщений, переключатели недоступны. Пояснение «Эта нейросеть не помнит предыдущие сообщения» раскрывается значком «?» у заголовка Контекст диалога и стоит в окне памяти под строкой режима.

Чем полнее память, тем выше цена каждого ответа. История входит в запрос, и платите вы за неё при каждом сообщении.

В экономном режиме сводка копится постепенно. Сколько последних пар модель видит дословно, меняется в настройках модели, если у неё есть шестерёнка. Пары, выпавшие из этого хвоста, не сразу уходят в сводку. Они добавляются пачками, а пока пачка не набралась, остаются дословными. Мелкая подробность из начала разговора поэтому может пропасть, ведь сводка передаёт суть, а не слова. Сводку дописывает служебная модель, и это тоже платно, а цена входит в стоимость ответа, на котором сводка дописалась.

В режиме Учитывать всё модель видит историю целиком, пока запрос укладывается в порог. Как только оценка запроса вместе с запасом под ответ превысит порог, всё, кроме нескольких последних пар, заменяется сводкой, если сжатие заметно разгрузит запрос или без него он не поместится. Порог составляет долю окна памяти модели, но ограничен сверху. Где он проходит, показывает окно памяти строкой «Автосжатие ранних сообщений» со значением «с N тыс.». Цена сжатия входит в стоимость ответа, на котором оно сработало. В ленте на месте сжатия стоит отметка «Память диалога сжата», а кнопка Показать сводку раскрывает текст сводки.

Метка «Вне памяти»

Сообщения, которые модель уже не видит дословно, приглушены и подписаны «Вне памяти». Они либо сжаты в сводку, либо не помещаются в память. Если память выключена, так подписаны все прежние сообщения. Нажмите на метку, и откроется окно памяти.

Убрать пару из памяти можно и самому. Исключение из контекста оставляет её на экране, но модель её больше не получает.

Счётчик под полем запроса

Под полем стоит полоса и числа вроде «45 тыс. / 1 млн», которые показывают, сколько места в окне памяти модели займёт ваше следующее сообщение. Пока заполнено меньше половины, полоса и числа приглушены, от половины до трёх четвертей они светлеют, а выше трёх четвертей становятся красными. У бесплатной модели в счётчике написано «Бесплатно · N / M».

Единицы в счётчике — токены текста, на которые модель делит слова. Это не токены вашего баланса, которые пишут как TOK. В окне памяти слово «токены» относится к тексту модели, а цена записана в TOK.

Нажмите на счётчик, на кнопку Память диалога в панели или на метку «Вне памяти». В подзаголовке написано «Что войдёт в следующий запрос». В нём есть:

• строка «Занято ≈ N из M токенов памяти нейросети» с процентом;
• разбивка «Инструкции и роль», «Инструменты», «Сводка диалога», «Сообщения», «Файлы», «Картинки», «Свободно» и «Запас под ответ»;
• цена «Следующий запрос: ≈ N TOK + ответ», а если понадобится сжатие, то и «+ сжатие памяти ≈ N TOK». У бесплатной модели написано «бесплатно»;
• текущий режим и ссылка Изменить, которая закрывает окно и подсвечивает нужный блок панели. У модели, которая не помнит прежних сообщений, ссылки нет.

Знак «≈» показывает оценку, а фактический расход считается по данным модели после ответа.

Закрепить или не учитывать файл

В разделе Файлы в памяти у каждого файла указано, сколько токенов он занимает, и состояние (в памяти, вне памяти, закреплён или не учитывается).

Кнопка Закрепить заставляет модель видеть файл в каждом запросе, даже когда сообщение с ним уже выпало из памяти. Закреплённый файл входит в цену каждого сообщения, пока вы не нажмёте Открепить. Кнопка Не учитывать убирает файл из запросов, кнопка Учитывать возвращает его.

Сжать память сейчас

1. В начатом чате откройте окно памяти и найдите блок «Сжать сейчас».
2. При желании впишите в поле с подсказкой «На чём сделать акцент — необязательно», что в сводке должно уцелеть.
3. Нажмите Сжать. На кнопке написана цена, а на время работы она показывает «Сжимаю…».

Ранние сообщения заменятся сводкой, а последние вопрос с ответом останутся дословно. Сайт ответит «Готово» и добавит, что ранние сообщения сжаты в сводку, которая появилась в ленте чата.

Важно

Вернуть сжатые сообщения нельзя. Сжатие платное, а цена показана на кнопке.

Блок работает, когда после прошлой сводки накопилось хотя бы два вопроса с ответами. Раньше сайт скажет «Сжимать пока нечего». Если токенов не хватает, он напишет «Недостаточно токенов, чтобы сжать память диалога», а если сжатие уже идёт, попросит повторить через минуту.

Сообщение не помещается в память

Запрос состоит из истории, файлов, описаний инструментов и запаса под ответ. Если он не влезает в окно модели даже после сжатия, сайт напишет «Сообщение не помещается в память нейросети…». В тексте окно памяти названо «Память чата», на экране его открывает счётчик под полем, а заголовок окна — «Память диалога». Тогда можно сжать память, убрать часть файлов или начать новый чат.

Похожая ошибка приходит от самой модели, и в ней написано «Ваш запрос превысил ресурсы нейросети…». Переключите память в экономный режим, исключите ненужные пары из контекста или выберите модель с большим окном. Если для сжатия не хватает токенов, сайт предложит пополнить баланс или начать новый чат.