Unistory
Открыть меню
Токен в нейросети: что это, как считать токены и сколько они стоят Токен в нейросети: что это, как считать токены и сколько они стоят Thumb Thumb Thumb

Токен в нейросети: что это, как считать токены и сколько они стоят

⏱️ 12 мин чтения
Что такое токены в нейросетях, как их считают для русского текста, что такое контекстное окно и сколько стоит 1000 токенов у российских моделей. С калькулятором.

Токен в нейросети - это часть текста, в которой языковая модель считает объем запроса и ответа: целое слово, часть слова, знак препинания или пробел. Частые слова обычно занимают один токен, а длинные и редкие делятся на несколько. В русском тексте у YandexGPT Pro в среднем около 5 символов на один токен, у GigaChat, по документации Сбера, - 3-4 символа. В токенах нейросеть ограничивает длину запроса, и по токенам считается оплата.

Ниже разберем, как работает токенизация, сколько символов в токене у разных моделей и почему русский текст не всегда дороже английского, что такое контекстное окно, как посчитать токены и сколько стоит 1000 токенов у российских моделей. В конце - калькулятор, который считает стоимость запросов в рублях.

Нужно посчитать стоимость ИИ для компании

Разберем вашу задачу на бесплатной диагностике и посчитаем все расходы: токены, интеграции и сопровождение.

Оставить заявку →

Что такое токен в нейросети

Нейросеть не читает текст по буквам и не работает с целыми предложениями. Перед обработкой она режет текст на фрагменты - токены. Каждый токен соответствует номеру в словаре модели, и дальше нейросеть работает уже с последовательностью этих номеров. Ответ модель тоже собирает по одному токену: на каждом шаге она выбирает, какой фрагмент поставить следующим.

Удобно представлять токен как кусочек слова. Короткое и частое слово, например «привет», модель хранит целиком. Длинное слово с приставкой и окончанием она может разбить на две-три части, а число или редкий термин - на несколько коротких фрагментов. Поэтому количество токенов не совпадает ни с числом слов, ни с числом символов, и у каждой модели оно свое.

Для теста по нейросетям обычно достаточно определения: токен - это часть текста, в которой нейросеть считает объем запроса и ответа. Это не числовая оценка качества ответа и не плата за подписку, хотя оплата API действительно считается в токенах.

Как работает токенизация

Разбиение текста на токены называется токенизацией, а программа, которая это делает, - токенизатором. Словарь токенизатора собирают заранее на больших объемах текста: самые частые последовательности символов становятся отдельными токенами. Слова, которые встречались часто, попадают в словарь целиком, редкие собираются из более мелких частей.

У каждой модели свой токенизатор и свой словарь. Если модель обучали в основном на английских текстах, в ее словаре мало русских слов, и русский текст режется на мелкие кусочки. У российских моделей словарь собран с учетом русского языка, поэтому та же фраза занимает у них меньше токенов. Это напрямую влияет на цену: чем больше токенов, тем дороже запрос.

Сколько символов в одном токене: русский и английский текст

Самые свежие сравнительные данные - замер, опубликованный на Хабре 1 октября 2026 года. Автор прогнал одинаковые тексты на русском и английском через токенизаторы разных моделей и посчитал, сколько символов приходится на один токен. Чем больше символов в токене, тем компактнее модель кодирует текст и тем дешевле он обходится.

МодельСимволов на токен, русскийСимволов на токен, английскийРусский текст длиннее в токенах
YandexGPT 5 Lite5,114,97в 0,91 раза
GigaChat 34,874,98в 0,96 раза
GPT (токенизатор o200k)4,015,07в 1,19 раза
Gemini 3.7 Flash3,985,06в 1,20 раза
DeepSeek V3 / V43,445,06в 1,38 раза
Qwen 33,135,06в 1,52 раза
Claude Opus 51,033,25в 2,96 раза

Вывод из таблицы противоречит распространенному совету писать промпты на английском, чтобы сэкономить. Для YandexGPT и GigaChat русский текст занимает столько же токенов, сколько английский, или даже меньше. У зарубежных моделей разница заметная: у Qwen русский текст длиннее в полтора раза, у Claude Opus 5 - почти в три. Выборка в замере небольшая, поэтому цифры стоит читать как ориентир.

Похожие значения дает и документация Яндекса. На русском тексте длиной 517 символов YandexGPT Pro насчитала 96 токенов, то есть 5,39 символа на токен. DeepSeek V4.1 Flash на том же тексте потратила 128 токенов, а gpt-oss-120b - 109. Для грубой оценки можно считать, что 1 000 токенов YandexGPT Pro - это около 5 400 символов, или примерно три стандартные страницы по 1 800 знаков.

Сколько токенов уходит на типовые задачи

Чтобы прикинуть расход, удобно считать от объема текста. Ниже оценка для YandexGPT Pro при 5 символах на токен и цене 0,8 рубля за 1 000 токенов. Для каждой задачи учтены и запрос с инструкцией, и ответ модели. У моделей с более мелким токенизатором токенов будет больше, а расход вырастет пропорционально.

ЗадачаОбъем текстаТокеновСтоимость одного запроса
Ответ на письмо клиентаПисьмо и инструкция - 2 000 символов, ответ - 1 000около 600около 0,5 ₽
Пересказ договора на 10 страниц18 000 символов и пересказ на 2 000около 4 000около 3,2 ₽
Разбор входящего счетаТекст счета и инструкция - 3 000 символов, ответ - 500около 700около 0,56 ₽
Ответ ассистента по базе знанийВопрос, найденные фрагменты документов - 6 000 символов, ответ - 1 000около 1 400около 1,12 ₽

Отдельный запрос стоит копейки или рубли, но в рабочем процессе запросов тысячи, а один сценарий может вызывать модель несколько раз. ИИ-агент, который сам разбирает задачу по шагам, тратит на нее в несколько раз больше токенов, чем простой ответ на вопрос, потому что читает данные, проверяет результат и формирует итог. Как устроены такие агенты и сколько стоит их работа, мы разбирали в инструкции как создать ИИ-агента.

Входящие, исходящие и другие виды токенов

В одном обращении к нейросети участвуют два потока токенов. Входящие - это все, что вы отправили модели: инструкция, вопрос, приложенный документ и история переписки. Исходящие - это ответ модели. В счете их часто учитывают по-разному: у Alice AI LLM в Yandex AI Studio 1 000 входящих токенов стоят 0,5 рубля, а 1 000 исходящих - 1,2 рубля, потому что генерация ответа требует больше вычислений.

У некоторых моделей есть и другие виды токенов. Модели-рассуждатели сначала «думают» про себя, и эти скрытые токены рассуждений тоже оплачиваются, хотя пользователь их не видит. Кешированные токены - это повторяющаяся часть запроса, например длинная инструкция, которую модель уже обрабатывала: у части провайдеров такие токены стоят дешевле. Поэтому длинная одинаковая инструкция в каждом запросе - заметная статья расходов, если сервис не кеширует ее.

Контекстное окно: сколько токенов помещается в запрос

Контекстное окно - это максимальное число токенов, которое модель может обработать за одно обращение. В него входят и запрос со всей историей переписки и документами, и ответ модели. Если документ не помещается в окно, его приходится резать на части или передавать модели только нужные фрагменты.

МодельКонтекстное окно, токенов
YandexGPT Pro 5.132 768
Alice AI LLM Flash65 536
Alice AI LLM131 072
GigaChat 2 Lite, Pro, Max128 тыс.
Qwen3.6 35B в Yandex AI Studio262 144
DeepSeek V4.1 Flash в Yandex AI Studio1 048 576

Окна в 32 тысячи токенов YandexGPT Pro 5.1 хватает примерно на 170 тысяч символов русского текста - это десятки страниц. Большое окно удобно, но не решает все: чем длиннее запрос, тем дороже он стоит и тем выше риск, что модель упустит деталь в середине документа. Поэтому в рабочих системах модели обычно передают только найденные фрагменты, нужные для ответа.

Почему нейросеть забывает начало разговора

В чате кажется, что нейросеть помнит весь разговор. При каждом новом сообщении сервис заново отправляет модели историю переписки вместе с вашим вопросом. Пока история помещается в контекстное окно, модель видит ее целиком. Когда разговор становится длиннее окна, сервис отбрасывает самые старые сообщения или заменяет их кратким пересказом, и модель перестает учитывать то, что вы писали в начале.

Поэтому в длинном разговоре важные условия стоит повторить или начать новый диалог с короткой сводкой. К тому же длинная переписка дорожает с каждым сообщением: вся история снова уходит в запрос как входящие токены. В API это видно в счете, а в бесплатном чате - по тому, как быстро заканчивается лимит.

Как посчитать токены в тексте

Есть два способа: быстрая оценка по символам и точный подсчет через токенизатор модели. Для прикидки бюджета хватает первого, для настройки рабочей системы нужен второй.

  1. Оценка по символам. Разделите число символов с пробелами на среднее значение для модели: около 5 для YandexGPT и GigaChat 3 по замеру Хабра, 3-4 по документации GigaChat. Текст в 10 000 символов - это примерно 2 000-3 300 токенов.
  2. Токенизатор YandexGPT. В Yandex AI Studio есть бесплатный метод Tokenizer API: он возвращает список токенов для заданной модели, а их число - длина этого списка.
  3. Подсчет в GigaChat API. Метод /tokens/count оценивает, сколько токенов потратит конкретная модель на ваш текст.
  4. Поле usage в ответе. Когда запрос уже отправлен, модель возвращает фактический расход входящих и исходящих токенов. По нему удобнее всего следить за реальными затратами.

Сколько стоят токены: цены российских моделей

Облачные модели берут оплату за каждую 1 000 токенов. Ниже цены российских моделей с НДС на ноябрь 2026 года. Асинхронный режим подходит для задач, где ответ не нужен сразу, например для ночной обработки документов, и обходится почти вдвое дешевле.

МодельЦена за 1 000 токеновАсинхронный режим
YandexGPT Pro 5.10,8 ₽0,41 ₽
YandexGPT Lite0,2 ₽0,1 ₽
Alice AI LLM0,5 ₽ входящие, 1,2 ₽ исходящие0,25 ₽ и 1,02 ₽
GigaChat Lite0,065 ₽0,0325 ₽
GigaChat Pro0,5 ₽0,25 ₽
GigaChat Max0,65 ₽0,325 ₽

У GigaChat есть условия, которые влияют на расчет: минимальный платеж - 600 рублей в месяц, если сервисом пользовались, а новые клиенты с 1 сентября 2026 года подключают модели через платформу cloud.ru по ее тарифам. Как получить ключ и выбрать модель и способ оплаты, мы разобрали в статье про GigaChat API. Посчитаем на примере. Запрос с инструкцией занимает 2 000 символов, ответ - 1 000. При 5 символах на токен это 600 токенов. Если таких запросов 3 000 в месяц, получится 1,8 млн токенов, или около 1 440 рублей в месяц на YandexGPT Pro 5.1 - меньше полутора рублей за запрос.

Подставьте в калькулятор свои цифры: длину запроса и ответа, число запросов и цену модели.

Калькулятор
Сколько стоят токены
Посчитайте расход по длине запроса и ответа. Символов на токен: около 5 для YandexGPT и GigaChat 3, 3-4 по документации GigaChat, меньше у зарубежных моделей.
Токенов в одном запросе
600
Токенов в месяц
1 800 000
Стоимость одного запроса
0,48 ₽
Стоимость в месяц
1 440 ₽
Цена по умолчанию - YandexGPT Pro 5.1 на ноябрь 2026 года. У части моделей исходящие токены дороже входящих: для Alice AI LLM считайте ответ по 1,2 ₽ за 1 000 токенов.
Посчитать стоимость ИИ для вашей задачи

Посчитаем, сколько ИИ будет стоить вашей компании

На бесплатной диагностике разберем задачу и посчитаем все расходы: модель, интеграции и сопровождение.

Оставить заявку →

Как сократить расход токенов

Счет за токены складывается из длины запросов, длины ответов и того, сколько раз модель вызывается на одну задачу. Сократить его можно без потери качества, если убрать лишнее на каждом этапе.

  • Не отправляйте лишний контекст. Вместо всего документа передавайте модели только нужные фрагменты, а историю длинного диалога сокращайте до сути.
  • Ограничьте длину ответа. Попросите ответ в нужном формате и объеме, например таблицу из пяти строк вместо развернутого текста.
  • Выбирайте модель по задаче. Классификацию писем и короткие ответы часто тянет облегченная модель, которая в 4-10 раз дешевле старшей.
  • Используйте асинхронный режим для задач без срочности: в Yandex AI Studio он почти вдвое дешевле.
  • Не переводите промпты на английский для российских моделей: у YandexGPT и GigaChat русский текст не длиннее английского в токенах.

Как Unistory считает стоимость ИИ до запуска

Unistory - AI-интегратор: ИИ-решения для бизнеса

Для отдельного пользователя токены - это лимит в бесплатной версии чата или строка в счете. Для компании, которая встраивает нейросеть в процесс, оплата токенов обычно оказывается небольшой частью бюджета: в примере выше 3 000 запросов в месяц стоят около 1 440 рублей, а основные расходы приходятся на разработку, интеграцию с системами компании и сопровождение. Мы в Unistory считаем стоимость ИИ от экономики задачи и проверяем расчет на прототипе до договора.

Как мы работаем со стоимостью:

  • Считаем экономику задачи. Сколько сейчас стоит работа сотрудников, какую ее долю снимет ИИ и сколько обойдутся внедрение и эксплуатация за первый год. Проектируем решение так, чтобы годовой эффект был в 3-10 раз больше всех расходов первого года.
  • Подбираем модель по качеству и цене. Облачную по API, если данные это позволяют, или открытую модель на серверах компании. Для задач без срочности используем асинхронный режим и облегченные модели.
  • Считаем токены на реальных данных. На прототипе виден фактический расход по каждому сценарию, точнее любой оценки по символам.
  • Фиксируем смету. Состав работ, сроки и сумму закрепляем в договоре после прототипа.

Unistory - AI-интегратор из Санкт-Петербурга, технологический партнер Yandex AI Studio и участник АЛРИИ. Пример нашей работы - чат-бот для инженеров по ремонту банкоматов, который отвечает по базе знаний и снизил нагрузку на операторов колл-центра на 80%. Как сравнивать эффект и расходы, мы подробно разобрали в статье о стоимости и эффективности внедрения ИИ, а какие модели доступны в России - в обзоре нейросетей для бизнеса.

Обсудим ИИ для вашей задачи

Оставьте заявку - разберем процесс, подберем модель по качеству и цене и соберем прототип на ваших данных до договора.

Оставить заявку →

Заключение

Токен - это часть текста, в которой нейросеть считает объем запроса и ответа и берет оплату. В русском тексте у YandexGPT и GigaChat около 4-5 символов на токен, поэтому для российских моделей писать запросы по-английски ради экономии не нужно. Для прикидки бюджета хватает оценки по символам и калькулятора выше, а для рабочей системы стоит считать токены через токенизатор модели. Для бизнеса же главное - полная стоимость решения, где оплата токенов обычно небольшая часть.

Частые вопросы

Токен это в нейросети что?

Токен - это часть текста, в которой нейросеть считает объем запроса и ответа: слово, часть слова, знак препинания или пробел. По токенам модель ограничивает длину запроса и считает оплату.

Сколько символов в одном токене?

Зависит от модели. В русском тексте у YandexGPT около 5 символов на токен, у GigaChat по документации Сбера - 3-4 символа. У зарубежных моделей русский текст делится мельче: у Qwen около 3 символов на токен, у Claude Opus 5 - около одного.

Сколько текста в 1000 токенов?

Для YandexGPT Pro это около 5 400 символов русского текста, или примерно три стандартные страницы по 1 800 знаков. У моделей с более мелким токенизатором текста будет меньше.

Чем токен отличается от слова?

Частое короткое слово может быть одним токеном, а длинное или редкое делится на несколько. Поэтому число токенов обычно больше числа слов и у каждой модели свое.

Что такое контекстное окно нейросети?

Это максимальное число токенов, которое модель обрабатывает за одно обращение, включая запрос, историю и ответ. У YandexGPT Pro 5.1 оно составляет 32 768 токенов, у GigaChat 2 - 128 тысяч.

Почему исходящие токены дороже входящих?

Чтобы прочитать запрос, модель обрабатывает его целиком за один проход, а ответ генерирует по одному токену, и на каждый нужен отдельный расчет. Поэтому у части моделей, например у Alice AI LLM, исходящие токены стоят дороже входящих.

Как посчитать токены в тексте?

Для оценки разделите число символов на 4-5. Точно посчитать можно через токенизатор модели: Tokenizer API в Yandex AI Studio или метод /tokens/count в GigaChat API. Фактический расход показывает поле usage в ответе модели.

Сколько стоит 1000 токенов в GigaChat и YandexGPT?

На ноябрь 2026 года: GigaChat Lite - 0,065 рубля, GigaChat Pro - 0,5 рубля, GigaChat Max - 0,65 рубля, YandexGPT Lite - 0,2 рубля, YandexGPT Pro 5.1 - 0,8 рубля с НДС. Асинхронный режим YandexGPT почти вдвое дешевле.

Дешевле ли писать запросы к нейросети на английском?

Для российских моделей это не дает экономии. У YandexGPT и GigaChat русский текст занимает столько же токенов, сколько английский, или меньше. Для зарубежных моделей английский обычно компактнее.

Как посчитать, сколько ИИ будет стоить для бизнес-процесса?

Нужно учесть все расходы первого года: внедрение, модель или сервер и сопровождение, и сравнить их с экономией. Такой расчет мы делаем на бесплатной диагностике и проверяем его на прототипе с вашими данными. Этапы работы описаны на странице внедрения ИИ в бизнес.

Поделиться Telegram ВКонтакте

Есть вопрос по теме? Напишите в Telegram или на business@unistory.org

Оставить заявку

Нажимая кнопку, вы даёте согласие на обработку персональных данных.

Или напишите напрямую

Email
Telegram
@danilaunistory

Данила, руководитель ИИ-разработки

Или напишите напрямую

Email
Telegram
@danilaunistory

Данила, руководитель ИИ-разработки

cookies Делаем сайт чуть умнее с помощью cookie.