Токенизатор

Онлайн-токенизатор: точно считает количество токенов и символов в вашем тексте — бесплатно и мгновенно. Считает по токенизации GPT (OpenAI) и наглядно подсвечивает разбиение текста на токены.

Synty/Инструменты/Токенизатор
Текст слишком длинный для подсветки — показан только счётчик.
Токенов: 0
Символов: 0
токенизация GPT · OpenAI

Как работать
с токенизатором

1Введите текст

Вставьте нужный текст в окно. Токенизатор мгновенно покажет количество токенов и символов.

2Смотрите разбиение

Инструмент подсветит, как текст делится на токены — наглядно, разными цветами. Это тот же счёт, что и у моделей семейства GPT.