SyntyВыбор модели

Как сравнить две модели на своей задаче

Отправьте одинаковый запрос двум моделям и сравните ответы по критериям, которые записали заранее: точность, полнота, время и цена. В нашем примере Claude Sonnet 5.5 ответил за 28 секунд, списал 228 SC и обошёлся без повторов. GPT-6.1 Terra ответил за 9 секунд и списал 17 SC, но повторил абзац и предложил уточнить то, что уже было в фактах. Дешёвая модель экономнее в 13 раз, её текст придётся поправить.

Сравнить модели в чатеСмотреть пример
Запрос
одинаковый
Время
28 с и 9 с
Цена
228 и 17 SC

Прогон 30 октября 2026 года. Время считается от отправки до последнего слова, цена равна фактическому списанию.

Запрос, одинаковый для обеих моделей

Напиши описание для карточки товара «Керамический заварочный чайник» на маркетплейсе, 600–900 знаков. Используй ТОЛЬКО эти факты, ничего не добавляй от себя — ни свойств, ни преимуществ, которых нет в списке; если для хорошего текста чего-то не хватает, после описания перечисли, что стоит уточнить у продавца. Факты: Объём 600 мл. Керамика ручной работы, глазурь песочного цвета с тёмными вкраплениями. Крышка с отверстием для выхода пара. Встроенного ситечка нет. Мыть вручную, не ставить на плиту. Каждый чайник немного отличается по оттенку.

Claude Sonnet 5.5

Anthropic
Время
27,9 с
Списано
228 SC
В рублях
9,12 ₽

Без выдумок и повторов, девять вопросов к продавцу. Ответ дольше и дороже, потому что модель долго рассуждает перед ответом.

Описание

Керамический заварочный чайник объёмом 600 мл — для тех, кто выбирает посуду ручной работы. Чайник выполнен из керамики вручную и покрыт глазурью песочного цвета с тёмными вкраплениями. Такой рисунок глазури делает каждый экземпляр особенным.

Обратите внимание: поскольку изделие делается вручную, каждый чайник немного отличается по оттенку. Цвет полученного вами экземпляра может слегка отличаться от того, что показано на фотографиях.

Особенности конструкции: на крышке есть отверстие для выхода пара. Встроенного ситечка в чайнике нет — это стоит учесть заранее при выборе способа заваривания.

Правила использования: мыть вручную, не ставить на плиту.

(≈ 660 знаков с пробелами)Заглушка. Служебная пометка модели, перед публикацией её нужно удалить

Что стоит уточнить у продавца

- Размеры и вес: высота, диаметр, вес чайника.- Материал: вид керамики (глина, фаянс, фарфор и т. п.) и безопасность глазури для контакта с пищей.- Конструкция: форма и расположение ручки и носика, есть ли фильтрующие отверстия в носике.- Температурные ограничения: можно ли заливать кипяток, подходит ли для микроволновки, духовки или подогревателя.- Внутренняя поверхность: покрыта ли глазурью изнутри и каким цветом.- Комплектация и упаковка: что входит в набор, как упакован товар.- Происхождение: страна и мастерская или бренд.- Гарантия и возврат: условия для изделий ручной работы.- Фото: несколько фото с разными оттенками, чтобы показать разброс цвета.

GPT-6.1 Terra

OpenAI
Время
9 с
Списано
17 SC
В рублях
0,68 ₽

Без выдумок, втрое быстрее и в 13 раз дешевле. Абзац повторён, и один вопрос противоречит фактам.

Керамический заварочный чайник

Керамический заварочный чайник объёмом 600 мл выполнен вручную. Его поверхность покрыта глазурью песочного цвета с тёмными вкраплениями. Каждый чайник немного отличается по оттенку.

В крышке предусмотрено отверстие для выхода пара. Встроенного ситечка нет.

Чайник необходимо мыть вручную. Не ставьте его на плиту.

Песочный цвет глазури и тёмные вкрапления — особенности оформления этой модели. Поскольку чайники выполнены вручную, оттенок каждого из них немного отличается. Объём чайника составляет 600 мл. При уходе соблюдайте рекомендации: мойте изделие вручную и не ставьте на плиту.Повтор. Абзац целиком повторяет три предыдущих

Что стоит уточнить у продавца

- Размеры и вес чайника.- Можно ли использовать его в посудомоечной машинеПротиворечит фактам. В фактах уже сказано: мыть вручную и микроволновой печи.- Входит ли в комплект отдельное ситечко.- Как упакован товар.

Почему рейтинги не отвечают на этот вопрос

Общие рейтинги усредняют сотни задач, и вашей среди них может не быть. Лидер в программировании может проиграть на коротком продающем тексте, а самая дорогая модель часто избыточна для простого пересказа.

Цена ответа тоже зависит от задачи, потому что рассуждающие модели тратят токены на размышление. В примере Claude израсходовал 3737 токенов, GPT 253, отсюда тринадцатикратная разница в цене.

Как сделать

  1. Зафиксируйте вход

    Обе модели получают один и тот же запрос и одни и те же данные. Запишите дату: модели обновляются.

  2. Задайте критерии заранее

    Решите, что считать ошибкой и что хорошим ответом. Время и цену чат показывает после ответа.

  3. Повторите 2–3 раза

    Ответы меняются от запуска к запуску, и по одному прогону вывод будет случайным.

Сравнивайте

  • Точность: нет ли выдумок и противоречий
  • Полноту ответа
  • Время и цену

Так сравнивать нельзя

  • Ответы на разные формулировки запроса
  • Один удачный запуск с одним неудачным

Сравнение стоит как два ответа

В примере это 245 SC, около 10 ₽. Цены моделей за миллион токенов есть в каталоге, а списание в чате видно после каждого ответа.

Если моделей больше двух, подойдёт приложение «Совет моделей»: на один вопрос оно собирает несколько ответов и общий вывод.

Частые вопросы

Можно ли сравнить больше двух моделей?

Да. Приложение «Совет моделей» отправляет один вопрос нескольким моделям и сводит ответы. Для ручного сравнения откройте несколько чатов с одинаковым запросом.

Почему одна и та же модель отвечает по-разному?

В ответах есть доля случайности. Поэтому сравнивайте по 2–3 прогона на модель и смотрите на устойчивые различия.

Возьмите запрос, с которым работаете каждый день.

Сравнить модели в чате