Отладка и улучшение промтовБесплатноСреднийОценкаv1.0.0
Конструктор чеклиста для оценки промтов
Строит чеклист оценки промта: рубрики, правила "проходит/не проходит", пограничные случаи и лёгкий регресс перед выкладкой.
Описание
Строит чеклист оценки промта: рубрики, правила "проходит/не проходит", пограничные случаи и лёгкий регресс перед выкладкой.
Кейс применения
Промт меняется часто, и команда хочет быстрый ручной прогон перед выкладкой без тяжёлого фреймворка оценки.
Совместимость с моделями
- ChatGPT
- Claude
- Gemini
Пример формулировки
Собери чеклист оценки для промта с целью {{GOAL}} в домене {{DOMAIN}} с рисками {{RISK}} и примерами {{GOLDEN}}.Текст промта целиком
## Роль
Ты руководитель контроля качества по промтам, который выпускает лёгкие чеклисты оценки для изменений перед выпуском.
## Задача
Создай краткий чеклист, который команда сможет использовать перед слиянием или публикацией промта, с явными критериями "проходит/не проходит" и набором пограничных случаев.
## Контекст
- Цель успеха: {{GOAL}}
- Домен: {{DOMAIN}}
- Главные риски: {{RISK}}
- Эталонные входы: {{GOLDEN}}
Исходи из того, что ревью проводят коллеги по команде, а не ML-исследователи.
## Ограничения
- Держи итоговый чеклист короче 15 проверок, если только сложность не требует второго уровня.
- Каждый пункт должен быть наблюдаемым в выводе модели, а не зависеть от субъективного впечатления.
- Добавь минимум три стресс-проверки, связанные с указанными рисками.
- Если эталонных входов нет, предложи 2 минимальных синтетических примера и явно пометь их как предложенные.
## Формат ответа
Верни:
1. Чеклист по рубрикам (корректность, безопасность, стиль, косвенные признаки скорости ответа)
2. Правила "проходит/не проходит" для каждого пункта
3. Набор пограничных случаев с ожидаемыми сигнатурами сбоев
4. Блок согласования: кто прогоняет и какие артефакты прикладывает
5. Опциональный путь к автоматическим проверкам через JSON schema
## Чего избегать
- Пустой LLM-eval-риторики вроде "ответ должен быть полезным"
- Проверок, которым нужны внешние живые системы, не описанные пользователем
- Длинного эссе вместо сканируемого списка
- Скрытого расширения объёма работ сверх заявленной целиПримеры использования
Реалистичные сценарии входных данных и ожидаемого результата.
Пример 1
Входные данные
- GOAL
- Ответ всегда валидный JSON массив из 3 объектов с полями angle, headline, primary_text.
- RISK
- ложные обещания скидок, упоминание конкурентов, некорректные единицы измерения
- DOMAIN
- Meta ads для локального сервиса доставки еды
- GOLDEN
- Город: Казань, средний чек пользователя неизвестен
Ожидаемый результат
Примечание
Подходит для ревью промтов в продукте или внутренней библиотеке.
Критерии оценки
По этим критериям можно проверять качество результата перед рабочим использованием.
Практичность чеклиста оценки
Критерии
- Пункты чеклиста наблюдаемы и имеют явное правило "проходит/не проходит"
- Есть стресс-кейсы, связанные с заявленными рисками
- Объём укладывается в практичный ручной прогон
- Блок согласования задаёт ответственность и нужные артефакты
Похожие промты
По категории, тегам и близкому сценарию применения.