← Cloudflare AI Gateway / ai-gateway / evaluations

Добавление обратной связи от человека через Dashboard

Обратная связь от человека является ценной метрикой для оценки работы ваших ИИ-моделей. Учитывая обратную связь от человека, вы получаете более глубокое понимание того, как пользователи воспринимают ответы модели и насколько хорошо она работает с их точки зрения. Этот отзыв затем можно использовать в evaluations для расчёта показателей производительности, что способствует оптимизации и в конечном счёте повышает надёжность, точность и эффективность вашего ИИ-приложения.

Обратная связь от человека измеряет производительность вашего датасета на основе прямого ввода данных человеком. Эта метрика рассчитывается как процент положительных оценок ("нравится"), проставленных в журналах, которые аннотируются на вкладке Logs в панели управления Cloudflare. Такой отзыв помогает уточнить производительность модели с учётом реальных evaluations её результатов.

Этот туториал проведёт вас через процесс добавления обратной связи от человека к оценкам в AI Gateway с помощью панели управления Cloudflare.

В следующем руководстве вы сможете узнайте, как добавить обратную связь через API.

На панели управления Cloudflare перейдите к разделу AI Gateway страницу.

1. Перейдите в Журналы.
2. Вкладка Logs отображает все логи, связанные с вашими датасетами. Эти логи показывают ключевую информацию, включая:
   • Отметка времени: когда произошло взаимодействие.
   • Статус: указывает, был ли запрос успешным, получен из кеша или завершился ошибкой.
   • Модель: модель, использованная в запросе.
   • Токены: количество токенов, потраченных на ответ.
   • Стоимость: стоимость на основе использования токенов.
   • Продолжительность: время, затраченное на формирование ответа.
   • Feedback: раздел, где можно оставить обратную связь от человека для каждого лога.

1. Нажмите на запись журнала, которую хотите просмотреть. Это раскроет запись и покажет более подробную информацию.
2. В развёрнутом журнале можно просмотреть дополнительные сведения, такие как:
   • Промпт пользователя.
   • Ответ модели.
   • Подробности HTTP-ответа.
   • Информация об эндпойнте.
3. Вы увидите две иконки:
   • Большой палец вверх: обозначает положительный отзыв.
   • Большой палец вниз: обозначает отрицательный отзыв.
4. Нажмите на значок с поднятым или опущенным пальцем в зависимости от того, как вы оцениваете ответ модели для этой записи журнала.

После того как вы оставите отзыв о логах, он становится частью процесса оценки.

Когда вы запускаете оценку (как описано в Настройте Evaluations руководство), метрика обратной связи от пользователей будет рассчитываться на основе доли логов, получивших положительную оценку.

После запуска оценки посмотрите результаты на вкладке Evaluations. Вы сможете увидеть производительность модели по стоимости, скорости и, теперь, обратной связи от людей, выраженной в виде процента положительных оценок (значок «палец вверх»).

Оценка обратной связи от человека отображается в виде процента, показывающего долю положительно оценённых ответов в базе данных.

Подробнее о запуске evaluations см. в документации Настройте Evaluations.