← Cloudflare AI Gateway / ai-gateway / evaluations
Настройка Evaluations
Это руководство проведёт вас через настройку оценки в AI Gateway. Эти шаги выполняются в Панель управления Cloudflare ↗.
1. Выбор или создание датасета
Датасеты представляют собой наборы логов, которые сохраняются для анализа и могут использоваться в оценке. Вы можете создавать датасеты, применяя фильтры на вкладке Logs. Датасеты обновляются автоматически в соответствии с заданными фильтрами.
Настройка датасета на вкладке Logs
- Применяйте фильтры, чтобы сузить список логов. Варианты фильтрации включают поставщика, количество токенов, статус запроса и другое.
- Выберите Создать набор данных чтобы хранить отфильтрованные журналы для последующего анализа.
Вы можете управлять датасетами, выбрав Управление датасетами на вкладке Logs.
Список доступных фильтров
| Категория фильтра | Параметры фильтра | Фильтр по описанию |
|---|---|---|
| Статус | ошибка, статус | тип ошибки или статус. |
| Кеш | кэшировано, не кэшировано | в зависимости от того, были ли они кэшированы. |
| Провайдер | конкретные провайдеры | выбранный провайдер ИИ. |
| AI-модели | конкретные модели | выбранная модель ИИ. |
| Стоимость | меньше, больше | расходов, указав пороговое значение. |
| Тип запроса | Workers AI Binding, WebSockets | тип запроса. |
| Токены | Всего токенов, Токены на входе, Токены на выходе | количество токенов (меньше или больше). |
| Длительность | меньше, больше | длительность запроса. |
| Обратная связь | равно, не равно (палец вверх, палец вниз, без отзыва) | тип отзыва. |
| Ключ метаданных | равно, не равно | конкретные ключи метаданных. |
| Значение метаданных | равно, не равно | конкретные значения метаданных. |
| Log ID | равно, не равно | конкретный Log ID. |
| Event ID | равно, не равно | конкретный Event ID. |
2. Выбор оценщиков
После создания датасета выберите параметры оценки:
- Стоимость: рассчитывает среднюю стоимость запросов на инференс в рамках датасета (только для запросов с данные о расходах).
- Скорость: рассчитывает среднюю продолжительность запросов на инференс в рамках датасета.
- Производительность:
- Обратная связь от человека: измеряет производительность на основе обратной связи от человека, рассчитывается как % положительных оценок в журналах, аннотированных на вкладке Logs.
3. Название, проверка и запуск оценки
- Придумайте уникальное имя для своего evaluation, чтобы ссылаться на него в панели управления.
- Просмотрите выбранный датасет и инструменты оценки.
- Выберите Запуск чтобы начать процесс.
4. Просмотр и анализ результатов
Результаты оценки появятся на вкладке Evaluations. Они показывают статус оценки (например, in progress, completed или error). Будут отображены метрики для выбранных оценщиков, за исключением логов с отсутствующими полями. Также будет показано количество логов, использованных для расчёта каждой метрики.
Датасеты автоматически обновляются на основе фильтров, а оценки нет. Если вы хотите оценить новые логи, вам придётся создать новую оценку.
Используйте эти данные для оптимизации с учетом приоритетов вашего приложения. По результатам вы можете:
- Измените модель или провайдер
- Скорректируйте свои промпты
- Изучите дополнительные способы оптимизации, например настройку Генерация с дополнением поиском (RAG)