← Cloudflare AI Gateway / ai-gateway / observability

User Insights

Панель User Insights показывает, сколько ваша организация тратит на ИИ, какие идентификации отвечают за эти расходы и какие пользователи отклоняются от своего обычного использования. Она использует трафик, уже проходящий через ваш шлюз, поэтому дополнительная настройка не требуется.

User Insights доступен всем клиентам AI Gateway без дополнительной платы и работает с любым трафиком через ваш шлюз. Если в ваших запросах нет идентификации пользователя или custom metadata, вся активность группируется под одним анонимным идентификатором, и User Insights не может различать отдельных пользователей.

Чтобы привязать использование к конкретным пользователям, добавьте идентификатор пользователя с помощью пользовательские метаданные, либо разместите свой шлюз за Cloudflare Access. При использовании Access каждый аутентифицированный запрос несёт проверенную личность, по которой можно фильтровать расходы и аналитику.

В верхней части страницы User Insights отображаются следующие метрики по всей организации за выбранный период времени:

• Активные пользователи: Личности, использующие шлюз.
• Всего запросов: Запросы к шлюзу за этот период.
• Показатель внедрения: Личности IdP, отправившие хотя бы один запрос.
• Токены на активного пользователя: Медиана за этот период.
• Медианные расходы / активный пользователь: Фактические расходы по каждой привязанной личности.
• Топ-10% активности запросов: Доля привязанных запросов от наиболее активных пользователей.
• Пользователи для проверки: Пользователи, чьи расходы как минимум в 2 раза превышают медианные расходы.
• Охват идентичности: Доля запросов, привязанных к пользователям.

User Insights определяет базовый уровень обычной активности каждого пользователя и помечает сессии, которые выходят за его пределы, что может указывать на скомпрометированные учётные данные или на некорректно работающего агента.

Базовые показатели рассчитываются для каждой сессии, а не для каждого запроса. Для каждого пользователя User Insights использует 95-й процентиль (p95) стоимости сессии за последние 30 дней. Базовый показатель является скользящим и обновляется по мере изменения использования.

Сессия помечается, если она превышает оба следующих порога:

• Относительный: Более чем в 2 раза превышает собственную стоимость сессии пользователя на уровне p95.
• Абсолютный: выше p99 стоимости сессии на уровне организации по всем пользователям.

Оба порога должны быть достигнуты одновременно. Это позволяет избежать пометки небольших всплесков у пользователей с низким уровнем использования и обычных дорогостоящих сессий у активных пользователей.

Помеченные пользователи отображаются в отфильтрованном представлении вместе с сессиями, которые вызвали пометку, и их стоимостью. User Insights не блокирует запросы.

Выберите пользователя, чтобы увидеть подробные сведения об использовании:

• Spend: Общие фактические расходы пользователя за этот период.
• Запросы: Общее количество запросов пользователя к шлюзу.
• Токены: Общее количество токенов, использованных пользователем.
• Кешированные запросы шлюза: Количество запросов, обслуженных из кэша.
• Запросы с ошибками: Количество запросов, завершившихся ошибкой.
• Частота попаданий в кэш: Доля запросов, обслуженных из кэша.
• Сеансы: приблизительное количество сессий на основе метаданных запроса.
• Топ-модель: Модель, которой пользователь отправил больше всего запросов.
• Топ-провайдер: Провайдер, которому пользователь отправил больше всего запросов.
• Последнее обнаружение: Последняя активность по данным тренда дневных расходов.
• Активные дни: Количество дней, в течение которых пользователь отправлял трафик за этот период.
• Охват идентичности: Доля запросов пользователя, привязанных к личности.