← Cloudflare SSL/TLS / ssl / keyless-ssl / reference

Метрики сервера ключей

Сервер ключей gokeyless предоставляет Prometheus ↗ конечная точка метрик, которую можно использовать для мониторинга производительности подписания, частоты ошибок, состояния соединений и срока действия сертификатов. Эту конечную точку также может опрашивать приемник Prometheus в OpenTelemetry Collector, что делает метрики доступными для любого бэкенда, совместимого с OpenTelemetry.

По умолчанию метрики доступны по адресу:

http://<host>:2406/metrics

Порт настраивается с помощью metrics_port ключ в файле конфигурации, --metrics-port флаг, либо KEYLESS_METRICS_PORT переменную окружения.

Эта конечная точка обслуживает только /metrics. Дополнительных HTTP-эндпоинтов, таких как /health или /debug.

Все метрики-гистограммы используют одну и ту же конфигурацию бакетов: 15 экспоненциальных бакетов, начиная со 100 микросекунд и удваиваясь на каждом шаге вплоть до примерно 1.64 секунды, плюс финальный +Inf bucket.

Тип: Счётчик
Метки: opcode

Учитывает каждый входящий запрос, полученный через установленное подключение, независимо от результата. Увеличивается на единицу для каждого запроса до начала его обработки.

opcode метка использует полное имя константы из протокола gokeyless.

Тип: Гистограмма
Метки: type, error

Измеряет время выполнения одной операции: от начала обработки до получения ответа. Для операций на базе PKCS#11 HSM сюда входит полное время ожидания сессии из пула плюс время выполнения криптографической операции HSM.

Эта метрика не учитывает время, которое запрос проводит в ожидании слота семафора соединений. Это время учитывается в keyless_request_total_duration_per_opcode.

Для этой метки коды операций объединены в более крупные категории:

Для успешных запросов значение равно no error. Все остальные значения указывают на неудачное выполнение операции.

Тип: Гистограмма
Метки: type, error (те же значения, что и keyless_request_exec_duration_per_opcode)

Измеряет общее время обработки запроса: от чтения пакета запроса из сети до записи байтов ответа обратно клиенту.

total_duration = exec_duration + response_write_time

Обе временные метки фиксируются уже после захвата семафора соединения, поэтому время ожидания в очереди семафора не включается ни в одну из гистограмм. При обычной нагрузке общая длительность и длительность выполнения приблизительно равны. Увеличивающийся разрыв между ними говорит о медленной записи данных обратно клиенту, например из-за обратного давления в сети между сервером ключей и периферийной сетью Cloudflare.

Тип: Гистограмма
Метки: Нет

Измеряет время, которое требуется хранилищу ключей для поиска и возврата закрытого ключа по каждому запросу, с группировкой по SKI, SNI и IP-адресу сервера.

• Для файловых хранилищ ключей это операция поиска по карте, которая обычно занимает менее миллисекунды.
• Для хранилищ ключей PKCS#11 или HSM это может включать сетевой запрос к HSM, если ссылки на ключи не кэшированы в памяти.

Эта метрика фиксируется для всех операций подписи и расшифровки: OpRSADecrypt, все OpRSASign*, все OpRSAPSSSign*, все OpECDSASign*, а также OpEd25519Sign.

Это не записано для OpPing, OpSeal, OpUnseal, OpRPC, или OpCustom, для которых не требуется поиск закрытого ключа.

Тип: Счётчик
Метки: Нет

Учитывает сбои транспортного уровня на уровне подключения. Эта метрика отражает проблемы на сетевом уровне или уровне TLS: она не учитывает ошибки подписи или поиска ключей, которые отражаются в error метка гистограмм длительности.

Тип: Датчик
Метки: source, serial_no, cn, hostnames, ca, server, client

Указывает время истечения срока действия (NotAfter) каждого сертификата, загруженного сервером ключей, в виде метки времени Unix. Для каждого сертификата формируется отдельный временной ряд.

Эта метрика обновляется:

• При запуске для сертификата проверки подлинности сервера (auth_cert) и сертификат удостоверяющего центра Cloudflare (cloudflare_ca_cert).
• При каждом успешном входящем TLS-соединении: для сертификатов, которые предоставляет подключающийся клиент.

sum by (opcode) (rate(keyless_requests[1m]))

sum by (error) (
  rate(keyless_request_exec_duration_per_opcode_count{error!="no error"}[5m])
)

histogram_quantile(
  0.99,
  rate(keyless_request_exec_duration_per_opcode_bucket{type="rsa"}[5m])
)

Значение, приближающееся к 10 секундам, указывает на исчерпание пула сессий PKCS#11. См. Масштабирование и тестирование производительности и документацией вашего HSM для получения инструкций по увеличению размера пула сеансов.

histogram_quantile(0.99, rate(keyless_key_load_duration_bucket[5m]))

Всплеск здесь без соответствующего всплеска длительности выполнения указывает на то, что медленным является сам поиск в хранилище ключей: возможна проблема с дисковым вводом-выводом или задержка перечисления объектов PKCS#11.

rate(keyless_failed_connection_total[5m])

Устойчиво ненулевое значение указывает на проблемы с сетью или TLS между сетью Cloudflare и вашим сервером ключей.

(certificate_expiration_timestamp_seconds - time()) / 86400 < 30