← Cloudflare Realtime / realtime / realtimekit / ai

Транскрипция

RealtimeKit предлагает два режима транскрибации на основе Cloudflare Workers AI:

RealtimeKit обрабатывает аудиопоток каждого участника отдельно. Это помогает идентифицировать каждого спикера в итоговом транскрипте.

Мы рекомендуем перейти на план Workers Paid, чтобы избежать ограничений на обработку в Workers AI на плане Free. Подробнее см. в Тарификация и лимиты тарифного плана Free.

Транскрипция в реальном времени передаёт аудио участников потоком в Deepgram Nova-3 на Workers AI и отправляет события транскрипта участникам встречи во время встречи.

Вы можете включить транскрибирование в реальном времени для участников, задав permissions.transcription_enabled: true у участника в пресет. Это позволяет решать, чье аудио будет транскрибироваться. Например, можно транскрибировать аудио выступающего, не транскрибируя аудио аудитории.

Чтобы обновить существующий пресет, используйте API для обновления пресета:

curl -X PATCH "https://api.cloudflare.com/client/v4/accounts/$ACCOUNT_ID/realtime/kit/$APP_ID/presets/$PRESET_ID" \
  -H "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "permissions": {
      "transcription_enabled": true
    }
  }'

Чтобы создать пресет, см. Справочник по API для создания пресета.

RealtimeKit транскрибирует аудио только для участников, которые присоединяются с пресетом, у которого есть permissions.transcription_enabled: true.

Во время встречи RealtimeKit передаёт обновления стенограммы в клиентский SDK потоком. Чтобы получить доступ к существующим стенограммам из meeting.ai.transcripts или прослушивайте новые события транскрипции с помощью meeting.ai.on("transcript", ...), см. Получение транскриптов в реальном времени.

Пресет определяет, чьё аудио транскрибируется. Конфигурация встречи определяет, как RealtimeKit транскрибирует это аудио. Используйте ai_config.transcription чтобы установить язык речи, улучшить распознавание пользовательских терминов и настроить фильтрацию нецензурной лексики для конкретной встречи.

curl -X POST "https://api.cloudflare.com/client/v4/accounts/$ACCOUNT_ID/realtime/kit/$APP_ID/meetings" \
  -H "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "title": "Weekly product review",
    "ai_config": {
      "transcription": {
        "language": "en-US",
        "keywords": ["RealtimeKit", "Cloudflare"],
        "profanity_filter": false
      }
    }
  }'

Транскрипция в реальном времени работает на основе Deepgram Nova-3 на Workers AI.

Nova-3 в Workers AI поддерживает для транскрипции следующие языки:

Используйте multi для автоматического определения языка среди всех перечисленных выше языков.

Если язык не указан, модель по умолчанию использует en-US. Для наилучшей точности явно укажите код языка, соответствующий вашему аудио.

Транскрипция в реальном времени отправляет клиентскому SDK промежуточные и финальные обновления транскрипта. Промежуточные обновления используйте для живых субтитров, а финальные обновления используйте для истории транскрипта или сохранённого состояния интерфейса.

// Get transcript entries already received by the client.
const transcripts = meeting.ai.transcripts;

// Listen for transcript updates during the meeting.
meeting.ai.on("transcript", (transcript) => {
	if (transcript.isPartialTranscript) {
		updateLiveCaption(transcript.peerId, transcript.transcript);
		return;
	}

	appendFinalTranscript(transcript);
});

{
	"id": "1a2b3c4d-5678-90ab-cdef-1234567890ab",
	"name": "Alice",
	"peerId": "4f5g6h7i-8j9k-0lmn-opqr-1234567890st",
	"userId": "uvwxyz-1234-5678-90ab-cdefghijklmn",
	"customParticipantId": "abc123xyz",
	"transcript": "Hello everyone",
	"isPartialTranscript": false,
	"timestamp": 1716700000000
}

Транскрибация после встречи создаёт транскрипт после завершения встречи с помощью Whisper Large v3 Turbo на Workers AI и передает его через вебхук или REST API. Чтобы определить говорящих, RealtimeKit обрабатывает аудио каждого участника отдельно перед созданием итоговый транскрипт.

Вы можете включить транскрибирование после встречи при её создании. Задайте transcribe_on_end: true чтобы сгенерировать транскрипт после завершения встречи. Чтобы также сгенерировать сводка автоматически после того, как расшифровка станет доступна, задайте summarize_on_end: true.

curl -X POST "https://api.cloudflare.com/client/v4/accounts/$ACCOUNT_ID/realtime/kit/$APP_ID/meetings" \
  -H "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "title": "Weekly product review",
    "transcribe_on_end": true,
    "summarize_on_end": true,
    "ai_config": {
      "transcription": {
        "language": "en"
      }
    }
  }'

Используйте ai_config.transcription.language чтобы задать язык транскрипта. Поддерживаемые значения см. в Поддерживаемые языки после встречи. Если transcribe_on_end не задан, RealtimeKit не создаёт итоговую стенограмму встречи.

Транскрибация после встречи поддерживает Whisper Large v3 Turbo коды языков. Не указывайте ai_config.transcription.language чтобы позволить Whisper самостоятельно определить язык речи.

К распространенным кодам языков относятся:

Транскрипты после встречи доступны в нескольких форматах. Используйте CSV или JSON для рабочих процессов приложений и SRT или VTT, если нужны файлы субтитров.

"1000","peer-123","user-456","cust-789","Alice","Hello everyone"
"3000","peer-234","user-567","cust-890","Bob","Hi Alice"

[
	{
		"startTime": 1000,
		"endTime": 2500,
		"sentence": "Hello everyone",
		"peerData": {
			"id": "peer-123",
			"userId": "user-456",
			"displayName": "Alice",
			"cpi": "cust-789",
			"joinedAt": "2024-08-07T10:15:29.000Z",
			"leftAt": ""
		}
	}
]

1
00:00:01,000 --> 00:00:02,500
Alice: Hello everyone

2
00:00:03,000 --> 00:00:04,500
Bob: Hi Alice

После того как RealtimeKit завершит обработку расшифровки после встречи, вы можете получить URL для её скачивания через вебхук или запросить его через REST API. Используйте вебхуки для асинхронных серверных процессов, а REST API применяйте, когда нужно получить расшифровку для конкретной сессии.

Настройте meeting.transcript событие в Вебхуки RealtimeKit:

{
	"event": "meeting.transcript",
	"meeting": {
		"id": "bbb8940e-1b97-402a-97d6-2708b7feca41",
		"title": "Weekly sync",
		"endedAt": "2026-06-03T10:30:00.000Z",
		"createdAt": "2026-06-03T10:00:00.000Z",
		"sessionId": "05e57591-d89e-45c9-ae44-08dc1eaad0e0",
		"startedAt": "2026-06-03T10:00:00.000Z",
		"status": "LIVE",
		"organizedBy": {
			"id": "c94c437b-592a-4a39-b9e2-47ef1451e43b",
			"name": "Example organization"
		}
	},
	"transcriptDownloadUrl": "https://example.com/transcript.csv",
	"transcriptDownloadUrlExpiry": "2026-06-10T10:30:00.000Z"
}

См. Получение полного транскрипта сессии.

curl -X GET "https://api.cloudflare.com/client/v4/accounts/$ACCOUNT_ID/realtime/kit/$APP_ID/sessions/$SESSION_ID/transcript" \
  -H "Authorization: Bearer $CLOUDFLARE_API_TOKEN"

Транскрипты доступны в течение 7 дней после завершения встречи. Скачайте или скопируйте файлы стенограммы до истечения срока действия URL-адреса, возвращённого вебхуком или REST API.

Транскрибация RealtimeKit по умолчанию записывает аудиотрек каждого участника и обрабатывает его с помощью Workers AI. Использование Workers AI оплачивается с вашего аккаунта Cloudflare через тарификация аудиомоделей, который масштабируется по аудиоминутам участников, а не по продолжительности встречи.

На плане Workers Free в Workers AI включено 10,000 Neurons в день. Чтобы использовать более 10,000 Neurons в день, перейдите на план Workers Paid. Workers Paid включает те же 10,000 бесплатных Neurons в день, а дополнительное использование выставляется по цене $0.011 за 1,000 Neurons.

Вы можете перейти на план Workers Paid в панели управления Cloudflare в разделе Управление аккаунтом.

Транскрибация RealtimeKit использует следующие тарифы аудиомоделей Workers AI:

Транскрибация RealtimeKit представляет собой управляемый процесс транскрибации. Когда транскрибация включена, RealtimeKit обрабатывает аудио участников с помощью Workers AI и сохраняет результаты транскрипта в хранилище, управляемом RealtimeKit.

Для транскрибации в реальном времени RealtimeKit передаёт в Workers AI аудио участников, у которых включена транскрибация, и отправляет обновления транскрипта участникам встречи в ходе встречи.

Для транскрибации после встречи RealtimeKit обрабатывает аудио каждого участника отдельно после завершения встречи, создаёт итоговые файлы транскрипта и предоставляет доступ к ним через вебхук или REST API.