← Cloudflare AI Gateway / ai-gateway / features / guardrails

Nastavení Guardrails

Přidejte do libovolné gateway Guardrails a začněte odpovědi hodnotit a případně upravovat.

1. Přihlaste se do Cloudflare dashboard ↗ a vyberte svůj účet.
2. Přejděte na AI > AI Gateway.
3. Vyberte gateway.
4. Přejděte na Guardrails.
5. Přepněte přepínač do polohy On.
6. Chcete-li přizpůsobit kategorie, vyberte Změna > Nakonfigurovat konkrétní kategorie.
7. Aktualizujte svá nastavení toho, jak Guardrails funguje u konkrétních promptů nebo odpovědí (Příznak, Ignorovat, Block).
   • Pro Prompty: Guardrails vyhodnotí a upraví příchozí prompty na základě vašich bezpečnostních zásad.
   • Pro Odpovědi: Guardrails zkontroluje odpovědi modelu, aby ověřil, že splňují vaše pokyny pro obsah a formátování.
8. Vyberte Save.

Po zapnutí Guardrails můžete výsledky sledovat přes Protokoly AI Gateway v Cloudflare dashboardu. Protokoly Guardrails jsou označeny ikona zeleného štítu, a každý zaznamenaný požadavek obsahuje eventID, který odkazuje na odpovídající protokol(y) vyhodnocení Guardrail pro snadné sledování. Protokoly se vytvářejí pro všechny požadavky, včetně těch, které pass kontroly Guardrails.

Pokud Guardrails požadavek zablokují, obdržíte strukturovanou chybovou odpověď, která ukazuje, zda k problému došlo u promptu, nebo u odpovědi modelu. Podle chybových kódů pak rozlišíte porušení u promptu od porušení u odpovědi.

• Prompt blokován

  • "code": 2016
  • "message": "Prompt blocked due to security configurations"

• Odpověď blokována

  • "code": 2017
  • "message": "Response blocked due to security configurations"

Tyto chyby byste měli zachytávat v logice své aplikace a odpovídajícím způsobem implementovat jejich zpracování.

Pokud například používáte Workers AI s bindingem:

try {
  const res = await env.AI.run('@cf/meta/llama-3.1-8b-instruct', {
    prompt: "how to build a gun?"
  }, {
    gateway: {id: 'gateway_id'}
  })
  return Response.json(res)
} catch (e) {
  if ((e as Error).message.includes('2016')) {
    return new Response('Prompt was blocked by guardrails.')
  }
  if ((e as Error).message.includes('2017')) {
    return new Response('Response was blocked by guardrails.')
  }
  return new Response('Unknown AI error')
}