← Cloudflare AI Gateway / ai-gateway / features

Ukládání do mezipaměti

Když je ukládání do mezipaměti povolené, AI Gateway může ukládat odpovědi od vašich poskytovatelů AI modelů do mezipaměti a u identických požadavků je pak obsluhovat přímo z mezipaměti Cloudflare.

• Snížená latence: Odpovídejte uživatelům rychleji, protože se u opakovaných požadavků obejdete bez zpátečního volání ke zdrojovému poskytovateli AI.
• Úspora nákladů: Minimalizujte počet placených požadavků na vašeho poskytovatele AI, zejména u často přistupovaného nebo nedynamického obsahu.
• Vyšší propustnost: Odlehčete poskytovateli AI od opakujících se požadavků, aby mohl efektivněji zpracovávat ty jedinečné.

Ukládání do mezipaměti je ve výchozím nastavení vypnuté. Chcete-li ho zapnout globálně, nastavte výchozí konfiguraci mezipaměti:

Když je ukládání do mezipaměti povoleno globálně, výchozí chování se uplatní na všechny požadavky, které ukládání do mezipaměti podporují. Jednotlivé požadavky můžete do ukládání do mezipaměti zapojit i samostatně, případně jejich nastavení mezipaměti přepsat pomocí hlaviček pro jednotlivé požadavky.

Chcete-li zjistit, zda odpověď pochází z mezipaměti, cf-aig-cache-status bude označen jako HIT nebo MISS.

AI Gateway ve výchozím nastavení sestaví klíč mezipaměti tak, že spojí následující údaje a výsledek zahashuje pomocí SHA-256:

• Poskytovatel (například openai, anthropic)
• Endpoint (cesta API)
• Model (například gpt-4o)
• Hlavička ověřování poskytovatele (například Authorization bearer token)
• Úplné tělo požadavku

To znamená, že ukládání do mezipaměti je založené na přesná shoda z celého požadavku. Jakýkoli rozdíl v těle, včetně zpráv, nástrojů nebo parametrů modelu, povede k vytvoření samostatné položky v mezipaměti. Chcete-li toto chování přepsat, použijte hlavička vlastního klíče mezipaměti.

Výchozí nastavení mezipaměti vašeho gateway sice poskytuje dobrý základ, ale někdy budete potřebovat podrobnější kontrolu. Může jít například o aktuálnost dat, obsah s různou životností nebo dynamické či personalizované odpovědi.

Aby AI Gateway vyhověl těmto potřebám, umožňuje pomocí konkrétních HTTP hlaviček přepsat výchozí chování ukládání do mezipaměti pro jednotlivé požadavky. Díky tomu můžete ukládání do mezipaměti přesně doladit pro jednotlivá volání API.

Následující hlavičky umožňují definovat toto chování mezipaměti pro jednotlivé požadavky:

Přeskočení mezipaměti znamená obejití mezipaměti a získání požadavku přímo od původního poskytovatele, bez použití jakékoli uložené kopie.

Můžete použít hlavičku cf-aig-skip-cache k obejití uložené verze požadavku v mezipaměti.

Například při odesílání požadavku do OpenAI zahrňte hlavičku následujícím způsobem:

# Run `wrangler whoami` to get your account ID to replace $CLOUDFLARE_ACCOUNT_ID,
# and `wrangler auth token` to get an auth token to replace $CLOUDFLARE_API_TOKEN.
curl -X POST "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/v1/chat/completions" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --header "Content-Type: application/json" \
  --header "cf-aig-skip-cache: true" \
  --data '{
    "model": "openai/gpt-4.1-mini",
    "messages": [
      {
        "role": "user",
        "content": "how to build a wooden spoon in 3 short steps? give as short as answer as possible"
      }
    ]
  }'

TTL mezipaměti, neboli Time To Live, je doba, po kterou zůstává uložený požadavek platný, než vyprší a znovu se načte ze zdroje. Použijte cf-aig-cache-ttl k nastavení doby ukládání do mezipaměti pro požadavek, který již mezipaměť používá. Pokud chcete do ukládání do mezipaměti zahrnout jednotlivý požadavek, přidejte cf-aig-cache-key. Minimální TTL je 60 sekund a maximální TTL je jeden měsíc.

Pokud například nastavíte TTL na jednu hodinu, znamená to, že požadavek zůstane v mezipaměti po dobu jedné hodiny. Během této hodiny bude identický požadavek obsloužen z mezipaměti místo z původního API. Po uplynutí hodiny platnost mezipaměti vyprší a požadavek půjde na původní API pro novou odpověď, kterou se mezipaměť znovu naplní na další hodinu.

Například při odesílání požadavku do OpenAI zahrňte hlavičku následujícím způsobem:

# Run `wrangler whoami` to get your account ID to replace $CLOUDFLARE_ACCOUNT_ID,
# and `wrangler auth token` to get an auth token to replace $CLOUDFLARE_API_TOKEN.
# Use a key shared only by requests with equivalent responses.
curl -X POST "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/v1/chat/completions" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --header "Content-Type: application/json" \
  --header "cf-aig-cache-key: responseWithCustomTtl" \
  --header "cf-aig-cache-ttl: 3600" \
  --data '{
    "model": "openai/gpt-4.1-mini",
    "messages": [
      {
        "role": "user",
        "content": "how to build a wooden spoon in 3 short steps? give as short as answer as possible"
      }
    ]
  }'

cf-aig-cache-key hlavička umožňuje přepsat výchozí klíč mezipaměti a zapojit požadavek do ukládání do mezipaměti.

Zvolte vlastní klíč, který seskupuje pouze požadavky se shodnými odpověďmi. Požadavky se stejným vlastním klíčem sdílejí odpověď uloženou v mezipaměti. Když použijete cf-aig-cache-key hlavičku poprvé, obdržíte odpověď od poskytovatele. Následné požadavky se stejnou hodnotou vlastního klíče vrátí odpověď z mezipaměti. Pokud zahrnete cf-aig-cache-ttl, požadavek použije tuto hodnotu jako TTL mezipaměti. V opačném případě požadavek použije výchozí TTL mezipaměti nastavené pro bránu. U požadavků, které obsahují cf-aig-cache-key, TTL mezipaměti je 5 minut, pokud není nastaven ani cf-aig-cache-ttl ani výchozí TTL mezipaměti brány není nakonfigurováno.

Například při odesílání požadavku do OpenAI zahrňte hlavičku následujícím způsobem:

# Run `wrangler whoami` to get your account ID to replace $CLOUDFLARE_ACCOUNT_ID,
# and `wrangler auth token` to get an auth token to replace $CLOUDFLARE_API_TOKEN.
curl -X POST "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/v1/chat/completions" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --header "Content-Type: application/json" \
  --header "cf-aig-cache-key: responseA" \
  --data '{
    "model": "openai/gpt-4.1-mini",
    "messages": [
      {
        "role": "user",
        "content": "how to build a wooden spoon in 3 short steps? give as short as answer as possible"
      }
    ]
  }'