← Cloudflare AI Gateway / ai-gateway / integrations

Nastavení Workers AI s AI Gateway

Tento návod vás provede nastavením a nasazením projektu Workers AI. Použijete Workers, vazbu AI Gateway a velký jazykový model (LLM) k nasazení své první aplikace využívající AI v globální síti Cloudflare.

1. Zaregistrujte si účet Cloudflare ↗.
2. Nainstalujte Node.js ↗.

Nový projekt Worker vytvoříte pomocí CLI nástroje create-Cloudflare (C3). C3 je nástroj příkazové řádky určený k tomu, aby vám pomohl nastavit a nasadit nové aplikace na Cloudflare.

Vytvořte nový projekt s názvem hello-ai spuštěním:

npm create cloudflare@latest -- hello-ai

Spouštění npm create cloudflare@latest vás vyzve k instalaci balíčku create-cloudflare a provede vás nastavením. C3 také nainstaluje Wrangler, CLI nástroj pro Cloudflare Developer Platform.

Při nastavení vyberte následující možnosti:

• Pro S čím byste chtěli začít?, vyberte Hello World example.
• Pro Jakou šablonu chcete použít?, vyberte Worker only.
• Pro Jaký jazyk chcete použít?, vyberte TypeScript.
• Pro Chcete používat git pro správu verzí?, vyberte Yes.
• Pro Chcete nasadit svou aplikaci?, vyberte No (před nasazením provedeme ještě několik změn).

Tímto vytvoříte nový hello-ai adresáři. Váš nový hello-ai adresář bude obsahovat:

• Worker „Hello World“ na src/index.ts.
• A Konfigurační soubor Wrangler

Přejděte do adresáře své aplikace:

cd hello-ai

Aby se váš Worker mohl připojit ke službě Workers AI, musíte pro něj vytvořit AI binding. Bindings umožňují Workers pracovat s prostředky platformy Cloudflare Developer Platform, jako je Workers AI.

Chcete-li navázat Workers AI na svůj Worker, přidejte následující na konec svého Konfigurační soubor Wrangler:

{
	"ai": {
		"binding": "AI",
	},
}

[ai]
binding = "AI"

Váš binding je dostupné ve kódu vašeho Workeru na env.AI.

Můžete použít "default" jako ID gateway v dalším kroku. AI Gateway automaticky vytvoří výchozí gateway při prvním autentizovaném požadavku. Případně můžete Vytvořit gateway ručně a použijte jeho ID.

Nyní jste připraveni spustit inferenční úlohu ve svém Workeru. V tomto případě použijete LLM, llama-3.1-8b-instruct-fast, k zodpovězení otázky.

Aktualizujte index.ts soubor v hello-ai adresáři aplikace s následujícím kódem:

export interface Env {
	// If you set another name in the [Wrangler configuration file](/workers/wrangler/configuration/) as the value for 'binding',
	// replace "AI" with the variable name you defined.
	AI: Ai;
}

export default {
	async fetch(request, env): Promise<Response> {
		// Specify the gateway label and other options here
		const response = await env.AI.run(
			"@cf/meta/llama-3.1-8b-instruct-fast",
			{
				prompt: "What is the origin of the phrase Hello, World",
			},
			{
				gateway: {
					id: "default", // Uses the default gateway, or replace with your gateway ID
					skipCache: true, // Optional: Skip cache if needed
				},
			},
		);

		// Return the AI response as a JSON object
		return new Response(JSON.stringify(response), {
			headers: { "Content-Type": "application/json" },
		});
	},
} satisfies ExportedHandler<Env>;

Až doposud jste pro svůj Worker vytvořili AI binding a nakonfigurovali Worker tak, aby mohl spouštět model Llama 3.1. Nyní můžete svůj projekt otestovat lokálně, než jej nasadíte globálně.

V adresáři svého projektu otestujte Workers AI lokálně spuštěním wrangler dev:

npx wrangler dev

K přihlášení budete vyzváni po spuštění wrangler dev. Když spustíte npx wrangler dev, Wrangler vám poskytne adresu URL (nejspíše localhost:8787) a zkontrolujte svého Workera. Po přechodu na adresu URL, kterou poskytne Wrangler, se zobrazí zpráva podobná následujícímu příkladu:

{
  "response": "A fascinating question!\n\nThe phrase \"Hello, World!\" originates from a simple computer program written in the early days of programming. It is often attributed to Brian Kernighan, a Canadian computer scientist and a pioneer in the field of computer programming.\n\nIn the early 1970s, Kernighan, along with his colleague Dennis Ritchie, were working on the C programming language. They wanted to create a simple program that would output a message to the screen to demonstrate the basic structure of a program. They chose the phrase \"Hello, World!\" because it was a simple and recognizable message that would illustrate how a program could print text to the screen.\n\nThe exact code was written in the 5th edition of Kernighan and Ritchie's book \"The C Programming Language,\" published in 1988. The code, literally known as \"Hello, World!\" is as follows:\n\n    main()\n    {\n      printf(\"Hello, World!\");\n    }\n\nThis code is still often used as a starting point for learning programming languages, as it demonstrates how to output a simple message to the console.\n\nThe phrase \"Hello, World!\" has since become a catch-all phrase to indicate the start of a new program or a small test program, and is widely used in computer science and programming education.\n\nSincerely, I'm glad I could help clarify the origin of this iconic phrase for you!"
}

Před globálním nasazením vašeho AI Workeru se přihlaste ke svému účtu Cloudflare spuštěním:

npx wrangler login

Budete přesměrováni na webovou stránku s výzvou k přihlášení do dashboardu Cloudflare. Po přihlášení se zobrazí dotaz, zda Wrangler smí provádět změny ve vašem účtu Cloudflare. Přejděte dolů a vyberte Allow pokračovat.

Nakonec nasaďte svůj Worker, aby byl projekt dostupný na internetu. Worker nasadíte příkazem:

npx wrangler deploy

Po nasazení bude váš Worker dostupný na adrese URL, například:

https://hello-ai.<YOUR_SUBDOMAIN>.workers.dev

Váš Worker bude nasazen na vaši vlastní workers.dev subdoména. Nyní můžete přejít na tuto adresu URL a spustit svého AI Workera.

Dokončením tohoto návodu jste vytvořili Worker, připojili ho k Workers AI prostřednictvím vazby AI Gateway a úspěšně spustili inferenční úlohu s modelem Llama 3.1.

• Workers bindings : Volejte modely třetích stran, přistupujte k metodám gateway a integrujte se s AI SDK.