← Cloudflare R2 / r2 / data-migration

Super Slurper

Super Slurper umožňuje rychle a snadno kopírovat objekty z jiných cloudových poskytovatelů do vybraného bucketu R2.

Migrační úlohy:

• Vlastní metadata objektů ze zdrojového bucketu zachováte tak, že je zkopírujete na migrované objekty v R2.
• Neodstraňujte žádné objekty ze zdrojového bucketu.
• Pro bezpečný a soukromý přenos objektů používejte šifrování TLS přes připojení HTTPS.

Použití Super Slurper jako součásti strategie se vyplatí, pokud bucket cloudového úložiště, který migrujete, obsahuje převážně objekty menší než 1 TB. Objekty větší než 1 TB budou přeskočeny a je nutné je zkopírovat samostatně.

Pro migrační scénáře, které nesplňují výše uvedená kritéria, doporučujeme použít nástroje jako rclone.

1. V dashboardu Cloudflare přejděte na Migrace dat R2 stránce.

   Přejděte na Migrace dat ↗

2. Vyberte Migrace souborů.

3. Vyberte zdrojového poskytovatele cloudového úložiště, ze kterého budete migrovat data.

4. Zadejte název zdrojového bucketu a přidružené přihlašovací údaje a vyberte Next.

5. Zadejte název bucketu R2 a přidružené přihlašovací údaje a vyberte Next.

6. Až zkontrolujete podrobnosti migrace, vyberte Migrace souborů.

Stav své migrační úlohy můžete kdykoli zobrazit výběrem migrace z Migrace dat stránce.

Toto nastavení určuje prefix ve zdrojovém bucketu, ze kterého se budou objekty kopírovat.

Toto nastavení určuje, co se stane, pokud objekt kopírovaný ze zdrojového úložného bucketu odpovídá cestě existujícího objektu v cílovém bucketu R2. Existují dvě možnosti:

• Přepsat (výchozí)
• Přeskočit

Cloudflare v současné době podporuje kopírování dat do R2 z těchto poskytovatelů cloudového objektového úložiště:

• Amazon S3
• Cloudflare R2
• Google Cloud Storage (GCS)
• Všichni poskytovatelé úložiště kompatibilní s S3

Následující poskytovatelé úložiště kompatibilního s S3 byli otestováni a ověřeni pro použití se Super Slurper:

• Backblaze B2
• DigitalOcean Spaces
• Scaleway Object Storage
• Wasabi Cloud Object Storage

Super Slurper by měl podporovat přenosy ze všech poskytovatelů úložiště kompatibilních s S3, avšak výslovně otestovány byly pouze uvedené poskytovatelé.

Aby mohl Super Slurper kopírovat objekty z Amazon S3, potřebuje přístupová oprávnění k vašemu bucketu S3. Můžete použít libovolné přihlašovací údaje uživatele AWS Identity and Access Management (IAM) se správnými oprávněními, Cloudflare ale doporučuje vytvořit uživatele s úzkou sadou oprávnění.

Chcete-li vytvořit přihlašovací údaje se správnými oprávněními:

1. Přihlaste se ke svému účtu AWS IAM.
2. Vytvořte zásadu v následujícím formátu a nahraďte <BUCKET_NAME> s bucketem, ke kterému chcete udělit přístup:

{
	"Version": "2012-10-17",
	"Statement": [
		{
			"Effect": "Allow",
			"Action": ["s3:Get*", "s3:List*"],
			"Resource": ["arn:aws:s3:::<BUCKET_NAME>", "arn:aws:s3:::<BUCKET_NAME>/*"]
		}
	]
}

3. Vytvořte nového uživatele a připojte k němu vytvořenou zásadu.

Nyní můžete při definování zdrojového bucketu použít Access Key ID i Secret Access Key.

Aby mohl Super Slurper kopírovat objekty z Google Cloud Storage (GCS), potřebuje přístupová oprávnění k vašemu bucketu GCS. Můžete použít předdefinovanou Storage Admin roli, ale Cloudflare doporučuje vytvořit vlastní roli s užší sadou oprávnění.

Chcete-li vytvořit vlastní roli s potřebnými oprávněními:

1. Přihlaste se do konzole Google Cloud.
2. Přejděte na IAM & Admin > Role.
3. Najděte Storage Object Viewer roli a vyberte Vytvořit roli z této role.
4. Pojmenujte svou novou roli.
5. Vyberte Přidání oprávnění a přidejte storage.buckets.get oprávnění.
6. Vyberte Vytvořit.

Chcete-li vytvořit přihlašovací údaje s vaší vlastní rolí:

1. Přihlaste se do konzole Google Cloud.
2. Přejděte na IAM & Admin > Servisní účty.
3. Vytvořte účet služby s vlastní rolí.
4. Přejděte na Klíče kartě účtu služby, který jste vytvořili.
5. Vyberte Add Key > Vytvoření nového klíče a stáhněte soubor JSON klíče.

Nyní můžete tento soubor s JSON klíčem použít při aktivaci Super Slurper.

Generování ETagů v R2 je při běžném provozu kompatibilní s S3, avšak při migraci objektu pomocí Super Slurper není zaručeno, že si budou ETagy odpovídat. Super Slurper samostatně rozhoduje o operacích, které při migraci objektů použije, aby optimalizoval výkon a využití sítě. Objekt může migrovat po částech, což ovlivňuje Výpočet ETag.

Pokud byl například objekt o velikosti 320 MiB do S3 původně nahrán pomocí jediného PutObject operace může být migrována do R2 prostřednictvím vícedílných operací. V takovém případě se ETag objektu v R2 nebude shodovat s ETag v S3. Stejně tak objekt, který byl původně nahrán do S3 pomocí vícedílných operací, může mít odlišný ETag v R2, pokud se velikosti částí, které Super Slurper zvolí pro migraci, liší od velikostí částí, se kterými byl tento objekt původně nahrán.

Spoléhat se na shodu ETags před migrací a po ní se proto nedoporučuje.

Objekty uložené pomocí AWS S3 archivační třídy úložiště ↗ budou přeskočeny a je nutné je zkopírovat samostatně. Konkrétně:

• Soubory uložené v úrovních S3 Glacier (kromě Glacier Instant Retrieval) budou přeskočeny a zaznamenány do protokolu migrace.
• Soubory uložené pomocí S3 Intelligent Tiering a umístěné v úrovni Deep Archive budou přeskočeny a zaznamenány do protokolu migrace.