2018.08.15

AWS Snowball を使用して大量データをS3に移行(前編)

  • このエントリーをはてなブックマークに追加
  • follow us in feedly

はじめに

AWS Snowball とは

オンプレミス環境からAWSにデータを転送する際はネットワーク経由での転送となります。
しかし、ネットワーク経由でのデータ転送は、帯域や回線品質に速度が左右されます。
データセンター丸ごとAWSに移行したい、といった時に、ネット回線を使用して全データを転送したら数年かかる可能性がある、という事があり得ます。
Snowballはそのような時の為に、専用のデータストレージをAWSに送り付けてS3にインポートしてもらうといった機能です。

Snowballを使用する全体の流れ

Job作成

マネージメントコンソール上から Snowball の Job を作成します。
必要な情報は以下の通りです

  • Snowballの送り先住所
  • Job名
  • 転送先S3バケット
  • Snowball用のロール(自動作成可能)

Snowball受け取り

Jobが作成されて 2~3日程度で送り先住所にSnowballが配達されます。
AmazonPrimeではなく、普通の運送業者さんが持ってきます。
注意事項として、Snowball到着日程及び時刻は指定できません(2017/09 現在)

Snowball の全体図

大きさがわかりにくいですが、ATXのPCの周りに大きめの耐衝撃用の部品をくっつけている感じのサイズです。 割と大きいので、置く場所の考慮も必要となります。

オンプレ環境 → Snowball

オンプレ環境からSnowballにデータを転送します。
SnowballへはUSBなどの直接転送ではなく。ネットワーク経由での転送となります。
また、Snowball Client というアプリをインストールした中継機が必須です。
中継機の推奨スペックは、CPU16コア以上、メモリ16GB以上、10GbEネットワーク となっており、そこそこのスペックが要求されます。
転送に必要な時間は中継機のスペックに依存します。
推奨スペックの中継機を使用すると 「1 つの 80 TB の Snowball では、2 日半で 80 TB のデータをコピーできます」だそうです。
この時に必要な時間を計測する方法がありますが、それは(後編)で。

Snowball の背面

Snowballの背面です。 電源ケーブルと LANケーブル 又は SFPケーブル を接続するシンプルなものです。

Snowball の前面

転送中も「準備完了」となっていて、転送されているかどうかはわかりません。 Snowball の IP設定もこの画面で行うのですが、結構狭いのでタッチパネル用のペンがあった方がいいです。

Snowball返送

プライベートプレビュー時はSnowballが送られてきた箱に返送用の送り状が入っていました。
その送り状を貼り付け、指定の運送業者に集荷してもらいます。

Snowball → S3

データ量にもよりますが、AWS内でS3へのインポートを行うのに、5~10日必要です。 ファイル数にもよりますが、弊社実績だと、2TBのデータで、返送 + インポート の合計時間が7日でした。

全体で必要な時間は?

Snowball Job 作成から S3 で閲覧可能になるまでの時間は

Job作成
 ↓
(3日)
 ↓
到着・転送開始
 ↓
(テストコマンドでの転送時間見積)
 ↓
返送
 ↓
(5~10日)
 ↓
 S3

となります。

Snowballの使い時

Snowballを使った方が早い場合と、Snowballを使わずにネットワーク経由で転送した方が早い場合があります。その判断基準は大まかに以下の通りです。

回線速度

AWSにネットワークで接続する方法は大まかに以下の3通りが考えられます。

  • 通常回線による接続
  • VPN接続によるプライベート接続
  • AWS DirectConnect によるプライベート接続

これらのいずれの場合でも、転送予定のデータ量をもとに転送時間を見積もります。
年単位でかかりそうな場合は間違いなくSnowballの使用を検討します。
数週間で終わりそうな場合は、ネットワークでの転送の方がコストが削減できる可能性があります。

オンプレ→Snowballへの転送時間

オンプレ→Snowballへの転送速度は中継機のスペックに依存するので、snowball test コマンドを使用して転送速度の見積を行います。
ネットワーク経由でAWSに転送した場合と、Snowballを使用してAWSに転送した場合とを比較し、判断します。

コスト

Snowballはジョブあたりの料金が 80TBの場合、250 USD となっております。
それに加えて、Snowballのレンタル時間が10日を超える場合は、一日あたり 15 USDの追加料金が必要となります。
※到着日と発送日は10日にカウントされません。

転送時間、コストをトータルで考えて、Snowballを使用するかどうかを判断します。

注意事項まとめ

データセンターへの着日時は指定できません

2017年09月現在、Snowball Job 作成時にデータセンターへのSnowballの到着日付、時間指定などの指定はできません。
金曜日にJob作成すると、土日に到着してしまう可能性もありますので、Job作成タイミングには注意が必要です。

Snowball を受け取れなかった場合

配送時にSnowballを受け取れなかった場合、配送業者様のポリシーに従って再配送が行われます。
Snowball が受け取れなかった際にAWSに返送されたり、Snowballジョブがキャンセルされる事はありません。

転送はネットワーク経由です

Snowballは外付けHDDというより、NASに近い物です。
転送元サーバーと同じネットワーク上に設置する事になります。
LANケーブルを使用する場合はルーターやスイッチに空きポートが必要です。
SFPを使用する場合も同様の注意が必要です。

中継機が必要です

Snowballにネットワークで転送する際に、暗号化を行うための中継機が必要です。
中継機の推奨スペックは、CPU16コア以上、メモリ16GB以上 です。 推奨スペック以下でも動作はしますが、速度は遅いです。

配線について

Snowball付属のLANケーブル、電源ケーブルは短いです(1メートルくらい)
リアパネルのリールに割とガチガチで巻き付けられているので、断線していないかちょっと不安です。
このリールが割とくせもので、付属ケーブルをしっかりはみ出さないように巻かないと、Snowballのリアパネルがちゃんと閉まりません。
リアパネルがちゃんと閉まっていないとS3にインポートしてもらえないので、気を付けなければいけません。
Snowballを配線する上で一番困ったのはここでした。

Snowballのケーブルリール

Snowballのケーブルがガチガチに巻かれているリールです。 少しでもケーブルがはみ出ているとパネルが閉まりません。

使用方法

具体的な使用方法に関しましては、(後編)で解説します。
27 件

関連する記事