AWS Snowball を使用して大量データをS3に移行（前編）

AWS Snowball とは

オンプレミス環境からAWSにデータを転送する際はネットワーク経由での転送となります。
しかし、ネットワーク経由でのデータ転送は、帯域や回線品質に速度が左右されます。
データセンター丸ごとAWSに移行したい、といった時に、ネット回線を使用して全データを転送したら数年かかる可能性がある、という事があり得ます。
Snowballはそのような時の為に、専用のデータストレージをAWSに送り付けてS3にインポートしてもらうといった機能です。

Job作成

マネージメントコンソール上から Snowball の Job を作成します。
必要な情報は以下の通りです

• Snowballの送り先住所
• Job名
• 転送先S3バケット
• Snowball用のロール(自動作成可能)

Snowball受け取り

Jobが作成されて 2～3日程度で送り先住所にSnowballが配達されます。
AmazonPrimeではなく、普通の運送業者さんが持ってきます。
注意事項として、Snowball到着日程及び時刻は指定できません（2017/09 現在）

オンプレ環境 → Snowball

オンプレ環境からSnowballにデータを転送します。
SnowballへはUSBなどの直接転送ではなく。ネットワーク経由での転送となります。
また、Snowball Client というアプリをインストールした中継機が必須です。
中継機の推奨スペックは、CPU16コア以上、メモリ16GB以上、10GbEネットワーク となっており、そこそこのスペックが要求されます。
転送に必要な時間は中継機のスペックに依存します。
推奨スペックの中継機を使用すると 「1 つの 80 TB の Snowball では、2 日半で 80 TB のデータをコピーできます」だそうです。
この時に必要な時間を計測する方法がありますが、それは（後編）で。

Snowball返送

プライベートプレビュー時はSnowballが送られてきた箱に返送用の送り状が入っていました。
その送り状を貼り付け、指定の運送業者に集荷してもらいます。

Snowball → S3

データ量にもよりますが、AWS内でS3へのインポートを行うのに、5～10日必要です。 ファイル数にもよりますが、弊社実績だと、2TBのデータで、返送 + インポート の合計時間が7日でした。

全体で必要な時間は？

Snowball Job 作成から S3 で閲覧可能になるまでの時間は

Job作成
　↓
(3日)
　↓
到着・転送開始
　↓
(テストコマンドでの転送時間見積)
　↓
返送
　↓
(5～10日)
　↓
　S3

となります。

回線速度

AWSにネットワークで接続する方法は大まかに以下の3通りが考えられます。

• 通常回線による接続
• VPN接続によるプライベート接続
• AWS DirectConnect によるプライベート接続

これらのいずれの場合でも、転送予定のデータ量をもとに転送時間を見積もります。
年単位でかかりそうな場合は間違いなくSnowballの使用を検討します。
数週間で終わりそうな場合は、ネットワークでの転送の方がコストが削減できる可能性があります。

オンプレ→Snowballへの転送時間

オンプレ→Snowballへの転送速度は中継機のスペックに依存するので、snowball test コマンドを使用して転送速度の見積を行います。
ネットワーク経由でAWSに転送した場合と、Snowballを使用してAWSに転送した場合とを比較し、判断します。

コスト

Snowballはジョブあたりの料金が 80TBの場合、250 USD となっております。
それに加えて、Snowballのレンタル時間が10日を超える場合は、一日あたり 15 USDの追加料金が必要となります。
※到着日と発送日は10日にカウントされません。

転送時間、コストをトータルで考えて、Snowballを使用するかどうかを判断します。

データセンターへの着日時は指定できません

2017年09月現在、Snowball Job 作成時にデータセンターへのSnowballの到着日付、時間指定などの指定はできません。
金曜日にJob作成すると、土日に到着してしまう可能性もありますので、Job作成タイミングには注意が必要です。

Snowball を受け取れなかった場合

配送時にSnowballを受け取れなかった場合、配送業者様のポリシーに従って再配送が行われます。
Snowball が受け取れなかった際にAWSに返送されたり、Snowballジョブがキャンセルされる事はありません。

転送はネットワーク経由です

Snowballは外付けHDDというより、NASに近い物です。
転送元サーバーと同じネットワーク上に設置する事になります。
LANケーブルを使用する場合はルーターやスイッチに空きポートが必要です。
SFPを使用する場合も同様の注意が必要です。

中継機が必要です

Snowballにネットワークで転送する際に、暗号化を行うための中継機が必要です。
中継機の推奨スペックは、CPU16コア以上、メモリ16GB以上 です。 推奨スペック以下でも動作はしますが、速度は遅いです。

配線について

Snowball付属のLANケーブル、電源ケーブルは短いです(1メートルくらい）
リアパネルのリールに割とガチガチで巻き付けられているので、断線していないかちょっと不安です。
このリールが割とくせもので、付属ケーブルをしっかりはみ出さないように巻かないと、Snowballのリアパネルがちゃんと閉まりません。
リアパネルがちゃんと閉まっていないとS3にインポートしてもらえないので、気を付けなければいけません。
Snowballを配線する上で一番困ったのはここでした。