Redshiftアダプタの使用方法とユースケース

どうやってデータをとっているのかと疑問になり調べたところ、
主に３つのデータの取り方があるようです。

前置きが長くなってしましたが今回はデータ分析に適するDWH(データウェアハウス)サービス Amazon RedshiftへSkyOnDemandからのデータロードを行なうことができるAmazon Redshiftアダプタを紹介します。
このアダプタはAmazon RedshiftへのCOPYコマンドを自由に実行することが可能です。

自由って具体的にどういうコマンド！？
ということで今回はデータロード時に基本の構文とよく使うオプションをご紹介します。

COPYコマンド紹介
　（データソースはS3を前提）

1.基本構文

基本的な構文は以下になります。

S3のCSVファイルをRedshiftにCOPYを行なうコマンドとなります。

COPY table_name
FROM 's3://aws-bucket/testdata.csv'
CREDENTIALS 'aws_access_key_id=XXX;aws_secret_access_key=YYY'
CSV;

■行ごとに解説します。
ⅰ COPYコマンドを使用しますので COPYとその後ろに格納するテーブル名を指定します。

ⅱ FROM 行では対象のデータソースを指定します。例ではS３のCSVファイルを指定しています。
　　データソースのCSVファイルの順序は指定したテーブルの定義と列を合わせる必要があります。
ⅲ FROM の後はオプションを指定します。
　オプションパラメータの中で必須なCREDENTIALSを指定します。
　 FROMで指定したデータソースを読み取るためのクレデンシャル情報を入力します。

ⅳ データソースがCSVファイルのため、CSVオプションを指定することで
　　CSV形式で読み取ります。

２.よく使うオプション

{
	"entries": [
		{"url":"s3://bucket-usa/datas/data.1","mandatory":true},
		{"url":"s3://bucket-japan/datas/data.1","mandatory":true},
		{"url":"s3://bucket-japan/datas/data.2","mandatory":false}
	]
}

{
	"id": 0001,
	"name": [ "テラ", "スカオ"],
	"age": 25
}
{
	"id": 0002,
	"name": [ "鈴木", "花子"],
	"age": 26
}
{
	"id": 0003,
	"name": [ "田中", "太郎"],
	"age": 27
}

{
	"jsonpaths": [
		$['id'],
		$['name'][0],
		$['name'][1],
		$['age']
	]
}

COPYコマンドの詳細は公式リファレンス を参照ください。
Amazon Redshift ドキュメント-開発者ガイド（日本語）- COPY

3.エラー時の対応について

Amazon Redshiftへのデータロード時の桁数あふれまたはデータ型エラーとなった場合は通常であれば、
専用のテーブルにエラーが出力されていないかいちいち確認しないといけません。

Amazon Redshiftアダプタなら処理後エラーデータを取得しますので、
エラー時の対応も簡潔に作成可能です。

※例 エラーデータがある場合メールにて原因をお知らせ

まとめ