2017.11.30
Thunderbus for DataSpider Cloudを使ったオンプレからクラウドへのデータ連携手法をご紹介
ポスト
こんにちは、製品開発部の小野田です。
DataSpider Cloudは(ほぼ)毎月リリースをおこない継続的に改善、新機能の追加をしています。
先日、11月28日にはDataSpider Cloud 1.2をリリースしました。
今回はDataSpider Cloud 1.2の目玉機能であるThunderbus for DataSpider Cloudの利用方法をご紹介します。
DataSpider Cloudは(ほぼ)毎月リリースをおこない継続的に改善、新機能の追加をしています。
先日、11月28日にはDataSpider Cloud 1.2をリリースしました。
今回はDataSpider Cloud 1.2の目玉機能であるThunderbus for DataSpider Cloudの利用方法をご紹介します。
Thunderbus for DataSpider Cloudとは
オンプレミス環境とDataSpider CloudとをHTTPSでセキュアに接続して双方向にデータを連携することができます。
インターネットに接続できる環境さえあれば簡単かつ安全にデータを連携することが可能です。専用線やVPNは不要です。
DataSpider CloudのAdvanceライセンスをご利用のお客様は無償で使用することができます。
ご希望される場合には担当営業にお申込みください。
※有効化のお申込み(無償)が必要です。
インターネットに接続できる環境さえあれば簡単かつ安全にデータを連携することが可能です。専用線やVPNは不要です。
DataSpider CloudのAdvanceライセンスをご利用のお客様は無償で使用することができます。
ご希望される場合には担当営業にお申込みください。
※有効化のお申込み(無償)が必要です。
WebDAVとの比較
これまでもWebDAVを用いてオンプレミス環境とDataSpider Cloudとデータ連携をすることは可能でした。ここではWebDAVとThunderbusを比較してThunderbusの有用性をご紹介します。
| Thunderbus | WebDAV | |
|---|---|---|
| データサイズ | 制限なし | 200MiBまで |
| サーバPush | ○ | × |
データサイズの制限
WebDAV
1ファイルあたり最大200MiBまでの制限があります。
200MiBを越えるサイズのファイルは転送できません。
Thunderbus
1ファイルあたりのサイズ制限はありません。
数GiBのファイルも転送することができます。(ストレージの制限はあります)
サーバPush
WebDAV
サーバPushはできません。
データ転送の開始はWebDAVクライアントからに限定されます。
DataSpider Cloudからファイル転送を開始することはできません。
Thunderbus
サーバPushすることができます。
データ転送はDataSpider Cloud、ThunderbusAgent(クライアント)のどちらからでも開始することができます。
DataSpider CloudとThunderbusAgentとはWebSocketで接続されますので、双方向の通信が可能となっています。
初期設定
Thunderbusがご利用いただける状態になると、DataSpider Cloudのフロント画面からThunderbusサーバの管理画面へログインできるようになります。
ここではThunderbusをご利用いただくにあたって必要となる初期設定の方法をご紹介いたします。
ここではThunderbusをご利用いただくにあたって必要となる初期設定の方法をご紹介いたします。
Thunderbusがご利用いただける状態になったら連携サーバの詳細画面右に「Thunderbus」サブメニューが表示されます。
初期設定で必要なBASIC認証情報を登録します。
初期設定が完了するとこのような画面が表示されます。
ここで表示されるBASIC認証とエンドポイントは、後でご紹介するThunderbusAgentに設定する情報になります。
「管理画面」ボタンを押下するとThunderbusサーバの管理画面のログイン画面に遷移します。
初期設定時には以下の情報でログインします。
・ログインID：root
・パスワード：password
初期状態のIDとパスワードは全ての連携サーバで一律です。Thunderbusサーバの管理画面「管理者設定」で変更するようにしてください。
初期設定時には以下の情報でログインします。
・ログインID：root
・パスワード：password
初期状態のIDとパスワードは全ての連携サーバで一律です。Thunderbusサーバの管理画面「管理者設定」で変更するようにしてください。
ここまでの操作でThunderbusをご利用いただくための初期設定は完了です。
次のセクションでは実際にThunderbusを利用したデータ連携の構築例をご紹介します。
次のセクションでは実際にThunderbusを利用したデータ連携の構築例をご紹介します。
シナリオ - 店舗の売り上げデータの連携
ここからは実際にThunderbusを用いてDataSpider Cloudとデータの連携処理を作成する方法をご紹介します。
今回はオンプレミス環境にある店舗の売り上げデータをDataSpider Cloudで取り込みDBに登録するScriptを作成します。
Thunderbusサーバの設定
フロント画面からThunderbusサーバの管理画面にログインしエージェントの新規登録をおこないます。
今回はファイルの連携をおこなうため「ファイルエージェント」を選択し登録します。
次にユーザの新規登録をおこないます。
先ほど作成したエージェントと連携するユーザとなりますので「店舗-大阪(OSAKA)」を選択し登録します。
Thunderbusサーバの設定は「エージェント」と「ユーザ」の登録だけです。
オンプレミス環境が複数ある場合には、その数だけ「エージェント」を登録する必要があります。
オンプレミス環境が複数ある場合には、その数だけ「エージェント」を登録する必要があります。
Thunderbus Agentの設定
ここからはオンプレミス環境側で必要となるThunderbusAgentの設定をおこないます。
事前にThunderbusAgentをインストールしておく必要があります。
「Thunderbusサブメニュー」「インストール」ボタンを押下すると各OS毎のインストーラを選択することができます。
事前にThunderbusAgentをインストールしておく必要があります。
「Thunderbusサブメニュー」「インストール」ボタンを押下すると各OS毎のインストーラを選択することができます。
ThunderbusAgentをインストールし管理画面を表示します。
基本設定ではThunderbusサーバで作成した情報を登録します。
次に「ファイルエージェント設定」で連携するデータの格納先を登録します。
ここで登録したディレクトリがDataSpider Cloudと連携されます。
ThunderbusAgentの設定は「基本設定」と「ファイルエージェント設定」の登録だけです。
複数のディレクトリを連携対象にしたい場合には「ファイルエージェント設定」を追加することができます。
複数のディレクトリを連携対象にしたい場合には「ファイルエージェント設定」を追加することができます。
DataSpider Cloudの設定
DataSpider CloudのStudioにログインして「コントロールパネル」「グローバルリソース」へ移動しThunderbusのグローバルリソースを登録します。
ここではThunderbusサーバの管理画面で登録したユーザの情報(ユーザIDとパスワード)を登録します。
ここまでの設定でDataSpider Cloudとオンプレミス環境とのデータ連携の準備は完了です。
Studioのエクスプローラからはオンプレミス環境のディレクトリを照会することができるようになっています。
オンプレミス環境に格納された売り上げデータを取出してDBに登録する簡単なスクリプトを作成します。
「CSVファイル読み取り」で先ほどエクスプローラで確認したファイルを指定します。
あとは必要に応じてデータを加工しDBに登録することで、オンプレミス環境に格納されたファイルをDataSpider Cloudで取出しDBに登録することができます。
WebDAVのようにクライアントソフトを使用してファイルを送信する手間はありません。
ファイルエージェントに登録したディレクトリにファイルを置くだけでデータ連携することが出来るようになります。
最後に
Thunderbusのファイルエージェントを使うことで、オンプレミス環境のディレクトリをDataSpider Cloudと安全に共有し双方向でのデータ連携をおこなうことができるようになります。
WebDAVではできなかった巨大ファイルの連携も可能です。
みなさまThunderbusを是非ご活用ください！
WebDAVではできなかった巨大ファイルの連携も可能です。
みなさまThunderbusを是非ご活用ください！
39 件
