ポスト
目次
はじめに
はじめまして、製品営業部の鈴木です。
本記事では、DataSpider Cloudで出力されるログについてご紹介します。
おまけでログのバックアップについても紹介しておりますので、
是非最後まで読んでいただけますと幸いです。
本記事では、DataSpider Cloudで出力されるログについてご紹介します。
おまけでログのバックアップについても紹介しておりますので、
是非最後まで読んでいただけますと幸いです。
DataSpider Cloudで出力されるログについて
DataSpider Cloudはシステムとシステムをつなぐ、連携のhubとして使われる事が多いです。
そうした特性上、処理の監視や障害予兆検知のため、ログの管理は重要なポイントですよね。
DataSpider Cloudでは、以下の5種類のログを出力します。
①サーバログ
②サーバ標準エラー出力
③execログ（処理の実行結果を出力）
④XMLログ（処理実行時のコンポーネント毎の詳細なログを出力）
⑤アクセスログ（クライアントからDataSpider Serverにアクセスした処理のログが出力）
※⑤はオプションが必要になります。
それぞれ読み取れる情報や、確認する場面が異なります。
詳細やサンプルログについてはヘルプからご確認ください。
そうした特性上、処理の監視や障害予兆検知のため、ログの管理は重要なポイントですよね。
DataSpider Cloudでは、以下の5種類のログを出力します。
①サーバログ
②サーバ標準エラー出力
③execログ（処理の実行結果を出力）
④XMLログ（処理実行時のコンポーネント毎の詳細なログを出力）
⑤アクセスログ（クライアントからDataSpider Serverにアクセスした処理のログが出力）
※⑤はオプションが必要になります。
それぞれ読み取れる情報や、確認する場面が異なります。
詳細やサンプルログについてはヘルプからご確認ください。
ログファイルの保管期間について
上述の通り、DaraSpider Cloudでは多くのログが出力されますが、
そのままログを貯めてしまうとログファイルがストレージを圧迫し、動作に支障をきたす可能性がございます。
そのため、基本的にログデータは一定期間で削除する仕組みとなっております。
ログ毎の保管ルールは以下の通りです。
①サーバログ：一定のサイズを超えたら新規ログファイルが生成され、古いファイルは5つまで保持されます。
②サーバ標準エラー出力：ログの削除は行われません。
③execログ：ログ設定から保管ルールを設定可能です。
④XMLログ：ログ設定から保管ルールを設定可能です。
⑤アクセスログ：本日を除く10日分のログを保持し、以降は自動削除します。
そのままログを貯めてしまうとログファイルがストレージを圧迫し、動作に支障をきたす可能性がございます。
そのため、基本的にログデータは一定期間で削除する仕組みとなっております。
ログ毎の保管ルールは以下の通りです。
①サーバログ：一定のサイズを超えたら新規ログファイルが生成され、古いファイルは5つまで保持されます。
②サーバ標準エラー出力：ログの削除は行われません。
③execログ：ログ設定から保管ルールを設定可能です。
④XMLログ：ログ設定から保管ルールを設定可能です。
⑤アクセスログ：本日を除く10日分のログを保持し、以降は自動削除します。
ログファイルの退避方法について
とはいえ、会社のセキュリティルールによってはログを長期間残す必要があるというケースもありますよね。
でも、DataSpider Cloudにログを貯め続るとストレージを圧迫してしまう...。
そうした場合には回避策として、ログファイルを外部に退避する処理を作れば解決できるかもしれません。
今回はその一例として、以下のログを退避する処理をDataSpider Cloud上で作っていきます。
「月次で前月のスクリプト実行ログ(execログ、XMLログ)を Google Drive にバックアップする」
でも、DataSpider Cloudにログを貯め続るとストレージを圧迫してしまう...。
そうした場合には回避策として、ログファイルを外部に退避する処理を作れば解決できるかもしれません。
今回はその一例として、以下のログを退避する処理をDataSpider Cloud上で作っていきます。
「月次で前月のスクリプト実行ログ(execログ、XMLログ)を Google Drive にバックアップする」
スクリプトの全体図
事前設定
今回は月次でバックアップをするので、
ログ設定でスクリプトの実行ログを1ヵ月間保持するように設定します。
ログ設定でスクリプトの実行ログを1ヵ月間保持するように設定します。
①変数代入
execログとXMLログは " /logs/処理を実行した日付(yyyyMMdd) "に格納されます。
前月のログファイルだけを取得するため、変数代入を用いて前月が何月かを取得し、"yyyyMM"の形式でスクリプト変数に代入します。
前月のログファイルだけを取得するため、変数代入を用いて前月が何月かを取得し、"yyyyMM"の形式でスクリプト変数に代入します。
②Google Drive書き込み
Google Driveアダプタの「ファイル/フォルダ書き込み処理」に必要な設定を入力していきます。
「ファイル/フォルダ書き込み」では、ワイルドカード( * ? )が使用できます。
「①で取得したスクリプト変数」+「アスタリスク」 で、前月のログを全件取得します。
「ファイル/フォルダ書き込み」では、ワイルドカード( * ? )が使用できます。
「①で取得したスクリプト変数」+「アスタリスク」 で、前月のログを全件取得します。
実際に処理を動かしてみます。
この様に、指定したログファイルだけを外部のGoogle Driveに退避する事ができました。
最後に
ここまで読んでいただきありがとうございました。
今回はログの種類とバックアップ方法というテーマで記事を書きましたが、
以下のような機能を使用して外部にログを出力する事も可能です。
・アプリケーションログ出力先設定
・Log Manager for Salesforce
是非、目的に合わせてご検討頂ければと思います！
今回はログの種類とバックアップ方法というテーマで記事を書きましたが、
以下のような機能を使用して外部にログを出力する事も可能です。
・アプリケーションログ出力先設定
・Log Manager for Salesforce
是非、目的に合わせてご検討頂ければと思います！
【関連記事】
IT製品・サービスの問い合わせを効率化する３つのポイント - TerraSkyBase | テラスカイを支える人とテクノロジーの情報を発信する基地局
今回はIT系製品・サービスにおける問い合わせのコツを紹介します。問い合わせ方法をマスターし、問題の早期解決や更なる活用を実現しましょう。
DataSpiderのエラー解決のために理解しておきたい3つのポイント
データ連携でのエラーは調査範囲が広く、解決までに時間がかかるケースが多くあります。今回はエラー解決のために理解しておきたいポイントを紹介します。これらを理解して、エラーによる業務影響を最小限に留めましょう。
データ連携導入で失敗しないための要件整理ポイント
システム間のデータ連携を実現するには様々なポイントを整理する必要があります。今回は実現方法の検討前に整理しておいて方が良いポイントを紹介します。事前に整理しておき、データ連携をスムーズに実現しましょう。
29 件
