「データ収集・統合」＞「ワークフロー/ジョブ」＞〔ジョブ〕
ジョブ とは
ジョブはデータの収集／出力を行うために設定します。
たとえば、ジョブを利用することで以下のようなことが可能です。
- 外部のストレージに置かれたファイルをRtoaster insight+にインポートする
- Rtoaster insight+に取り込み済みのデータに対して任意のクエリで別のデータを抽出する
- Rtoaster insight+のデータを外部のストレージにエクスポートする
スケジュールを設定することで、特定の日時にジョブを定期実行させることも可能です。
ジョブ画面ではRtoaster insight+上で実行されるジョブを設定／管理することができます。
本機能のご利用を希望される場合には担当営業またはRtoasterサポートへお問い合わせください。
ジョブ設定画面について
- ジョブ設定のダウンロード：クリックすると設定済みのジョブの詳細を一覧で取得することができます。
■ 各種検索機能
| 項目名 | 詳細 |
| ジョブ名 | ジョブ名を部分一致で絞り込み検索できます。 |
| 入力元 |
入力元の対象を選択するか、入力元に指定されているファイルパスかクエリ名を選択して絞り込み検索できます。
右側のリストボックスには現在ジョブの入力元に登録されているファイルパスかクエリ名が表示されます。 |
| 出力先 |
出力先の対象を選択するか、出力先に指定されているファイルパスかクエリ名を選択して絞り込み検索できます。
右側のリストボックスには現在ジョブの出力先に登録されているファイルパスかクエリ名が表示されます。 |
| 実行ステータス |
ジョブが最後に実行された時のステータスを選択して絞り込み検索できます。
|
| 最終実行日時 | ジョブが最後に実行された日時を指定して絞り込み検索できます。 |
| 全条件をクリア | 検索条件に指定しているすべての条件をクリアします。 |
■ ジョブ一覧
| 項目名／アイコン | 詳細 |
| ジョブ一覧を最新の状態に更新 | 最新のジョブ実行情報を取得してジョブ一覧を更新します。 |
| ジョブ名 | ジョブ名が表示されます。 クリックするとジョブの実行履歴へ遷移します。 |
| 入力元/出力先 |
入力元(in)／出力先(out)が表示されます。
ファイルの場合はファイルパス、テーブルの場合はテーブル名、クエリの場合はクエリ名が表示されます。 |
| スケジュール | ジョブに設定されているスケジュールが表示されます。 スケジュールが設定されていないジョブの場合は、「-」が表示されます。 |
| 実行ステータス |
最後に実行されたジョブのステータスが表示されます。
|
| 最終実行日時 | ジョブが最後に実行された日時が表示されます。 ジョブが実行されていない場合は「-」が表示されます。 |
| 実行時間 | 最後に実行されたジョブの処理時間が表示されます。 ジョブが実行されていない場合は「-」が表示されます。 |
| 処理件数 |
最後に実行されたジョブで処理された件数が表示されます。
ジョブが実行されていない場合は「-」が表示されます。 |
|
クリックすると以下の項目が表示されます。
|
《ジョブの実行ステータスがstandbyまたはrunningの場合の即時実行について》
- ステータスがstandbyまたはrunningのジョブを即時実行した場合「実行中のジョブです。ジョブ終了までお待ち下さい。」というエラーが表示され、ジョブは即時実行されません。
- ステータスがstandbyまたはrunningの場合、ジョブのスケジュール実行はスキップされます。
■ ジョブの即時実行
ジョブを即時実行する際に入力元がファイルの場合、即時実行オプションから取り込み対象の範囲を変更できます。(即時実行オプションは入力元がテーブルの場合は表示されません。)
- ジョブの最終実行日時より後に更新されたファイル（デフォルト）
デフォルトのまま実行することを推奨しています。 - 指定の日時より後に更新されたファイル
YYYY-MM-DD HH:MM:SS.SSS(年、月、日、時、分、秒、ミリ秒)の形式で日時を指定してください。 - 全てのファイル
ファイルのタイムスタンプに関わらず取り込みが行われます。
ジョブの作成／ジョブの編集
入力元/出力先設定
データの入力元、出力先は以下いずれかを選択します。
入力元、出力先のどちらか一方は「Rtoaster insight+」を選択する必要があります。
- Rtoaster insight+
- Google Cloud Storage
- Amazon S3
- SFTP
入力元／出力先に「Google Cloud Storage」「Amazon S3」「SFTP」を利用する際は、接続先の作成が必要です。
接続先の利用権限がない場合は、接続先のアイコンが表示されません。
公開範囲が限定されている接続先・テーブルの場合、利用権限を持たないユーザーが対象の接続先・テーブルを利用したジョブを新規作成／編集して保存することはできません。
入力元設定
Rtoaster insight+
- 実行クエリ
- 入力元に利用するクエリをドロップダウンリストから選択します。
- 実行クエリリスト更新
をクリックするとドロップダウンリスト内のクエリ一覧を更新して最新の情報を取得します。
- 「クエリを作成」をクリックすると、データ/クエリ実行画面が別タブで開きます。
- クエリの実行結果が0件の場合の処理
- 実行クエリの結果が0件の場合の処理を選択します。
デフォルトでは成功(処理を続行して、成功にする)となります。
- 処理を続行して、成功にする
- 処理を中止して、失敗にする
- 実行クエリの結果が0件の場合の処理を選択します。
Google Cloud Storage
| 項目名 | 詳細 |
| 接続先 | 接続先をドロップダウンリストから選択します。 以下の操作は管理者のみ設定可能です。 |
| バケット | 入力元のバケットを登録します。 先頭／後尾の空白スペースは自動的にトリムされます。 |
| ファイルパス（CSVのみ対応） | 取り込み対象となるCSVのファイルパスを入力します。 先頭／後尾の空白スペースは自動的にトリムされます。 拡張子がgzip、bzip2の場合、圧縮形式が自動的に選択されます。 |
| 正規表現を使用する | 有効とした場合、ファイルパスを正規表現として解釈します。 取り込みファイルが分割されている場合や、タイムスタンプが含まれている場合に使用します。 |
| 文字コード |
取り込み対象となるCSVの文字コードを以下のいずれかから選択します。
|
| 圧縮形式 |
取り込み対象となるCSVの圧縮形式を以下のいずれかから選択します。
|
| CSVオプション |
|
| ファイルが存在しなかった場合の処理 |
取り込み対象となるファイルが存在しなかった場合の処理を選択します。
|
| 接続確認 | 設定した接続先を使用してジョブに指定されたファイルを参照できるか、確認することができます。 |
Amazon S3
| 項目名 | 詳細 |
| 接続先 | 接続先をドロップダウンリストから選択します。 以下の操作は管理者のみ設定可能です。 |
| バケット | 入力元のバケットを登録します。 先頭／後尾の空白スペースは自動的にトリムされます。 |
| ファイルパス（CSVのみ対応） | 取り込み対象となるCSVのファイルパスを入力します。 先頭／後尾の空白スペースは自動的にトリムされます。 拡張子がgzip、bzip2の場合、圧縮形式が自動的に選択されます。 |
| 正規表現を使用する | 有効とした場合、ファイルパスを正規表現として解釈します。 取り込みファイルが分割されている場合や、タイムスタンプが含まれている場合に使用します。 |
| 文字コード |
取り込み対象となるCSVの文字コードを以下のいずれかから選択します。
|
| 圧縮形式 |
取り込み対象となるCSVの圧縮形式を以下のいずれかから選択します。
|
| CSVオプション |
|
| ファイルが存在しなかった場合の処理 |
取り込み対象となるファイルが存在しなかった場合の処理を選択します。
|
| 接続確認 | 設定した接続先を使用してジョブに指定されたファイルを参照できるか、確認することができます。 |
SFTP
| 項目名 | 詳細 |
| 接続先 | 接続先をドロップダウンリストから選択します。 以下の操作は管理者のみ設定可能です。 |
| ファイルパス（CSVのみ対応） | 取り込み対象となるCSVのファイルパスを入力します。 ホームディレクトリが設定されている場合は、ホームディレクトリからのパスを入力します。 先頭／後尾の空白スペースは自動的にトリムされます。 拡張子がgzip、bzip2の場合、圧縮形式が自動的に選択されます。 |
| 正規表現を使用する | 有効とした場合、ファイルパスを正規表現として解釈します。 取り込みファイルが分割されている場合や、タイムスタンプが含まれている場合に使用します。 |
| 文字コード |
取り込み対象となるCSVの文字コードを以下のいずれかから選択します。
|
| 圧縮形式 |
取り込み対象となるCSVの圧縮形式を以下のいずれかから選択します。
|
| CSVオプション |
|
| ファイルが存在しなかった場合の処理 |
取り込み対象となるファイルが存在しなかった場合の処理を選択します。
|
| 接続確認 | 設定した接続先を使用してジョブに指定されたファイルを参照できるか、確認することができます。 |
出力先設定
Rtoaster insight+
| 項目名 | 詳細 |
| 更新対象テーブル | 更新対象のテーブルを指定します。 指定したテーブルが存在しない場合は、新規にテーブルが作成されます。 入力元のスキーマと一致していれば、既存のテーブルを指定することも可能です。 公開範囲が限定されているテーブルの場合、テーブル利用権限を持たないユーザーは、対象のテーブルを指定することはできません。 |
| 公開制御 |
対象のテーブルの公開範囲を編集します。
|
| 更新方法 |
Rtoaster insight+にデータを取り込む際の、テーブルの更新方法を指定します。
|
| 不正値の処理 |
入力元がGoogle Cloud Storage／Amazon S3／SFTPのとき「不正値を含むデータ行を無視する」を有効とした場合、不正値を含むデータ行を無視して処理を続行します。 |
《複数ファイルを上書きで取り込む場合》
- 処理件数：取り込み対象ファイルの行数の合計が表示されます。
- 更新対象：最後に取り込まれたファイルの内容で既存のデータが上書きされます。
Google Cloud Storage
| 項目名 | 詳細 |
| 接続先 | 接続先をドロップダウンリストから選択します。 以下の操作は管理者のみ設定可能です。 |
| バケット | 出力先のバケットを登録します。 先頭／後尾の空白スペースは自動的にトリムされます。 |
| ファイルパス | 出力先のファイルパスを入力します。 先頭／後尾の空白スペースは自動的にトリムされます。 データ量が1GBを超える場合はファイル名に * を含めていただくことで、連番が割り当てられた分割ファイルでの出力が可能になります。 ファイルパスにはこちらの書式に指定された変数を設定することで値を埋め込むことができます。 |
| ファイルフォーマット |
出力するファイルのフォーマットを選択します。
|
| 文字コード |
取り込み対象となるCSVの文字コードを以下のいずれかから選択します。
|
| 圧縮形式 |
出力するファイルの圧縮形式を以下のいずれかから選択します。
|
| CSVオプション |
ファイルフォーマットがCSVの場合に、ヘッダー行の有無を選択します。
|
| 接続確認 | 設定したバケットに接続できるか、確認することができます。 |
Amazon S3
| 項目名 | 詳細 |
| 接続先 | 接続先をドロップダウンリストから選択します。 以下の操作は管理者のみ設定可能です。 |
| バケット | 出力先のバケットを登録します。 先頭／後尾の空白スペースは自動的にトリムされます。 |
| ファイルパス | 出力先のファイルパスを入力します。 先頭／後尾の空白スペースは自動的にトリムされます。 データ量が1GBを超える場合はファイル名に * を含めていただくことで、連番が割り当てられた分割ファイルでの出力が可能になります。 ファイルパスにはこちらの書式に指定された変数を設定することで値を埋め込むことができます。 |
| ファイルフォーマット |
出力するファイルのフォーマットを選択します。
|
| 文字コード |
取り込み対象となるCSVの文字コードを以下のいずれかから選択します。
|
| 圧縮形式 |
出力するファイルの圧縮形式を以下のいずれかから選択します。
|
| CSVオプション |
ファイルフォーマットがCSVの場合に、ヘッダー行の有無を選択します。
|
| 接続確認 | 設定したバケットに接続できるか、確認することができます。 |
SFTP
| 項目名 | 詳細 |
| 接続先 | 接続先をドロップダウンリストから選択します。 以下の操作は管理者のみ設定可能です。 |
| ファイルパス | 出力先のファイルパスを入力します。 先頭／後尾の空白スペースは自動的にトリムされます。 データ量が1GBを超える場合はファイル名に * を含めていただくことで、連番が割り当てられた分割ファイルでの出力が可能になります。 転送途中のファイルはドット(.)付きでアップロードされ、完了後にファイルパスで指定したファイル名にリネームされます。 ファイルパスにはこちらの書式に指定された変数を設定することで値を埋め込むことができます。 |
| ファイルフォーマット |
出力するファイルのフォーマットを選択します。
|
| 文字コード |
取り込み対象となるCSVの文字コードを以下のいずれかから選択します。
|
| 圧縮形式 |
出力するファイルの圧縮形式を以下のいずれかから選択します。
|
| CSVオプション |
ファイルフォーマットがCSVの場合に、ヘッダー行の有無を選択します。
|
| 接続確認 | 設定したSFTPサーバーへの接続およびホームディレクトリへのアクセス可否を確認することができます。 |
データプレビュー
インポート／エクスポートするデータのプレビューと出力先テーブルの設定状況を確認できます。
入力元データプレビュー
- 入力元がRtoaster insight+の場合はクエリ名、それ以外の場合はファイル名が表示されます。
- 入力元ファイルのデータプレビューが表示されます。
正規表現を利用した場合は、正規表現に一致したファイルのうち1つを参照します。 - CSVのヘッダーがない場合は、自動的に推論されたカラム名が設定されます。
- RECORD型またはREPEATEDモードのカラムは、展開することで1階層目までの表形式で表示されます。
- RECORD型の2階層目(RECORD型の子カラムにあるRECORD型もしくはREPEATEDモード)はJSON形式の文字列で表示されます。
クエリの実行に10分以上かかる場合、データプレビュー機能がタイムアウトするため、ジョブは保存できません。
出力先テーブル定義
| 項目名 | 詳細 |
| 出力先 | 出力先がRtoaster insight+の場合はテーブル名、それ以外の場合はファイル名が表示されます。 |
| スキーマを編集 | 保存済みのジョブの場合に表示されます。 Rtoaster insight+のクエリ結果をエクスポートする場合は表示されません。 詳細はこちらをご参照ください。 |
| カラム定義 |
Rtoaster insight+のクエリ結果をエクスポートする場合は編集できません。
RECORD型の子カラムは1階層目まで表示されます。 |
| 分割テーブル |
出力先テーブルの分割について指定します。
大量のレコードの格納が想定されるテーブルでは、分割テーブルにしなかった場合はクエリ実行時に利用リソースが膨大になってしまう可能性があります。 ジョブを「保存」すると後から変更することはできません。 |
入力元／出力先共にRtoaster insight+かつ更新方法が上書きの場合には、ジョブ実行時に出力先のテーブル定義が上書きされます。
実行スケジュール/通知設定
■ 実行スケジュール設定
cron形式でジョブ実行のスケジュールを設定します。
設定したスケジュールの次回実行日時が右側に表示されます。
《ファイルの取り込み仕様》
- スケジュール設定を行った場合、ジョブの最終実行日時よりも新しい更新日時のファイルのみ取り込みを行います。(ジョブの最終更新日時以前のファイルは取り込まれません。)
- ジョブのファイル取り込み仕様についてはこちらをご参照ください。
《スケジュールについて》
- ワークフローの実行時間が優先されるため、ワークフローに登録されたジョブは、ジョブ自体に設定されたスケジュールは無効化されます。
■ 通知設定
| 項目名 | 詳細 |
| 通知条件 |
ジョブの実行状況を通知する条件を選択します。
|
| 通知先グループ |
通知を行う場合に設定します。
|
| メッセージ | 通知メールの本文に含める任意のメッセージを設定します。 |
概要設定
- 名前：任意のジョブ名を入力します。
- 説明：ジョブに対する説明などを記入します。
ジョブ詳細
設定内容
ジョブの設定内容が一覧で表示されます。
各項目をクリックすることで設定を編集することができます。
| 項目名 | 詳細 |
| 実行 | ジョブを即時実行します。詳細はこちらをご参照ください。 |
| コピー | ジョブの設定内容をコピーしてジョブの作成を行います。 |
| 削除 | ジョブを削除します。ジョブによって作成されたテーブルは削除されません。 |
| 入力元/出力先 | 入力元/出力先設定画面に遷移します。 |
| 実行スケジュール/通知 | 実行スケジュール/通知設定画面に遷移します。 |
| 概要 | 概要設定画面に遷移します。 |
| ワークフロー利用 | ワークフローのタスクに登録されている場合は、対象のワークフロー名が表示されます。 ワークフロー名をクリックすると対象の設定内容画面に遷移します。 |
実行履歴
■ 各種検索機能
| 項目名 | 詳細 |
| ジョブ履歴ID | ジョブ履歴IDの完全一致でジョブを検索できます。 |
| 実行ステータス |
ジョブが実行された時のステータスを選択して絞り込み検索できます。
|
| 実行日時 | ジョブが実行された期間を指定して絞り込み検索できます。 |
■ 実行履歴
| 項目名／アイコン | 詳細 |
| ジョブ履歴ID | ジョブの実行毎に付与されるユニークなIDです。 正規表現などで一度に複数のファイルを取り込んだ場合には、ファイル毎にジョブ履歴IDが付与されます。 通知メールには該当のジョブ履歴IDが記載されます。 |
| 実行日時 | ジョブが実行された日時が表示されます。 |
| 実行ステータス |
ジョブの実行結果が表示されます。
|
| 実行時間 | ジョブの処理時間が表示されます。 |
| 処理件数 |
ジョブで処理された件数が表示されます。
|
| 入力元 |
入力元が表示されます。
取り込まれたファイル名が表示されます。 |
| 出力先 |
出力先が表示されます。
出力されたファイル名が表示されます。 |
| ワークフロー実行 |
ワークフローのタスクとして実行された場合に〇が表示されます。 |