ワークフロー

《β版》

  • 本機能はβ版です。正式版リリース時には仕様が変更される可能性があります。
  • 本機能・動作に関するご意見、ご感想等のフィードバックは弊社担当営業またはRtoasterサポートまでお寄せください。
  • いただいたフィードバックは今後の機能開発の参考とさせていただきます。

Workflow01_v1.7.10.png

「データ収集・統合」>「ワークフロー/ジョブ」>〔ワークフロー〕

ワークフロー とは

ジョブを複数つなげたものを予め指定した順序に沿って実行します。
ジョブの実行順を担保したうえで、それぞれのジョブにスケジュール設定をすることなく、一連のジョブを流れに沿って実行することが可能です。

ご契約内容やご契約時期によって機能が有効になっていない場合があります。
本機能のご利用を希望される場合には担当営業またはRtoasterサポートへお問い合わせください。

《ワークフローの仕様について》

  • ワークフローの実行時間が優先されるため、ワークフローに登録されたジョブは、ジョブ自体に設定されたスケジュールが解除されます。
  • ワークフローのタスクとして登録されているジョブが失敗した場合、その時点でワークフローの処理が中断され、依存関係に関わらず、その時点で未実行のタスクは実行されません。

ワークフロー設定画面について

■ 各種検索機能

Workflow_02.png

項目名 詳細
ワークフロー名 ワークフロー名を部分一致で絞り込み検索できます。
実行ステータス

ワークフローが最後に実行された時のステータスを選択して絞り込み検索できます。

  • 空欄:結果をすべて表示
  • success:ステータスがsuccessのみ表示
  • failure:ステータスがfailureのみ表示
  • running:ステータスがrunningのみ表示
  • standby:ステータスがstandbyのみ表示
  • -:未実行のワークフローのみ表示
最終実行日時 ワークフローが最後に実行された日時を指定して絞り込み検索できます。
全条件をクリア 検索条件に指定しているすべての条件をクリアします。


■ ワークフロー一覧

Workflow_03.png

項目名/アイコン 詳細
ワークフロー一覧を最新の状態に更新 最新のワークフロー実行情報を取得して一覧を更新します。
ワークフロー名 ワークフロー名が表示されます。
クリックするとワークフローの設定内容へ遷移します
登録タスク数 ワークフローに登録されているタスク数を表示します。
スケジュール ワークフローに設定されているスケジュールが表示されます。
スケジュールが設定されていない場合は、「-」が表示されます。
実行ステータス

最後に実行されたワークフローのステータスが表示されます。

  • standby01_02.png:ワークフロー実行前の待機中の状態です。
  • running01_02.png:ワークフローが実行中の状態です。
  • success01_02.png:ワークフローが正常終了した状態です。
  • failure01_02.png:ワークフローの実行に失敗した状態です。
    マウスオーバーすることでエラー概要が表示されます。
    エラー内容の詳細は実行履歴で確認することができます。
  • -:ワークフローが一度も実行されていない状態です。
最終実行日時 ワークフローが最後に実行された日時が表示されます。
ワークフローが実行されていない場合は「-」が表示されます。
実行時間 最後に実行されたワークフローの処理時間が表示されます。
ワークフローが実行されていない場合は「-」が表示されます。
icon_maru2.png

クリックすると以下の項目が表示されます。

  • 編集
    対象のワークフローを編集します。
  • ワークフロー実行
    対象のワークフローを即時実行します。
  • 削除
    対象のワークフローを削除します。


■ ワークフロー実行

Workflow_04_v1.7.1.png

即時実行オプションから以下の項目を選択できます。

  • 実行対象
    • すべてのタスク
      ワークフローにタスクとして登録されているすべてのジョブを実行順に従って即時実行します。
    • 前回実行時に失敗したタスク以降すべて
      ワークフローにタスクとして登録されているジョブのうち、前回実行時に失敗したジョブから実行順に従って即時実行します。このとき、前回実行に成功したタスクは実行されません。
  • 取り込み対象の範囲
    取り込み対象ファイルの範囲を変更することができます。
    • ジョブの最終実行日時より後に更新されたファイル(デフォルト)
      実行対象で「すべてのタスク」を選択した場合に表示されます。
      デフォルトのまま実行することを推奨しています。
    • 指定の日時より後に更新されたファイル
      YYYY-MM-DD HH:MM:SS.SSS(年、月、日、時、分、秒、ミリ秒)の形式で日時を指定してください。
    • 全てのファイル
      ファイルのタイムスタンプに関わらず取り込みが行われます。

ワークフローの作成/ワークフローの編集

タスクの登録

WFedit_01.png

ワークフローのタスクとして登録するジョブを選択します。
他のワークフローで利用しているジョブを選択することはできません。

項目名/アイコン 詳細
検索項目
  • ジョブ名
    ジョブ名を部分一致で絞り込み検索できます。
    半角スペース区切りでAND検索が可能です。
  • 表示ジョブ
    • 登録可能なジョブのみ表示
      有効とした場合、ワークフローで登録可能なジョブのみ表示されます。
    • 選択済みのジョブのみ表示
      有効とした場合、現在選択しているジョブのみ表示されます。
update01.png ジョブ一覧を更新 最新のジョブ情報を取得して一覧を更新します。
ジョブを作成 ジョブ一覧画面が別タブで開きます。
ジョブ名

ジョブ名が表示されます。
先頭のチェックボックスにチェックを入れると登録可能なジョブを全選択/解除します。

  • ✔︎:登録可能なジョブが全選択されている状態です。
  • :一部のジョブが選択されている状態です。
  • 空:何も選択されていない状態です。
入力元

ジョブの入力元が表示されます。

  • insight_icon01_02.png:Rtoaster insight+
  • GCS_icon01_02.png:Google Cloud Storage
  • aws_icon01_02.png:Amazon S3
  • sftp01_02.png:SFTP
出力先

ジョブの出力先が表示されます。

  • insight_icon01_02.png:Rtoaster insight+
  • GCS_icon01_02.png:Google Cloud Storage
  • aws_icon01_02.png:Amazon S3
  • sftp01_02.png:SFTP
ワークフローで利用中 他のワークフローで利用中のジョブです。

《スケジュールについて》

ワークフローの実行時間が優先されるため、ワークフローに登録されたジョブは、ジョブ自体に設定されたスケジュールが解除されます。 

ワークフローの作成

WFedit_02.png

タスクとして登録した各ジョブを線で繋ぐことでワークフローの依存関係を設定します。
並列の処理(ジョブAとジョブBを同時に実行)を設定することも可能です。

項目名/アイコン 詳細
タスク登録 クリックするとタスクの登録画面が表示されます。
icon.png 登録タスク一覧 クリックするとタスクとして登録したジョブ一覧が表示されます。
ジョブ名をクリックすると、選択したジョブを中心として表示範囲が変化して詳細が表示されます。
縮尺 +, -をクリックまたは100%のプルダウンを変更することで、設定画面の縮尺を変更できます。
START ワークフローを作成する際に、処理順先頭のジョブと繋ぐ必要があります。
delete.png 削除 任意に引いた線をクリックすることで削除アイコンが表示されます。
アイコンをクリックすることで依存関係の線が削除されます。
Delete01_02.png 削除 ワークフローのタスクからジョブを削除します。
ジョブ詳細 選択中のジョブ名/入力元/出力先が表示されます。
実行履歴

クリックして展開すると、選択中のジョブの直近10件分の実行履歴が表示されます。

  • 実行日時
    ジョブが実行された日時が表示されます。
  • 実行ステータス
    ジョブの実行結果が表示されます。
    • success01_02.png:ジョブが正常終了した状態です。
    • success01_03.png:以下いずれかの場合に、ジョブが正常終了した状態です。
      • 不正値を含むデータ行を無視する設定でジョブ実行時に不正データが除外され、正常終了した状態です。
      • ファイルが存在しなかった場合の処理で『処理を続行して、成功にする』を選択している場合に、ジョブは正常終了ですが、データの更新が行われていない状態です。
    • failure01_02.png:ジョブ実行に失敗した状態です。
      マウスオーバーすることでエラー詳細が表示されます。
  • icon_hatena2.png
    マウスオーバーすることで以下の情報を確認することができます。
    • ジョブ履歴ID
      ジョブの実行毎に付与されるユニークなIDです。
      正規表現などで一度に複数のファイルを取り込んだ場合には、ファイル毎にジョブ履歴IDが付与されます。
    • 実行時間
      ジョブの処理時間が表示されます。
    • 処理件数
      ジョブで処理された件数が表示されます。

実行スケジュール/通知設定

WFedit_03.png


■ 実行スケジュール設定

cron形式でジョブ実行のスケジュールを設定します。
設定したスケジュールの次回実行日時が右側に表示されます。

《ファイルの取り込み仕様》

  • スケジュール設定を行った場合、ジョブの最終実行日時よりも新しい更新日時のファイルのみ取り込みを行います。(ジョブの最終更新日時以前のファイルは取り込まれません。)
  • ジョブのファイル取り込み仕様についてはこちらをご参照ください。


■ 通知設定

項目名 詳細
通知条件

ワークフローの実行状況を通知する条件を選択します。

  • 通知しない
  • 終了時(成功/失敗に関わらず通知します)
  • 失敗時(異常終了した時のみ通知します)
通知先グループ

通知を行う場合に設定します。
ドロップダウンリストから通知先グループを指定します。

  • update01.png:通知先グループリストを更新
    最新の通知先グループ情報を取得してリストを更新します。
  • 通知先グループを作成
    通知先グループを作成する場合はこちらをご参照ください。
メッセージ 通知メールの本文に含める任意のメッセージを設定します。
通知オプション

『処理開始から一定時間が経過した場合に通知する』を有効にすることで、通知時間経過後にワークフローの処理が完了していない場合に通知を行います。

  • 通知時間
    処理開始から通知を行うまでの時間を30分単位で設定します。
  • 一定時間経過した場合のメッセージ
    通知メールの本文に含める任意のメッセージを設定します。

概要設定

WFedit_04.png

  • ワークフロー名:任意のワークフロー名を入力します。
  • 説明:ワークフローに対する説明などを記入します。

ワークフロー詳細

設定内容

WFdetail01_v1.7.2.png

ワークフローの設定内容が一覧で表示されます。
フローにタスクとして登録されているジョブ名をクリックするとジョブ詳細の設定内容画面が別タブで開きます。
各項目をクリックすることで設定を編集することができます。

項目名 詳細
実行 ワークフローを即時実行します。
削除 対象のワークフローを削除します。
フロー編集 ワークフローの編集画面に遷移します。
実行スケジュール/通知 実行スケジュール/通知設定画面に遷移します。
概要 概要設定画面に遷移します。

実行履歴

WFdetail02_v1.7.2.png

■ 各種検索機能

項目名 詳細
ワークフロー履歴ID ワークフロー名を部分一致で絞り込み検索できます。
実行ステータス

ワークフローが最後に実行された時のステータスを選択して絞り込み検索できます。

  • 空欄:結果をすべて表示
  • success:ステータスがsuccessのみ表示
  • failure:ステータスがfailureのみ表示
  • skipped:ステータスがskippedのみ表示
最終実行日時 ワークフローが最後に実行された日時を指定して絞り込み検索できます。


■ 実行履歴

ワークフローの実行日時と処理結果、処理時間が表示されます。
処理結果のステータスは以下のとおりです。

  • success01_02.png
    ワークフローが正常終了した状態です。
  • failure01_02.png
    ワークフロー実行に失敗した状態です。
    マウスオーバーすることでエラー詳細が表示されます。
  • icon_skip.png
    ワークフロー実行がスキップされた状態です。
    ワークフローの実行中にスケジュール実行された場合は処理がスキップされます。
    マウスオーバーすることで詳細が表示されます。

クリックして展開すると、以下の詳細情報を確認することができます。

項目名/アイコン 詳細
ワークフロー履歴ID ワークフローの実行毎に付与されるユニークなIDです。
タスク処理内容 ジョブ歴IDとジョブ名が表示されます。
ジョブが存在する場合はクリックするとジョブの設定内容が別タブで開きます。
実行日時 ジョブが実行された日時が表示されます。
項目名をクリックすることで表示順をソートできます。
実行ステータス

ジョブの実行結果が表示されます。

  • success01_02.png:ジョブが正常終了した状態です。
  • success01_02.png:以下いずれかの場合に、ジョブが正常終了した状態です。
    • 不正値を含むデータ行を無視する設定でジョブ実行時に不正データが除外され、正常終了した状態です。
    • ファイルが存在しなかった場合の処理で『処理を続行して、成功にする』を選択している場合に、ジョブは正常終了ですが、データの更新が行われていない状態です。
  • failure01_02.png:ジョブ実行に失敗した状態です。
    マウスオーバーすることでエラー詳細が表示されます。
実行時間 ジョブの処理時間が表示されます。
項目名をクリックすることで表示順をソートできます。
処理件数

ジョブで処理された件数が表示されます。
項目名をクリックすることで表示順をソートできます。

  • インポートジョブの場合は取り込まれた行数
    (不正値を含むデータ行を無視した場合、その数を除く)
  • エクスポートジョブ、クエリジョブの場合は出力した行数
入力元

入力元が表示されます。

  • insight_icon01_02.png:Rtoaster insight+
  • GCS_icon01_02.png:Google Cloud Storage
  • aws_icon01_02.png:Amazon S3
  • sftp01_02.png:SFTP

取り込まれたファイル名が表示されます。
入力元がRtoaster insight+の場合はクエリ名が表示され、クリックすると対象の保存済みクエリへ遷移します。

出力先

出力先が表示されます。

  • insight_icon01_02.png:Rtoaster insight+
  • GCS_icon01_02.png:Google Cloud Storage
  • aws_icon01_02.png:Amazon S3
  • sftp01_02.png:SFTP

出力されたファイル名が表示されます。
出力先がRtoaster insight+の場合はテーブル名が表示され、クリックすると対象のユーザー定義テーブルへ遷移します。

《ワークフローの仕様について》

ワークフローのタスクとして登録されているジョブが失敗した場合、その時点でワークフローの処理が中断され、以後のジョブは実行されません。