取り込み／出力可能なファイル仕様

ジョブでファイルの取り込み／出力を行う際のファイル形式について、仕様を掲載しています。

取り込み可能なファイルの形式

項目 詳細
ファイル名 正規表現でファイル名を指定することが可能です。
customer_yyyymmdd.csv のような日付(数値8桁)を含めた命名規則に対応しています。
詳細はこちらをご参照ください。
ファイル形式 CSV形式
※ヘッダー行の有無、区切り文字、引用符(囲み文字)についてはジョブ毎にオプション設定が可能です。
管理画面詳細はこちらをご参照ください。
カラム名 カラム名は半角英文字／数字で指定してください。
(日本語のカラム名は非対応となります。)
DATE型のデータ ハイフン区切りのみ対応しています。
YYYY-MM-DD
例) 2021-03-01
※「/(スラッシュ)」区切りは非対応となります。
TIMESTAMP型のデータ 年、月、日、時、分、秒、サブ秒(最大で小数第6位まで)まで取り込むことができます。
取り込む際にタイムゾーンの指定が可能です。
YYYY-MM-DD HH:MM:SS.DDDDDD(+|-)H[H][:M[M]]
タイムゾーンを指定しない場合は全てUTCとして取り込まれますのでご注意ください。
例) 2021-03-01 12:00:00.001+09:00
(TIMESTAMP型の範囲は0001-01-01 00:00:00～9999-12-31 23:59:59.999999 UTCです。)
DATETIME型のデータ
 		年、月、日、時、分、秒、サブ秒(最大で小数第6位まで)まで取り込むことができます。
YYYY-MM-DD HH:MM:SS.DDDDDD
例) 2021-03-01 12:00:00.001
(DATETIME型の範囲は0001-01-01 00:00:00～9999-12-31 23:59:59.999999 UTCです。)
文字コード UTF-8(BOMなし)／UTF-8(BOMあり)／Shift-JIS
圧縮形式 圧縮なし／gzip／bzip2
ヘッダー行の有無 有り／無し
区切り文字 カンマ(,)、タブ(\t)など区切り文字を指定することができます。
引用符 二重引用符(")など指定の囲み文字に対応しています。
囲み文字は任意でご利用いただけますが、文字列値の中で区切り文字や改行がある場合は引用符(")で囲ってください。
改行コード CRLF／LF

■ 関連記事

《取り込み可能なファイルサイズについて》

  • 取り込みファイルは1ファイルにつき10GB未満を推奨しています。
  • 実際のファイルサイズ制限は、圧縮率等に依存します。
  • 許容ファイルサイズを超過した場合、ジョブの実行結果は失敗となります。
  • ファイルサイズが大きい場合は、ファイル名を正規表現で指定することで、たとえば customer_yyyymmdd-00.csv, customer_yyyymmdd-01.csv 等、分割したファイルを同時に取り込むことをご検討ください。

《データの値に二重引用符が含まれる場合》

Rtoaster insight+へ取り込むデータの値に二重引用符( " )が含まれる場合、CSVのRFC(RFC 4180)に従って、直前に二重引用符( " )を付加してエスケープする必要があります。
例)  "aaa","b""bb","ccc" 

出力可能なファイルの形式

項目 詳細
ファイル名

出力ファイルパスで、連番(*)やこちらの書式で定義された変数(ディレクティブ)を指定することができます。
変数を指定した場合、書式に従ってジョブ実行時に指定の値に置き換わります。

例)
bucket1/hoge/sample_%Y%m%d%H.csv
と指定した場合、2020年11月18日13時の出力では
bucket1/hoge/sample_2020111813.csv
というファイル名で出力されます。

※データ量が1GBを超える場合はファイル名に * を含めてください。
連番が割り当てられた分割ファイルでの出力が可能になります。
ファイル形式 JSON／CSV(カンマ(,)区切り)形式
文字コード UTF-8(BOMなし)／UTF-8(BOMあり)／Shift-JIS
圧縮形式 圧縮なし／gzip／zip／bzip2
ヘッダー行の有無 ファイル形式がCSVの場合、ヘッダー行は有り／無しいずれにも対応しています。
引用符 ファイル形式がCSVの場合、出力値に区切り文字(カンマ(,))や改行が含まれる場合は二重引用符(")で囲まれて出力されます。
改行コード LF

《出力可能なファイルサイズについて》

  • 出力するファイルのサイズは1GBが上限です。

  • ファイルサイズが1GBを超える場合は、出力ファイルパスに指定するファイル名に * を含めて、連番で分割ファイルを出力してください。

  • * を含めず、サイズが1GBを超える場合はエラーとなります。

《クエリ実行結果の出力について》

  • 結果をJSON形式で保存する際、クエリの実行結果に記号「&」、「<」、「>」を含む場合は自動でエスケープされます。