エラー
Error: INT96 is deprecated. As interim enable READ_INT96_AS_FIXED flag to read as byte array.原因
Parquetファイル内のカラムにINT96型が含まれていることが原因です。
INT96型は非推奨となっており、正しく読み取れません。
AWS 公式に以下記載
Timestamps saved as anINT(96)are unsupported.
Because of the range of theINT(64)type, timestamps that are using theNANOSunit can represent only values between1677-09-21 00:12:43and2262-04-11 23:47:16. Values outside of this range cannot be represented with theNANOSunit.
(参考)Data types - S3
対処法
-
S3上の元データを修正する
Parquetファイル内のINT96型カラムを、S3でサポートされているデータ型に変換してください。 -
ファイル形式を変更する
Parquet形式ではなく、CSVやJSONなど、INT96型を使用しない形式に変更してください。
コメント
0件のコメント
記事コメントは受け付けていません。