[English] [Japanese]

ひまわり8/9号 フルディスク (FD) gridded data (緯度経度直交座標系精密幾何補正済データ) Version 02 (V20190123)公開について

Version 01 (20151105) リリースノートはこちら

樋口篤志・竹中栄晶・豊嶋紘一:千葉大学環境リモートセンシング研究センター

本リリースノートの pdf 版はこちら(H08_09_gridded_FD_V02_V20190123_readme_jp.pdf)

1. はじめに

「ひまわり8/9号」全球スキャンモード (FD) のgridded data を Version 02 (V20190123) にアップデートしました.概要は以下の通りです.

2. Version up の概要

Version 02 (V20190123)では日射推定プロダクトAMATERASSの開発技術をフィードバックさせています.具体的には以下の通りです.

2.1. 精密幾何補正精度の向上

Version 01 (V20151105) と比較して,Version 02 では可視画像を利用した精密幾何補正の精度が高まっています. EXT等の高空間分解能データで恩恵を得ることができます. 一方,夜間の幾何補正精度は Version 01 と同じであり,SIR, TIR ではVersion 01 と Version 02 はほぼ同じ補正精度ですので,これらの波長域のユーザは本アップデートに伴う過去データの再取得は原則不要です.

2.2. 4 km データの公開

一部ユーザからのa) 物理量変換済みのデータが欲しい,b) センサー方位角・天頂角,太陽方位角・天頂角等のジオメトリ情報が欲しい,の要望に対応し, 4 km データ(詳細は3.3.5.を参照)を公開しました.

3. データ格納仕様

3.1. 公開サーバおよびディレクトリー構成

Version 01 同様,ftp://hmwr829gr.cr.chiba-u.ac.jp/ によるanonymous ftp で公開しています. anonymous [ゲストユーザ] でログイン後, gridded/FD/V20190123/ に移動すればデータ取得が可能です. ftp://hmwr829gr.cr.chiba-u.ac.jp/gridded/FD/V20190123/ に直接アクセスすることも可能です. 以下の仕様でディレクトリが構成され,データが格納されています.
YYYYMM YYYY: 年 (4桁),MM: 月(2桁).2015年8月の場合,201508 となります. 各YYYYMM ディレクトリには以下のサブディレクトリが作成されています.
EXT VIS SIR TIR 4KM
各ディレクトリに収められたデータの仕様は3.3 以降で説明します.

3.2. データ種類の仕様,およびひまわり8/9号バンドとの対応関係

公開する gridded data はこれまでの静止気象衛星データとの関連性から,気象庁のバンド名とは異なるルールで作製・公開しています.ご注意下さい. CEReS gridded data とひまわり8/9号バンドとの関係を表1に,EXT, VIS, SIR, TIR 共通のgridded data に関する仕様を表2にそれぞれ示します.

表1: CEReS gridded data とひまわり8/9号バンドの関係
CEReS gridded ひまわり8/9号バンド Pixel x Line 空間解像度
EXT 01 Band03 (0.64 μm) 24000 x 24000 0.005 degree (500 m 相当)
VIS 01 Band01 (0.47 μm) 12000 x 12000 0.01 degree (1 km 相当)
VIS 02 Band02 (0.51 μm) 12000 x 12000 0.01 degree (1 km 相当)
VIS 03 Band04 (0.86 μm) 12000 x 12000 0.01 degree (1 km 相当)
SIR 01 Band05 (1.6 μm) 6000 x 6000 0.02 degree (2 km 相当)
SIR 02 Band06 (2.3 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 01 Band13 (10.4 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 02 Band14 (11.2 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 03 Band15 (12.4 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 04 Band16 (13.3 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 05 Band07 (3.9 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 06 Band08 (6.2 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 07 Band09 (6.9 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 08 Band10 (7.3 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 09 Band11 (8.8 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 10 Band12 (9.6 μm) 6000 x 6000 0.02 degree (2 km 相当)

表2: EXT, VIS, SIR, TIR gridded data 共通仕様
緯度経度範囲 東経 85度 – 西経155度 (85E – 155W (205E)), 北緯60度 – 南緯60度 (60N – 60S)
格納データ仕様 ヘッダー無し2 byte 符号無し整数 (unsigned short), big endian data order のバイナリデータ
データ書き出し順 西 -> 東 (左 -> 右),北 -> 南(上 -> 下)に書き出し
格納データ 気象庁より配信されたひまわりスタンダード(HS) データ内のカウント値そのもの. 幾何補正で値が入っていないところには例外値として65535 が入る点に注意が必要.

3.3. ファイル名ルール

各データのファイル名ルールは以下の通りです.ファイル名がメタデータとなっています. ファイル名で示される時刻は観測開始(スキャン開始)時刻となります.解析で用いる際には注意してください. 基本ルールは以下の通りです.
YYYYMMDDHHMN.XXX.ZZ.fld.geoss.bz2
YYYY: 年 (4桁),MM: 月 (2桁),DD: 日 (2桁), HH: 時 (2桁,UTC) ,MN: 分 (2桁, UTC), XXX: 表1の CEReS gridded data 区分 (ext, vis, sir, tir が入る; 常に3文字.ディレクトリ名は大文字だが,ファイル表記では小文字となる点に注意が必要), ZZ: 表1の CEReS gridded data バンド番号 (01, 02, 03, ...; 10 以下でも常に2文字.例 1 -> 01), fld: ひまわり HS フルディスク (FD) データより作成, geoss: 特に意味はありません.CEReS静止気象衛星 gridded data 命名仕様上付けています. bz2: bzip2 仕様で圧縮されていることを示します. データを利用する際には bzip2 コマンドなど,bz2 ファイルを解凍する機能を持つコマンド,ソフトウェアで解凍する必要があります.

3.3.1. EXT (0.005 degree; 500 m 相当)

EXT (0.005 degree, 500 m 相当,1バンド,Band 03) の仕様,ファイル名ルールは表3の通りです.

表3: EXT gridded data 仕様およびファイル名ルール
CEReS gridded ひまわり8/9号バンド Pixel x Line 空間解像度
EXT 01 Band03 (0.64 μm) 24000 x 24000 0.005 degree (500 m 相当)
ファイル名:YYYYMMDDHHMN.ext.01.fld.geoss.bz2 で以下の情報を意味します.
YYYY: 年(4桁), MM: 月(2桁), DD: 日(2桁), HH: 時(2桁,UTC), MN: 分(2桁,UTC), ext: CEReS grided data のバンド区分 (EXT),01: CEReS gridded data のバンド番号(EXT は1バンドのみなので,01のみ), geoss: CEReS gridded data 命名仕様上付記,bz2: bzip2 で圧縮されていることを示す.
注:EXT のみ精密幾何補正による位置修正結果に関する log ファイルである YYYYMMDDHHMN.ext.(coff または loff).fld.txt.bz2 が存在します. 通常は参照する必要はありません.

3.3.2. VIS (0.01 degree; 1 km 相当)

VIS (0.01 degree 1 km 相当,3バンド) の仕様,ファイル名ルールは表4の通りです.

表4: VIS gridded data 仕様およびファイル名ルール
CEReS gridded ひまわり8/9号バンド Pixel x Line 空間解像度
VIS 01 Band01 (0.47 μm) 12000 x 12000 0.01 degree (1 km 相当)
VIS 02 Band02 (0.51 μm) 12000 x 12000 0.01 degree (1 km 相当)
VIS 03 Band04 (0.86 μm) 12000 x 12000 0.01 degree (1 km 相当)
ファイル名:YYYYMMDDHHMN.vis.ZZ.fld.geoss.bz2 で以下の情報を意味します.
YYYY: 年(4桁), MM: 月(2桁), DD: 日(2桁), HH: 時(2桁,UTC), MN: 分(2桁,UTC), vis: CEReS grided data のバンド区分 (VIS),ZZ: CEReS gridded data のバンド番号(VIS は3バンドなので, 01, 02, 03 が入る), geoss: CEReS gridded data 命名仕様上付記,bz2: bzip2 で圧縮されていることを示す.

3.3.3. SIR (0.02 degree; 2 km 相当)

SIR (0.02 degree 2 km 相当,2バンド)の仕様,ファイル名ルールは表5の通りです.

表5: SIR gridded data 仕様およびファイル名ルール
CEReS gridded ひまわり8/9号バンド Pixel x Line 空間解像度
SIR 01 Band05 (1.6 μm) 6000 x 6000 0.02 degree (2 km 相当)
SIR 02 Band06 (2.3 μm) 6000 x 6000 0.02 degree (2 km 相当)
ファイル名:YYYYMMDDHHMN.sir.ZZ.fld.geoss.bz2 で以下の情報を意味します.
YYYY: 年(4桁), MM: 月(2桁), DD: 日(2桁), HH: 時(2桁,UTC), MN: 分(2桁,UTC), sir: CEReS grided data のバンド区分 (SIR),ZZ: CEReS gridded data のバンド番号 (SIR は2バンドなので,01, 02 が入る), geoss: CEReS gridded data 命名仕様上付記,bz2: bzip2 で圧縮されていることを示す.

3.3.4. TIR (0.02 degree; 2 km 相当)

TIR (0.02 degree 2 km 相当,10バンド)の仕様,ファイル名ルールは表6の通りです.

表6: TIR gridded data 仕様およびファイル名ルール
CEReS gridded ひまわり8/9号バンド Pixel x Line 空間解像度
TIR 01 Band13 (10.4 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 02 Band14 (11.2 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 03 Band15 (12.4 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 04 Band16 (13.3 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 05 Band07 (3.9 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 06 Band08 (6.2 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 07 Band09 (6.9 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 08 Band10 (7.3 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 09 Band11 (8.8 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 10 Band12 (9.6 μm) 6000 x 6000 0.02 degree (2 km 相当)
ファイル名:YYYYMMDDHHMN.tir.ZZ.fld.geoss.bz2 で以下の情報を意味します.
YYYY: 年(4桁), MM: 月(2桁), DD: 日(2桁), HH: 時(2桁,UTC), MN: 分(2桁,UTC), tir: CEReS grided data のバンド区分 (TIR),ZZ: CEReS gridded data のバンド番号 (TIR は10バンドなので,01, 02, ... 10 が入る), geoss: CEReS gridded data 命名仕様上付記,bz2: bzip2 で圧縮されていることを示す.

3.3.5. 4KM (0.04 degree; 4 km 相当) [New!]

Version 02 から提供される 4KM プロダクトは,ファイル数が多いことから日毎のサブディレクトリへ分かれます (ftp://hmwr829gr.cr.chiba-u.ac.jp/gridded/FD/V20190123/ YYYYMM/4KM/YYYYMMDD/). 提供されるデータセットおよびファイル名ルールは表7の通りです.

表7:4KM プロダクト仕様およびファイル名ルール (a: 共通仕様)
Pixel x Line, 解像度 3000 x 3000, 0.04 degree (4 km 相当)
緯度経度範囲 東経 85度 – 西経155度 (85E – 205E (155W)), 北緯60度 – 南緯60度 (60N – 60S) (他のデータセットと同じ)
格納データ仕様 4 byte 浮動小数点(float), big endian data order バイナリデータ
データ書き出し順 西 -> 東 (左 -> 右),北 -> 南(上 -> 下)に書き出し
格納データ 物理量に換算済み

(b: EXT, VIS, SIR, TIR 物理量換算済みデータセットルール)
ファイル名例 説明
YYYYMMDDHHMN.xxx.ZZ.rad.fld.4km.bin.bz2 (xxx: ext, vis, sir, tir; ZZ: CEReS gridded data バンド番号) ext, vis, sir, tir 放射輝度 (単位 W m-2 sr-1 μm-1)
YYYYMMDDHHMN.xxx.ZZ.rfc.fld.4km.bin.bz2 (xxx: ext, vis, sir; ZZ: CEReS gridded data バンド番号) ext, vis, sir 分光反射率 (無次元)
YYYYMMDDHHMN.xxx.ZZ.rfy.fld.4km.bin.bz2 (xxx: ext, vis, sir; ZZ: CEReS gridded data バンド番号) ext, vis, sir 分光反射率 (%)
YYYYMMDDHHMN.tir.ZZ.tbb.fld.4km.bin.bz2 (ZZ: CEReS gridded data バンド番号) tir (のみ)輝度温度 (K)

(c: ジオメトリ等データセットルール)
ファイル名例 説明
YYYYMMDDHHMN.sun.azm.fld.4km.bin.bz2 太陽方位角 (単位:度.真南が0,時計回り)
YYYYMMDDHHMN.sun.zth.fld.4km.bin.bz2 太陽天頂角 (単位:度)
YYYYMMDDHHMN.sat.azm.fld.4km.bin.bz2 センサー方位角(単位:度.真南が0,時計回り)
YYYYMMDDHHMN.sat.zth.fld.4km.bin.bz2 センサー天頂角(単位:度)
YYYYMMDDHHMN.grd.time.mjd.hms.fld.4km.bin.bz2 観測時刻情報*1(0〜1 で正規化.12:00 UTC で0.5)
YYYYMMDDHHMN.lat.fld.4km.bin.bz2 緯度情報(度.度以下の単位は小数点 [分,秒ではない])
YYYYMMDDHHMN.lng.fld.4km.bin.bz2 経度情報(度.度以下の単位は小数点 [分,秒ではない])
YYYYMMDDHHMN.cap.flg.fld.bin.bz2*2 雲フラグ(昼間,海洋のみで,1以上が雲域と判別)
*1: スキャン時間の計算は厳格には行っていません. 各観測地点での厳格なスキャン時間を得たい場合はHS データからの取得が望ましいです.
*2: このファイルのみ2 byte 符号無し整数 (unsigned short), big endian byte order のバイナリデータ

3.4. カウント値から物理量への変換

Version 02 より新規に提供された 4KM プロダクトを除くデータセットは,カウント値から物理量への変換処理(参照テーブルを基に輝度温度,または分光反射率への換算)が必要となります.

3.4.1. カウント値から物理量(輝度温度,分光反射率)への変換

サンプルプログラム群(Fortran90, C言語,python コードおよび変換テーブル群)として, count2tbb_v102.tgzをご参照ください. 同じファイルは ftp://hmwr829gr.cr.chiba-u.ac.jp/gridded/FD/support/ にも置いてあります. count2tbb_v101.tgz には例外処理のバグ(例外値処理の不備)が含まれていました. count2tbb_v102.tgzで修正しましたのでこちらをご利用ください.

[注意] EXT (24000 x 24000) データは 4byte 浮動小数点 (float) への直接の変換ができません. 1ファイル 2GB の壁に当たるため, 64bit OS (Linux x86_64, MacOS, Windows 64 bit 版)でもファイルを擬似的に2分割 (北半球,南半球)した後で変換処理を行い,分割された物理量データを結合しています(サンプルプログラム中のシェルスクリプトを参照下さい). 加えて,32-bit OS では2 GBを超えるファイルは作製できません. 32-bit OS で EXTデータを扱う際には,北半球・南半球にデータを分けそれぞれで解析を行う,等の工夫が必要です.

データの読み方について,以下の記載も参考になるかと思います(英語).Version の違いは適宜読み替えてください. http://quicklooks.cr.chiba-u.ac.jp/~himawari_movie/rd_gridded.html
海外のユーザによるPythonによるサンプルプログラムも存在します.公式にはサポートしませんが,参考までにお知らせします. https://github.com/zxdawn/Himawari-8-gridded

3.4.2. カウント値から反射率等への変換(EXT, VIS, SIR)経年劣化について [New!]

光学センサは長期観測に伴い感度劣化(経年劣化)が起こります. そのため,年々変動,長期トレンド解析を行う際には感度補正(校正情報補正)が必要となります. ひまわり8号AHIに関し,ハワイ大学マノア校三浦知昭教授よりBand 01 - 06 (CEReS gridded dataset における EXT01, VIS01, 02, 03, SIR01, 02) に対する, 2015年(打ち上げ年)から2019年までの経年劣化補正済みの変換テーブルが提供されました. 解析の目的に応じ,ご利用ください. Updated_LUTs_20200308_zip.zip (zipでの圧縮.展開すると,説明文と校正テーブルのエクセルファイル,および各年のLUTが得られます).

参考情報:ひまわり8号AHI の感度補正のための構成情報更新について ( https://www.data.jma.go.jp/mscweb/ja/oper/pdf/Update_of_Calibration_Information_2020(jp).pdf, 2020年7月6日参照)

3.4.3. センサ校正 (GSICS)活動

気象庁はひまわり8/9号 AHI に対し,可視・近赤外,中間赤外波長バンドに限らず, GSICS (Global Space-based Inter-Calibration System) の一環で校正作業をしています. より精確な物理量換算を行いたい場合には GSICS校正情報が有効です. 詳しくは気象庁気象衛星センターが提供する “Himawari Calibration Portal(英文)” をご参照ください.

Himawari Calibration Portal: https://www.data.jma.go.jp/mscweb/en/oper/calibration/calibration_portal.html (2020年9月1日参照)

4. 本データの利用 (citation)について

論文中では以下の2編の論文の引用をお願いします.

幾何補正アルゴリズム:Takenaka, H., T. Sakashita, A. Higuchi, T. Nakajima (2020): Development of geolocation correction for geostationary satellite observation by phase only correlation method using visible channel, Remote Sensing, 12 (15), 2472, doi:10.3390/rs12152472.

幾何補正精度検証:Yamamoto, Y., K. Ichii, A. Higuchi, H. Takenaka (2020): Geolocation accuracy assessment of Himawari-8/AHI imagery for application to terrestrial monitoring, Remote Sensing, 12 (9), 1372, doi:10.3390/rs12091372.

また,謝辞には以下の文言を加えていいただければ幸いです.
“ひまわり8/9号 グリッドデータは千葉大学環境リモートセンシング研究センターで提供されたものを利用した (Himawari 8/9 gridded data are distributed by the Center for Environmental Remote Sensing (CEReS), Chiba University, Japan.)”

本 gridded data の利用に関しては,オリジナルであるひまわり標準データ提供元の気象庁*に準拠します. すなわち営利目的の利用は原則として禁じます. ただし,民間企業による利用であっても,営利目的の前段階の研究開発の場合はこれを許容します.

*研究者向けデータ公開: http://www.data.jma.go.jp/mscweb/ja/info/resercher.html (2020年9月1日参照)

4.1. リアルタイムデータの取り扱いについて

オリジナルデータ提供元の気象庁より,リアルタイムデータ (気象庁の定義ではリアルタイムデータは観測後24時間以内) を制限無しで公開することが禁じられています.リアルタイムデータへのアクセスは IP アドレスで制御しています. リアルタイムデータへのアクセスを希望される際には,request4himawaridata _AT_ ceres.cr.chiba-u.ac.jp にアクセスする IP アドレス(global IP)と利用目的(数行で結構です)を記載し送って下さい. なお,大学機関・研究所等の大口利用に関してはどなたかアクセスしうるIPアドレスの範囲を教えて頂けると大変助かります (非商用利用が分かれば良く,多数のIPアドレス列挙は効率が良くないため). ユーザ登録によるアクセス制御に対応する予定は今後もありません.あらかじめご容赦下さい.

謝辞

本処理プログラムのアップデート,リアルタイム・過去分処理計算機群資源,公開サーバストレージ資源,人件費のサポートについては, 4大学連携バーチャルラボラトリー,JST/CREST TEEDDA,千葉大学学長裁量の支援を受けました. また,富山大学濱田篤准教授には変換プログラムのバグの指摘,F90での回避プログラム例の提示,pyhtonコードの提供を, ハワイ大学マノア校三浦知昭教授にはひまわり8号バンド1-6の校正係数アップデートを適応したルックアップテーブルファイルの作成,および提供を, 千葉大 CEReS 市井研 Liu Zhiyan氏には,python コードの高速化をして頂きました.ここに記し,感謝の意を示します.

This html was written by: HIGUCHI, Atsushi, CEReS, Chiba University, Japan. Last update: 07 July 2021