[English] [Japanese]

ひまわり8/9号 フルディスク (FD) gridded data (緯度経度直交座標系精密幾何補正済データ) Version 01 (V20151105)公開について

Version 02 (V20190123) リリースノートはこちら

樋口篤志・竹中栄晶・豊嶋紘一:千葉大学環境リモートセンシング研究センター

本リリースノートの pdf 版はこちら(H08_09_gridded_FD_V01_V20151105_readme_jp.pdf)

0. ひまわり8号,9号観測期間

ひまわり8号,9号の観測期間は以下のとおりです.
- ひまわり8号:2015年7月7日 – 2022年12月13日0450 UTC, 左観測期間中一部ひまわり9号への切り替え有
- ひまわり9号:2018年2月13日 0250UTC – 2018年2月14日 0710UTC, 2022年12月13日 0450 UTC -.
# 観測期間については気象庁からの情報を再度確認してください.

1. はじめに

「ひまわり8/9号」全球スキャンモード (FD) のgridded data を Version 02 (V20190123) がアップデートしましたが, Version 01 (V20151105)もしばらく並行処理・公開します. 新規取得される際には Version 02 を取得するようお願いします. 判断の基準として,Version 02では可視画像を利用した精密幾何補正の精度が高まっています. EXT等の高空間分解能データで恩恵を得ることができます. 一方夜間の幾何補正精度は Version 01 と同じであり, SIR, TIR ではVersion 01 と Version 02 はほぼ同じ補正精度です. またVersion 02 には4KMデータもありますので, Version 02 のリリースノートをご覧ください.

2. データ格納仕様

2.1. 公開サーバおよびディレクトリー構成

ftp://hmwr829gr.cr.chiba-u.ac.jp/ によるanonymous ftp で公開しています. anonymous [ゲストユーザ] でログイン後, gridded/FD/V20151105/ に移動すればデータ取得が可能です. ftp://hmwr829gr.cr.chiba-u.ac.jp/gridded/FD/V20151105/ に直接アクセスすることも可能です. 以下の仕様でディレクトリが構成され,データが格納されています.
YYYYMM YYYY: 年 (4桁),MM: 月(2桁).2015年8月の場合,201508 となります. 各YYYYMM ディレクトリには以下のサブディレクトリが作成されています.
EXT VIS SIR TIR 4KM
各ディレクトリに収められたデータの仕様は2.3 以降で説明します.

2.2. データ種類の仕様,およびひまわり8/9号バンドとの対応関係

公開する gridded data はこれまでの静止気象衛星データとの関連性から,気象庁のバンド名とは異なるルールで作製・公開しています.ご注意下さい. CEReS gridded data とひまわり8/9号バンドとの関係を表1に,EXT, VIS, SIR, TIR 共通のgridded data に関する仕様を表2にそれぞれ示します.

表1: CEReS gridded data とひまわり8/9号バンドの関係
CEReS gridded ひまわり8/9号バンド Pixel x Line 空間解像度
EXT 01 Band03 (0.64 μm) 24000 x 24000 0.005 degree (500 m 相当)
VIS 01 Band01 (0.47 μm) 12000 x 12000 0.01 degree (1 km 相当)
VIS 02 Band02 (0.51 μm) 12000 x 12000 0.01 degree (1 km 相当)
VIS 03 Band04 (0.86 μm) 12000 x 12000 0.01 degree (1 km 相当)
SIR 01 Band05 (1.6 μm) 6000 x 6000 0.02 degree (2 km 相当)
SIR 02 Band06 (2.3 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 01 Band13 (10.4 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 02 Band14 (11.2 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 03 Band15 (12.4 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 04 Band16 (13.3 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 05 Band07 (3.9 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 06 Band08 (6.2 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 07 Band09 (6.9 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 08 Band10 (7.3 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 09 Band11 (8.8 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 10 Band12 (9.6 μm) 6000 x 6000 0.02 degree (2 km 相当)

表2: EXT, VIS, SIR, TIR gridded data 共通仕様
緯度経度範囲 東経 85度 – 西経155度 (85E – 155W (205E)), 北緯60度 – 南緯60度 (60N – 60S)
格納データ仕様 ヘッダー無し2 byte 符号無し整数 (unsigned short), big endian data order のバイナリデータ
データ書き出し順 西 -> 東 (左 -> 右),北 -> 南(上 -> 下)に書き出し
格納データ 気象庁より配信されたひまわりスタンダード(HS) データ内のカウント値そのもの. 幾何補正で値が入っていないところには例外値として65535 が入る点に注意が必要.

2.3. ファイル名ルール

各データのファイル名ルールは以下の通りです.ファイル名がメタデータとなっています. ファイル名で示される時刻は観測開始(スキャン開始)時刻となります.解析で用いる際には注意してください. 基本ルールは以下の通りです.
YYYYMMDDHHMN.XXX.ZZ.fld.geoss.bz2
YYYY: 年 (4桁),MM: 月 (2桁),DD: 日 (2桁), HH: 時 (2桁,UTC) ,MN: 分 (2桁, UTC), XXX: 表1の CEReS gridded data 区分 (ext, vis, sir, tir が入る; 常に3文字.ディレクトリ名は大文字だが,ファイル表記では小文字となる点に注意が必要), ZZ: 表1の CEReS gridded data バンド番号 (01, 02, 03, ...; 10 以下でも常に2文字.例 1 -> 01), fld: ひまわり HS フルディスク (FD) データより作成, geoss: 特に意味はありません.CEReS静止気象衛星 gridded data 命名仕様上付けています. bz2: bzip2 仕様で圧縮されていることを示します. データを利用する際には bzip2 コマンドなど,bz2 ファイルを解凍する機能を持つコマンド,ソフトウェアで解凍する必要があります.

2.3.1. EXT (0.005 degree; 500 m 相当)

EXT (0.005 degree, 500 m 相当,1バンド,Band 03) の仕様,ファイル名ルールは表3の通りです.

表3: EXT gridded data 仕様およびファイル名ルール
CEReS gridded ひまわり8/9号バンド Pixel x Line 空間解像度
EXT 01 Band03 (0.64 μm) 24000 x 24000 0.005 degree (500 m 相当)
ファイル名:YYYYMMDDHHMN.ext.01.fld.geoss.bz2 で以下の情報を意味します.
YYYY: 年(4桁), MM: 月(2桁), DD: 日(2桁), HH: 時(2桁,UTC), MN: 分(2桁,UTC), ext: CEReS grided data のバンド区分 (EXT),01: CEReS gridded data のバンド番号(EXT は1バンドのみなので,01のみ), geoss: CEReS gridded data 命名仕様上付記,bz2: bzip2 で圧縮されていることを示す.
注:EXT のみ精密幾何補正による位置修正結果に関する log ファイルである YYYYMMDDHHMN.ext.(coff または loff).fld.txt.bz2 が存在します. 通常は参照する必要はありません.

2.3.2. VIS (0.01 degree; 1 km 相当)

VIS (0.01 degree 1 km 相当,3バンド) の仕様,ファイル名ルールは表4の通りです.

表4: VIS gridded data 仕様およびファイル名ルール
CEReS gridded ひまわり8/9号バンド Pixel x Line 空間解像度
VIS 01 Band01 (0.47 μm) 12000 x 12000 0.01 degree (1 km 相当)
VIS 02 Band02 (0.51 μm) 12000 x 12000 0.01 degree (1 km 相当)
VIS 03 Band04 (0.86 μm) 12000 x 12000 0.01 degree (1 km 相当)
ファイル名:YYYYMMDDHHMN.vis.ZZ.fld.geoss.bz2 で以下の情報を意味します.
YYYY: 年(4桁), MM: 月(2桁), DD: 日(2桁), HH: 時(2桁,UTC), MN: 分(2桁,UTC), vis: CEReS grided data のバンド区分 (VIS),ZZ: CEReS gridded data のバンド番号(VIS は3バンドなので, 01, 02, 03 が入る), geoss: CEReS gridded data 命名仕様上付記,bz2: bzip2 で圧縮されていることを示す.

2.3.3. SIR (0.02 degree; 2 km 相当)

SIR (0.02 degree 2 km 相当,2バンド)の仕様,ファイル名ルールは表5の通りです.

表5: SIR gridded data 仕様およびファイル名ルール
CEReS gridded ひまわり8/9号バンド Pixel x Line 空間解像度
SIR 01 Band05 (1.6 μm) 6000 x 6000 0.02 degree (2 km 相当)
SIR 02 Band06 (2.3 μm) 6000 x 6000 0.02 degree (2 km 相当)
ファイル名:YYYYMMDDHHMN.sir.ZZ.fld.geoss.bz2 で以下の情報を意味します.
YYYY: 年(4桁), MM: 月(2桁), DD: 日(2桁), HH: 時(2桁,UTC), MN: 分(2桁,UTC), sir: CEReS grided data のバンド区分 (SIR),ZZ: CEReS gridded data のバンド番号 (SIR は2バンドなので,01, 02 が入る), geoss: CEReS gridded data 命名仕様上付記,bz2: bzip2 で圧縮されていることを示す.

2.3.4. TIR (0.02 degree; 2 km 相当)

TIR (0.02 degree 2 km 相当,10バンド)の仕様,ファイル名ルールは表6の通りです.

表6: TIR gridded data 仕様およびファイル名ルール
CEReS gridded ひまわり8/9号バンド Pixel x Line 空間解像度
TIR 01 Band13 (10.4 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 02 Band14 (11.2 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 03 Band15 (12.4 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 04 Band16 (13.3 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 05 Band07 (3.9 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 06 Band08 (6.2 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 07 Band09 (6.9 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 08 Band10 (7.3 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 09 Band11 (8.8 μm) 6000 x 6000 0.02 degree (2 km 相当)
TIR 10 Band12 (9.6 μm) 6000 x 6000 0.02 degree (2 km 相当)
ファイル名:YYYYMMDDHHMN.tir.ZZ.fld.geoss.bz2 で以下の情報を意味します.
YYYY: 年(4桁), MM: 月(2桁), DD: 日(2桁), HH: 時(2桁,UTC), MN: 分(2桁,UTC), tir: CEReS grided data のバンド区分 (TIR),ZZ: CEReS gridded data のバンド番号 (TIR は10バンドなので,01, 02, ... 10 が入る), geoss: CEReS gridded data 命名仕様上付記,bz2: bzip2 で圧縮されていることを示す.

2.4. カウント値から物理量への変換

得られるデータセットは,カウント値から物理量への変換処理(参照テーブルを基に輝度温度,または分光反射率への換算)が必要となります.

2.4.1. カウント値から物理量(輝度温度,分光反射率)への変換 [New!]

サンプルプログラム群(Fortran90, C言語,python コードおよび変換テーブル群)として, count2tbb_v103.tgzをご参照ください. 同じファイルは ftp://hmwr829gr.cr.chiba-u.ac.jp/gridded/FD/support/ にも置いてあります.
count2tbb_v103.tgz ではひまわり9号の変換係数を追加しました. v103以前のバージョンを利用されている方は,ひまわり9号データを扱う際には v103をご利用ください.
[注意] EXT (24000 x 24000) データは 4byte 浮動小数点 (float) への直接の変換ができません. 1ファイル 2GB の壁に当たるため, 64bit OS (Linux x86_64, MacOS, Windows 64 bit 版)でもファイルを擬似的に2分割 (北半球,南半球)した後で変換処理を行い,分割された物理量データを結合しています(サンプルプログラム中のシェルスクリプトを参照下さい). 加えて,32-bit OS では2 GBを超えるファイルは作製できません. 32-bit OS で EXTデータを扱う際には,北半球・南半球にデータを分けそれぞれで解析を行う,等の工夫が必要です.

データの読み方について,以下の記載も参考になるかと思います(英語).Version の違いは適宜読み替えてください. http://quicklooks.cr.chiba-u.ac.jp/~himawari_movie/rd_gridded.html
海外のユーザによるPythonによるサンプルプログラムも存在します.公式にはサポートしませんが,参考までにお知らせします. https://github.com/zxdawn/Himawari-8-gridded

2.4.2. カウント値から反射率等への変換(EXT, VIS, SIR)経年劣化について

光学センサは長期観測に伴い感度劣化(経年劣化)が起こります. そのため,年々変動,長期トレンド解析を行う際には感度補正(校正情報補正)が必要となります. ひまわり8号AHIに関し,ハワイ大学マノア校三浦知昭教授よりBand 01 - 06 (CEReS gridded dataset における EXT01, VIS01, 02, 03, SIR01, 02) に対する, 2015年(打ち上げ年)から2019年までの経年劣化補正済みの変換テーブルが提供されました. 解析の目的に応じ,ご利用ください. Updated_LUTs_20200308_zip.zip (zipでの圧縮.展開すると,説明文と校正テーブルのエクセルファイル,および各年のLUTが得られます).

参考情報:ひまわり8号AHI の感度補正のための構成情報更新について ( https://www.data.jma.go.jp/mscweb/ja/oper/pdf/Update_of_Calibration_Information_2020(jp).pdf, 2020年7月6日参照)

2.4.3. センサ校正 (GSICS)活動

気象庁はひまわり8/9号 AHI に対し,可視・近赤外,中間赤外波長バンドに限らず, GSICS (Global Space-based Inter-Calibration System) の一環で校正作業をしています. より精確な物理量換算を行いたい場合には GSICS校正情報が有効です. 詳しくは気象庁気象衛星センターが提供する “Himawari Calibration Portal(英文)” をご参照ください.

Himawari Calibration Portal: https://www.data.jma.go.jp/mscweb/en/oper/calibration/calibration_portal.html (2020年9月1日参照)

3. 本データの利用 (citation)について

論文中では以下の2編の論文の引用をお願いします.

幾何補正アルゴリズム:Takenaka, H., T. Sakashita, A. Higuchi, T. Nakajima (2020): Development of geolocation correction for geostationary satellite observation by phase only correlation method using visible channel, Remote Sensing, 12 (15), 2472, doi:10.3390/rs12152472.

幾何補正精度検証:Yamamoto, Y., K. Ichii, A. Higuchi, H. Takenaka (2020): Geolocation accuracy assessment of Himawari-8/AHI imagery for application to terrestrial monitoring, Remote Sensing, 12 (9), 1372, doi:10.3390/rs12091372.

また,謝辞には以下の文言を加えていいただければ幸いです.
“ひまわり8/9号 グリッドデータは千葉大学環境リモートセンシング研究センターで提供されたものを利用した (Himawari 8/9 gridded data are distributed by the Center for Environmental Remote Sensing (CEReS), Chiba University, Japan.)”

本 gridded data の利用に関しては,オリジナルであるひまわり標準データ提供元の気象庁*に準拠します. すなわち営利目的の利用は原則として禁じます. ただし,民間企業による利用であっても,営利目的の前段階の研究開発の場合はこれを許容します.

*研究者向けデータ公開: http://www.data.jma.go.jp/mscweb/ja/info/resercher.html (2020年9月1日参照)

3.1. リアルタイムデータの取り扱いについて

オリジナルデータ提供元の気象庁より,リアルタイムデータ (気象庁の定義ではリアルタイムデータは観測後24時間以内) を制限無しで公開することが禁じられています.リアルタイムデータへのアクセスは IP アドレスで制御しています. リアルタイムデータへのアクセスを希望される際には,request4himawaridata _AT_ ceres.cr.chiba-u.ac.jp にアクセスする IP アドレス(global IP)と利用目的(数行で結構です)を記載し送って下さい. なお,大学機関・研究所等の大口利用に関してはどなたかアクセスしうるIPアドレスの範囲を教えて頂けると大変助かります (非商用利用が分かれば良く,多数のIPアドレス列挙は効率が良くないため). ユーザ登録によるアクセス制御に対応する予定は今後もありません.あらかじめご容赦下さい.

謝辞

本処理プログラムのアップデート,リアルタイム・過去分処理計算機群資源,公開サーバストレージ資源,人件費のサポートについては, 4大学連携バーチャルラボラトリー,JST/CREST TEEDDA,千葉大学学長裁量の支援を受けました. また,富山大学濱田篤准教授には変換プログラムのバグの指摘,F90での回避プログラム例の提示,pyhtonコードの提供を, ハワイ大学マノア校三浦知昭教授にはひまわり8号バンド1-6の校正係数アップデートを適応したルックアップテーブルファイルの作成,および提供を, 千葉大 CEReS 市井研 Liu Zhiyan氏には,python コードの高速化をして頂きました.ここに記し,感謝の意を示します.

This html was written by: HIGUCHI, Atsushi, CEReS, Chiba University, Japan. Last update: 14 Dec 2022