[EN] [JP]
Last update: 19 May 2016, by A. Higuchi, CEReS Chiba University, Japan
ひまわり8/9号 フルディスク (FD) gridded data (緯度経度直交座標系精密幾何補正済データ) 公開について
樋口 篤志: 千葉大学 環境リモートセンシング研究センター
竹中 栄晶: 宇宙航空研究開発機構 地球観測研究センター/
千葉大学 環境リモートセンシング研究センター (客員准教授)
豊嶋 紘一: 千葉大学 環境リモートセンシング研究センター

1. はじめに
利用者からの要望の高い,「ひまわり8/9号」の全球スキャン (FD) の gridded data (緯度経度直交座標系による精密幾何補正済データ) 公開準備が整いました.ひまわりデータ利用促進の一助となれば幸いです.

2. 各種仕様
2.1. データ公開サイト
ftp://hmwr829gr.cr.chiba-u.ac.jp/ で公開しています. anonymous [ゲストユーザ]でログイン後,
gridded/FD/V20151105/
へ移動すれば,正式運用後 (2015年7月7日以降) の過去データ取得可能です. ( ftp://hmwr829gr.cr.chiba-u.ac.jp/gridded/FD/V20151105/と同義)

*V20151105 はひまわりスタンダード (HS) データより本 gridded data を生成するプログラムパッケージのバージョンを示します.今後,プログラムパッケージの Version up に伴い,公開 directory が変わる場合があります.プログラムパッケージ命名ルールは今後も同じ(プログラムアップデートが fix した段階の日付)ですので,類推はし易いと思います.ただし,現時点での version up の予定はありません(2016年4月27日現在)

2.2. データ格納仕様
2.1 で示されたサイトで,以下の仕様でディレクトリが構成,データが格納されています.
YYYYMM
YYYY: 年 (4桁) 例:2015年 -> 2015, MM: 月 (2桁) 例:8月 -> 08; 2015年8月の場合,201508 となります.
各月のディレクトリには,以下のサブディレクトリが作成されています.
 EXT VIS SIR TIR
各サブディレクトリ内に収められたデータ仕様については 2.3. で説明します.

2.3. データ種類の仕様,ひまわり8,9号のバンドとの対応関係
公開する gridded data はこれまでの静止気象衛星データとの関連性から,気象庁のバンド名とは異なるルールで作製・公開しています.ご注意下さい. CEReS gridded data とひまわり8,9号バンドとの関係は表1の通りです.

表 1. CEReS gridded data とひまわり8,9号バンドの関係
CEReS gridded data ひまわり8,9 対応バンド pixel x line 空間解像度
EXT 01 Band 03 (0.64 μ m) 24000 x 24000 0.005 degree (500 m 相当)
VIS 01 Band 01 (0.47 μ m) 12000 x 12000 0.01 degree (1km 相当)
02 Band 02 (0.51 μ m)
03 Band 04 (0.86 μ m)
SIR 01 Band 05 (1.6 μ m) 6000 x 6000 0.02 degree (2km 相当)
02 Band 06 (2.3 μ m)
TIR 01 Band 13 (10.4 μ m) 6000 x 6000 0.02 degree (2km 相当)
02 Band 14 (11.2 μ m)
03 Band 15 (12.4 μ m)
04 Band 16 (13.3 μ m)
05 Band 07 (3.9 μ m)
06 Band 08 (6.2 μ m)
07 Band 09 (6.9 μ m)
08 Band 10 (7.3 μ m)
09 Band 11 (8.6 μ m)
10 Band 12 (9.6 μ m)

共通仕様:範囲 85 E -- 205 E (155 W), 60 N -- 60 S (MTSAT2 と同じ範囲)
ヘッダ無し 2byte 符号無し整数 (unsigned short), big endian data order のバイナリデータ
データ格納の順番:西 -> 東 (左 -> 右), 北 -> 南 (上 -> 下)
格納バイナリデータ:気象庁より配信された HS データ内のカウント値 (いわゆるCCTカウント値)

各バンドのデータは,バンド毎に圧縮されて格納されています. MTSATや他のCEReS公開静止気象衛星 gridded data はこれまで, 可視とそれ以外で分けた後,固めて圧縮して公開していましたが (.tar.bz2),ひまわり8,9号はバンド数が多く, データ量が爆発的に増えたため, これまでの形式では使用しないバンドデータも一緒に取得してしまうため,分離しています.
[重要]全てのバンドのデータを取得した際には,1月分でおよそ 3TB の容量になります(圧縮してあるにも関わらず,です)! データ取得の際には,必要なバンドのデータのみを取得するように工夫することを強くお薦めします*.
*wget, ncftp 等のCUIコマンドを用いた shell script を作製し,shell実行による取得が現実的です. なお,データ取得のための shell script 作製に関する質問には答えかねます.予めご容赦下さい.

2.4. 各ファイル名ルール
ファイル名ルールは以下の通りです.
YYYYMMDDHHMN.XXX.ZZ.fld.geoss.bz2
YYYY: 年 (4桁) 2015年 -> 2015; MM: 月 (2桁) 08月 -> 08; DD: 日 (2桁) 12日 -> 12;
HH: 時 (2桁,UTC) 例: 02UTC -> 02; MN: 分 (2桁, UTC) 例: 10分 -> 10;
ファイル名で示される時刻は“観測開始 (スキャン開始)”時刻となります. データ処理,解析をされる際には注意して下さい.
XXX: 2.3. の CEReS gridded data 区分 (ext, vis, sir, tir が入る; 常に3文字.ディレクトリ名は大文字だが, ファイル表記では小文字となる点に注意が必要です)
ZZ: 2.3. の CEReS gridded data バンド番号 (01, 02, 03 ...; 10 以下でも常に2文字.例 1 -> 01)
fld: ひまわり HS フルディスク (FD) データより作成したことを示します.
geoss: 特に意味はありません.CEReS静止気象衛星 gridded data 命名仕様上付けています.
bz2: bzip2 仕様で圧縮されていることを示します. データを利用する際には bzip2 コマンド,および bz2 ファイルを解凍する機能を持つコマンド, ソフトウェアで解凍する必要があります.
EXTのみ,幾何補正による位置修整結果に関する情報を示す log ファイルである YYYYMMDDHHMN.ext.(coeff または loff).fld.txt.bz2 が存在します.通常は参照する必要の無いファイルです.

2.5. カウント値から物理量(輝度温度,反射率)への変換
データを物理量として扱うためには変換処理(変換テーブルを元に輝度温度 [Tbb] または反射率への換算)が必要です. サンプルプログラム(F90 [fortran],C言語,および変換テーブル)として, count2tbb_v101.tgz を参照下さい. 同じものは, ftp://hmwr829gr.cr.chiba-u.ac.jp/gridded/FD/support/ に置いてあります. 動作確認は Linux (CentOS 6, F90, C言語),および MacOS (OS X 10.11, C言語のみ,gcc) でのみ行っています.
[注意] EXT (24000 x 24000) データは 4byte 浮動小数点 (float) への直接の変換ができません. 1ファイル 2GB の壁に当たるため, 64bit OS (Linux X86_64, Mac OS [intel CPU], Windows 64bit 版)でも, ファイルを擬似的に2分割(北半球,南半球)した後,変換処理を行った後, 分割された物理量データを結合する処理を行っています(サンプルプログラムの中のシェルスクリプトを参照下さい). 加えて,32bit OS ではそもそも仕様として,2GBを超えるサイズのファイルを作製することができません. 32bit OS で EXTデータを扱う際には,例えば北半球,南半球にデータを分け, それぞれで解析を行う等の工夫が必要となります.
サンプルプログラム群により準リアルタイムで処理された画像は ここ で見ることができます. また,公開ftp サーバ内にも各バンドの画像を置いています. 処理が正しく行われたかどうかの簡易的なチェックにお使い下さい.

2.6. データ利用に関して
本 gridded data の利用に関しては,オリジナルのひまわり標準データ提供元の気象庁*に準拠します. すなわち営利目的の利用を原則として禁じます. また,民間企業による利用であっても,営利目的の前段階の研究開発の場合はこれを許容します*.

データ利用には以下の文言を加えて頂ければ幸いです.

"ひまわり8/9号 グリッドデータは千葉大学環境リモートセンシング研究センターで提供されたものを利用した"

また,本精密幾何補正に関する論文を投稿する予定です.受理された際にはその論文を引用するようお願いします. 本リリースノートに追記します.

*「協力機関からの研究者向けデータ公開 ( http://www.data.jma.go.jp/mscweb/ja/himawari89/archive/organizations.html; 2016年05月02日参照)」

2.7. リアルタイムデータ
オリジナルデータ提供元の気象庁より,リアルタイムデータ (気象庁の定義ではリアルタイムデータは観測後24時間以内) を制限無しで公開することが禁じられています. リアルタイムデータへのアクセスは IP アドレスによって制御しています. リアルタイムデータへのアクセスを希望される際には,
request4himawaridata _AT_ ceres.cr.chiba-u.ac.jp
にアクセスする IP アドレス(グローバル IPアドレス),利用目的(数行で結構です)を沿えて送って下さい. なお,大学機関,研究所等の大口利用に関しては, どなたかアクセスしうるIPアドレスの範囲について教えて頂けると大変助かります (非商用利用が分かれば良く,多数のIPアドレス列挙での制御は効率が良くありません). ユーザ登録によるアクセス制御に対応する予定は今後もありません.予めご容赦下さい.