5.画像処理の基礎 

1 ・ここでは、デジタル情報である画像データの中身について講義します。
・コンピューターは道具です。その中身を知ることにより、コンピューターに使われるのではなく、コンピューターを使うことができるのだと近藤は考えています。
・美しい画像も、その中身は数字の羅列であり、その意味を知ることによって、情報の本質に迫ることができると思います。
2 ・左に北海道の画像があります。
・画像を拡大していくと、画素(picture element)と呼ばれる画像の最小単位が見えてきます。
・画像を拡大し、その一部を取り出します。
・切り出された画像の左下には10代の数字が並んでいます。その右上には一桁の数字が並んでいますが、その数字に明るさを割り当てると、境界が見えてきます。
・その境界は海岸であり、相対的に値が小さい(暗い)部分が海、明るい部分が陸に対応することがわかります。
・この数字は何でしょうか。
3 ・デジタル画像では、撮影された明るさを一定の段階で現します。
・コンピューターは二進数で動きますが、二進数の桁数が6桁あると、6ビット、10桁あると10ビットと呼び、その桁数の二進数ではそれぞえ64段階、1024段階の明るさを現すことができます。
・それじゃぁ段階が足りねぇと思う方もいるかも知れませんが、人間の眼では64段階を識別するのが限界と言われています。
・もちろん、この話は単バンド(白黒)の場合ですが、複数バンドを組み合わせて色を合成しているのです(後述)。
4 ・二進数について復習しておきましょう。
・10進数の0~15を二進数で現すと、15は1が4桁の1111で現されます。これを4ビットといいます。0~15の10進数に対応し、15の次は桁上がりして5桁になります。
・でも、1が増えすぎると書くのが大変なので、10~15をA~Fで現し、16進数として表記すると便利です。
・なお、この表には1カ所間違いがあります。それは16に対応する16進数で、正解は10ですね!
・桁数が8桁になると、0~255の256段階を現すことができるようになり、16進数で表すとFFになります。
・初期のコンピューターは8ビットコンピューターでしたので、8ビットを単位として動作していました。今は64ビットが主流になっていますね。処理スピードも桁違いに速くなりました。
5 ・デジタル画像の本質は2次元の数字の配列です。そこには整数値が入っています。
・たくさんのバンド(波長帯)で撮影した衛星画像は、整数の2次元配列がたくさんあることになります。
・エクセルのようなスプレッドシートで考えると、一つのシートが単バンドの画像、シートを増やしていくと、それがマルチスペクトル画像になります。
・緑(G)、赤(R)、近赤外(NIR)の3バンドの画像だとすると、シートの座標(例えば、A1)が画素の位置を現し、シート1のA1の値が緑の反射輝度に相当する値になります。シート2の同じ座標は赤の反射輝度、シート3の同じ座標は近赤外の反射輝度といったようになります。
6 ・では、画像に記録されている整数値と、本来の電磁波のエネルギーの関係はどうなっているのでしょうか。
・記録されるエネルギーは、単位面積、単位立体角辺りのエネルギーです。
・コンピューターで実数を表すと最小で4バイト(32ビット)必要です。もし、センサーの精度が明るさを256段階識別する程度であったら、センサーで検出できるエネルギーの最小値と最大値の間を256段階に区分し、スライドの式で整数値に変換できます。
・256段階でしたら1バイト(8ビット)で表すことができるので、データの容量を減らすことができます。
・宇宙を飛行しながら、大量の画像データを地上に送信するには、このようにしてデータを圧縮する必要があるわけです。
7 ・ランドサットのMSSセンサーの最大・最小放射輝度は設計、製作の段階で決められています。
・衛星からは整数値が送られてきますが、スライドに示したパラメーターと式を使って、エネルギーに換算することができます。
・整数値をデジタル値(DN)と呼びますが、エネルギーの絶対値が問題にならない解析、例えば土地利用分類ではDNのままで解析を行うこともできます。
・熱収支の研究ではエネルギーの絶対値が必要になります。
8 ・みなさんは最初から高性能のパソコンを使うことができる世代です。
・近藤が最初にパソコンを使ったのは1970年代後半で、それは8ビットコンピュータでした。その後、大学院時代に16ビットパソコンが登場し、その後、32ビット、64ビットと進化してきました。
・衛星による地球観測もコンピューターの発展と同期して、処理能力を上げてきました。
・時には歴史を振り返ることも、研究者として必要な事だと思います。
9 ・これはもう理解できますね。
・この数値に色を付けると画像になるわけです。
10 ・では、どうすれば色を付けることができるのでしょうか。
・発色には(a)加法混色と(b)減法混色があります。加法混色は赤R、緑G、青B、減法混色はシアン、マジェンタ、イエロー、が基調となります。
・となると、気が付いた人がいると思いますが、加法混色はディスプレイ、減法混色はプリンターで使われています。
・コンピューターでリモセン画像を発色させるときは、加法混色であることを意識しましょう。
・加法混色ではすべて合わせると白になります。
11 ・近藤は高校時代ワンゲルと写真部にはいっていたので、フィルムカメラで白黒写真を良く撮りました。近赤外フィルムも売っており、時月使うことがありました。
・白黒写真でレンズの前にRGBそれぞれのフィルターを装着すると、各波長域の画像を撮影することができます。左の3枚は上からRGBのフィルターを装着して撮影した写真です。少し写り方が異なりますね。
・赤の写真は空が暗くなり、植生がはっきり写っています。青の写真は全体のコントラストが小さくなっています。
・それは赤のフィルターをつけると、散乱光の影響が小さくなること、緑の植生では赤の光をよく吸収するためです。
・近赤外の写真(右中央)はコントラストが高くなり(散乱の影響を受けにくい)、草本が明るく写っています。樹木はもう少し波長が長くなると明るく写るはずです。
・さて、RGB+NIRの4つの波長域で写真を撮ることができましたが、RGBの3つのプレーンしかないコンピューターでどのように発色させるのでしょうか。
12 ・ランドサットTMはB、G、R、NIR、SWIR、TIR、SWIRの7バンドあります。これをコンピューターのRGBに割り当てる組み合わせはたくさんあります。
・上の画像はRにバンド3(赤)、Gにバンド4(近赤外)、Bにバンド2(緑)を割り当てた画像です。植生は近赤外の反射率が高いので、植生域が緑に発色しています。
・中央の画像はRGBに近赤外、赤、緑を割り当てた画像で、植生域が赤く発色してます。理由はわかりますね。フォールスカラーといった場合、この組み合わせをさします。
・下の画像はRGBにRGBを割り当てたので、自然な発色です。針葉樹が多いので、樹林は暗い緑になっています。
・目的に応じてRGBとバンドの組み合わせを変えて、判読を行うことができます。デジタル画像の解析手法も大切ですが、まずは徹底的な画像の判読を行い、目的とするシグナルがあるかどうか、見極めることが重要だと近藤は考えています。そこで、人間の持つ能力(地理的な見方といっても良い)を発揮できるからです。
13 ・地球観測衛星は地球をくまなく巡り、様々な明るさの対象を撮影します。暗い海、明るい沙漠、暗い熱帯雨林、...。
・ランドサットTMは8ビット(256段階)の明るさを記録できますが、ある場所を撮影した画像は0~255の段階をくまなく使っていうわけではありません。
・千葉県付近を撮影した画像の青のバンドのヒストグラム(明るさ階級ごとの画素の数)をグラフに示しましたが、レンジの一部しかないことがわかります。
・この値をそのままコンピューターに表示すると、コントラストがなく、画像として判読するには不便です。
・そこで、記録された明るさ(DN)のレンジを0~255をフルに使うように引き延ばすと、表示したときに判読しやすい画像になります。
・これをストレッチングといいますが、スライドに書いたように複数の方式があります。
14 ・左上の画像では0~255のレンジの中で0~35程度の範囲しか値がありません。そこで、最小値と最大値を決めて、それを0と255に対応させるようにヒストグラムを引き延ばすと見やすい画像になります。これは線形変換です。
・ヒストグラム平滑化では256段階の各段階に同じ数の画素が入るように変換します。画像は見やすくなりますが、方法は目的に応じて選択すれば良いでしょう。
・これはレタッチと同じですが、レタッチでは画素の値を変えてしまいます。リモートセンシングでは画素の値に意味があるので、元の値を保持しながら、ルックアップテーブル(換算表)によって、表示の時だけ明るさの値を変えます。これが画像処理システムの画像表示の方法です。
15 ・いくつかの方法でTMの長野シーンを表示させました。印象は大分異なります。
・リモートセンシングでは本質は観測輝度に相当する画素の値であり、印象によって判断がブレないように注意する必要もあります。
・例えば、沙漠地域の画像では植生がないため、ストレッチングの様式によりフォールスカラーで赤が発色されることがあります。赤が植生だと思っていると大失敗をしてしまうかも知れません。
16 ・表示ができたら、次は画像を地図と合わせて解析したくなります。
・これはTMのバルク補正、すなわち、衛星の姿勢情報だけを用いて画像の歪みを修正した画像です。
・上が北ではないのは、ランドサットの軌道が地軸に対して傾いているからです。
・両脇に三角形の部分がありますが、スキュー補正といって衛星が画像の上端から下端に至る間の地球の自転を補正した部分です。
・これを地図にぴったり重ね合わせるために幾何補正という作業が必要になります。
17 GoogleEarth等の高分解能画像に慣れていると時代遅れに感じるかも知れませんが、30m空間分解能のTMを幾何補正して地形図と重ねた結果です。
・松戸キャンパス付近ですが、江戸川、国道6号線、常磐線がちゃんと重なっていることがわかります。
・こうなると、スペクトルあるいは分光反射率がわかった任意の画素を、実際の対象と関連付けることができるようになります。
18 ・私たちが使う衛星画像には、未補正画像、バルク補正画像、精密補正画像があります。今はWEBからダウンロードすることが多くなり、気にしないことも多いと思われますが、実は極めて重要なことです。
・グリッド状に配列した数字である画像を幾何補正すると、画素の値が変わることがあります。スペクトルを用いた判別や物理量の抽出を行う場合は、画素の値が変わることに注意すべきです。
19 ・精密幾何補正では画像の座標(ライン、ピクセル)と地図上の位置(緯度、軽度)を対応付ける組み合わせをたくさん抽出します。
・その点をGCP(Ground Control Point)といいます。
・GCPの組み合わせを用いて、画像座標から地図座標に変換する式を最小自乗法で求めます。
・式が得られたら、変換すればよろしい
20 ・GCP選択中の画像です。ソフトはER Mapperという製品ですが、今は競争に負けて(おそらく)無くなってしまいました。アプリケーションの世界も厳しいものです。
・GCPは変換誤差がなるべく小さくなるように選択します。このソフトではGCPを入力すると瞬時に変換式を作成し、変換誤差を表示してくれます。
・みなさんは研究室に備えてあるソフトの使い方を覚えてください。ただし、原理を知って使うこと。そうすればソフトの種類が変わったときも対応できます。手順だけ覚えて、中身を知らないと、ソフトが使えなくなったときにあたふたすることになります。それはコンピューターに使われる態度であり、コンピューターを使う態度ではないのです。
21 ・画像座標から地図座標に変換する式は1次式、2次式、3次式から選択することができます。
・もっとも簡単な式がアフィン変換と呼ばれる1次式による方法です。
・アフィン変換ではスライドに書いた移動~回転を計算する、すなわち変換後の座標を計算することができます。
・ワイヤーフレームの図形が画面の中で跳びはねるのを見たことがあるでしょう。あれはアフィン変換で座標を計算しながら表示させているのです。
・スライドの一番下の記述は覚えておいてください。
22 ・自分で計算してみよう。座標をx、yとして、変換後の座標を求めてみよう。
・スライドではマトリクス形式で書きましたが、高校で習いましたね。
・移動の式は書き換えると、
 X=x+tx、Y=Y+ty となります。txとtyが移動量です。
23 ・最小自乗法で1次の変換式の各係数を求めてみましょう。
・これは高校で学ぶ微分積分の知識で理解できると思います。
24 ・一度自分で理解しておくと、画像処理のアプリケーションが何をやっているのかがわかり、“操作の手順を覚える”から“(自分の目的のために)コンピューターを使う”に態度を変えることができます。
25 ・実際には皆さんは商用アプリを使うことになると思いますが、GCPの数の目安を知っておくと良いでしょう。
・スライドに書いた数の倍あれば十分だと思います。
26 ・ここが重要です。じっくり考えてください。
・画像座標を変換すると通常は実数になります。しかし、画像においては整数の座標しかあり得ません。
・必要なのは変換された画像上の(緯度経度と対応付けられている)整数座標であり、変換された座標の位置は近傍の4つの座標の間にあります。
・そこから変換された画像の整数座標の位置の値(衛星で計測された値DN)を求めますが、その代表的な方法がスライドに書いた3つです。
27 ・ニアレストネイバー法では近傍の4点との距離を計算し、一番近い座標位置の値(DN)を採用します。
・ニアレストネイバー法は画素の値を壊しません。水とコンクリートが隣り合っていても、近い方のどちらかになります。
・ニアレストネイバー法ではできあがった画像は少し粗くなります。画質は落ちるわけです。
・バイリニア法は近傍4点との距離により重みを付ける方法です。
・バイリニア法ではDEMのように10mと20mの間は15mであることが確からしい物理量の変換に用いることができます。
・バイリニア法では画質は少しぼやけます。
28 ・キュービックコンボリューション法は鮮明な画像を生成することができます。
・きれいな画像は見た目が良いだけではなく、目視判読を容易にします。
・しかし、画素の値は変わります。
・対象の反射率や、熱収支計算を行う場合には、大分問題があることがわかります。
・以上説明したリサンプリング法の選択は目的に応じて適切な方法を使うようにしてください。
29 ・幾何補正を行うためには図法について知っておく必要があります。
・国土地理院が発行している図法は縮尺によって異なります。
・その中で地域の環境解析を行うときに使う大縮尺地形図の図法である、平面直角座標とUTM座標は覚えておく必要があります。
30 ・これは高校の地理ですね。思い出してください。
・な、2022年から高校の地理「地理総合」が必履修化されます。地理学すなわち環境や災害に関する基本的知識が高校で教えられます。環境認識において後輩に先を越されないように、頑張ってください。
31 ・帝国書院の地図帳からコピーしましたが、皆さんも地図帳は持っていると思います。
・復習しておいてください。
32 ・5万分の1地形図、2.5万分の1地形図などで使われている図法がUTMです。
・地球に東西方向に円筒をかぶせて投影します。
・地球と接する子午線付近の精度が良くなりますが、中央子午線と離れると精度が低下します。
・そこで、6度ごとに円筒の位置をずらして作図します。
・右下に5万分の1「佐倉」図幅に記載されている説明をコピーしました。UTMで中央子午線が統計141度であることがわかります。
・ゾーンが異なると、違う投影法になると考えてください。
・UTMは狭い範囲を正確に地図化する投影法ですので、つなぎ合わせて日本全図をつくるということはナンセンスですので、日本の中でゾーンが異なっても良いのです。
33 ・UTMの原点は赤道と中央子午線の交点です。しかし、日本は中緯度に位置します。
・そこで、原点のみを国内に移動させたものが平面直角座標系です。国内に19カ所の原点が設定されていますので、19座標系とも呼びます。
・また、都市計画図等の公共測量の基本図として用いられるので、公共座標系とも呼ばれます。
・千葉県は第9系になります。
34 ・基本図は1:2500あるいは1:5000の大縮尺で作成され、都市計画等で用いられます。地域によっては都市計画図とも呼ばれています。
・これは基本図の例です。左上に座標が書かれています。地図の下には第9系であることが記載されています。
・この図の場合、等高線間隔は2mで、詳細な地形解析もできそうですね。
・基本図は役場に行くと購入することができます。
35 ・リモートセンシングの用途のトップレベルに土地利用・土地被覆分類があります。
・任意の場所が何なのか、を判別する手法です。
・ただし、一般的な分類方法では、画素の色(波長ごとの反射率の組み合わせ)に基づいて判別を行うことに注意してください。
・なお、形やテクスチャーを見て判別する方法もあります。
・ここで、土地利用(land use)と土地被覆(land cover)の違いはしっかり頭に入れておいてください。
36 ・分類には大別して二種類あります。
・教師を与えて、類似の画素を選択する教師付分類法。
・各バンドのDN値の組み合わせに基づき、多変量解析の方法で似たものどうしをくっつける教師無し分類法。代表的な手法がクラスター法です。
37 ・ランドサットMSSとTMで、代表的な土地利用に対するDNの組み合わせをグラフにしました。
・土地利用(土地被覆)によって分光反射特性(グラフの形)が異なることがわかります。
・任意の画素が、これらの土地利用(被覆)項目のどれに近いのかを統計的に判別する手法が教師付分類法です。
38 ・二つのバンドがある画像の分類を行って見ましょう。
・画像を見ると、3つのクラスに分類できそうです。
・そこで、3つの領域の代表的な領域を選んで、画素の値を抽出します。
・バンド1と2を二軸とする散布図を描くと、それぞれのクラスは特有の領域に分布します。
・そこで、境界を定めて、任意の画素が、どの領域にプロットされるかを調べます。
・得られた結果が、右下の図。簡単でしょう。
39 ・任意の画素が、どのクラスに近いかを判断する方法には複数あります。
40 ・左はマルチレベルスライス法。説明はスライドでわかりますね。
・多次元になっても同じです。
・4次元以上になると、イメージしにくくなりますが、コンピューターが“近さ”を計算してくれます。
41 ・近さの判定で一番シンプルな方法はユークリッド距離ですが、それではうまくいかない場合もあります。
・右のグラフでは、体重と身長が相関するため、右上に延びる楕円の中にサンプルが分布しています。では、Aさん、Bさんはこのグループに入るでしょうか。
・ユークリッド距離ならばBさんは同じグループと認めて良いかも知れません。
・そこで、主成分分析を行い、軸を回転させます。そして、各成分を標準偏差で割ると、分布が円形になります。
・この状態で距離を計算すると、AさんはBさんより平均に近くなります。めでたく、Aさんはこのグループに入ることがわかりました。
・この距離をマハラノビスの距離といいます。
・手法の選択は使うアプリケーションのメニューにありますので、その原理を理解して使うようにしてください。
42 ・教師付分類法では最尤法を使うことが多いかも知れません。
・統計を勉強しておいてください。
43 ・教師無し分類もアプリケーションのメニューにあると思います。
・土地利用を指定できないが、同じ分光特性を持っている領域を判別するときに使います。
44 ・例を示します。釧路湿原がラムサール条約登録湿地になったときに、野鳥の会のシンポジウムで話した内容です。
・釧路湿原のナチュラル画像ですが、水蒸気が多いので、波長の短い可視光の画像では霞んで見えます。
45 ・でも、近赤外、短波長赤外の組み合わせの画像では、湿原内の特徴が良く見えます。波長が長いと大気の状態の影響を受けにくく成からです。
・このことは、湿原植生の分類が可能であることを示しています。
46 ・そこで、まず分類項目を決定します。
・ここでは、20項目を設定しました。
47 ・次に、トレーニングエリアを画像から抽出します。
・それぞれの項目で分光特性が異なることがわかります。
・トレーニングエリアの抽出は現地の専門家(湿原のレンジャー)に手伝って頂きました。
48 ・後は、任意の画素が、どのトレーニングエリアに一番似ているかを判読します。
・それはコンピューターの仕事です。
・ただし、仕事の中身は解析者が理解しておかなければなりません。
49 ・分類結果です。
・湿原の中の高層、中層、低層湿原、ハンノキの分布がよくわかります。
50 ・衛星画像による分類精度は100%達成することは難しいかも知れません。
・しかし、教師付分類では解析者が納得するまで試行錯誤を繰り返し、現地の状況を見ながら納得すれば、それが一番精度の高い植生図になります。
・コンピューターがいつも精確な結果を出すという思い込みは文明人の態度ではありません。精度を高めるのは人間のやることです。
・なお、湿原の外側にも湿原植生が分布していますが、それは分光特性が似ている被覆があることによる誤分類ともいえます。しかし、湿原の範囲がGISで重ねられて表示してありますので、湿原外をマスクしてしまえば、湿原の植生図になりますね。
51 ・ハンノキは湿原の乾燥化が進んでいることを意味しています。
・元はもっと広大だった釧路湿原の上流が農地開発されたことにより、土砂が流入していることを意味しています。
・でも、それも人の営みの歴史です。
・湿原の南側は釧路市の市街地であり、湿原に面してゴミ処理場がありました(今はどうなってっているだろうか)。
・さて、分類の基本はわかりましたね。