So-net無料ブログ作成
  • ブログをはじめる
  • ログイン

超解像について [はじめに]

 今日は、超解像について話してみたいと思います。

超解像1.JPG

 超解像でネットで検索してみると『再構成型』と『学習型』って出てくると思いますけど、何のことか?さっぱりわからないと思います。学会等で一種の宗教論争のようにも。あとエンハンサーやシャープネスとの違いも良くわかりませんね。そこで私なりの理解を説明したいと思います。

 再構成型と呼ばれているのは、簡単に言うと、過去や近傍から近い画像を探してきて、そのデータから画像を埋めることのようです。確かにこの方法ならば解像度は向上しますが、ただこの方法の欠点は、探してきた画像が正しいことが前提になります。これが結構間違うのですよ。

 次に学習型と呼ばれるものは、これ私20年ほどやっていますが、この方法は一番画質がいいと思います。波形パターンなどに分類して、統計的に確からしい値を予測します。この方法は厳密に言うと解像度は上がりませんが、帯域劣化による解像感は向上します。


 超解像とは、

一般的には、帯域を上げる技術

 と言われていますが、

個人的には、ボケを取る技術

 と思っています。

一言にボケと言っても
いろいろあります。
・サンプリング時の帯域制限によるボケ
・レンズのMTFによるボケ
・光学LPFによるボケ
・小絞り(回折)ボケ
・ピンボケ
・動きボケ
・ホールドボケ

各々のボケのモデルを解く事が超解像だと思っています。


 この学習型超解像を回折ボケの除去に応用して例を次に説明します。

超解像2.JPG

回折ボケをほぼ完璧に戻せることがわかります。
この場合はアップコンバータのように画素補間を行わなず、情報が少し残っているので、帯域劣化のみ復元できれば、ほぼ元通り戻すことが出来ます。

では、編集機やカメラの設定に付いているエンハンサーやシャープネスと何が違うの?って良く聞かれるのですが、

超解像3.JPG

エンハンサーやシャープネスは要はmatlabの窓関数うんぬんの話で、要は上図のような考え方で、高解像度画像を予測しています。簡単に言うと隣接画素は相関があるでしょ。だから緑の部分と同じと思って引いてあげると赤が残ります。それを繰り返していくと何十タップも繰り返すとSNが向上して行くでしょ。という考え方です。でもこの理論の大前提は、隣接画素に相関がある場合に成り立つのですが、画像ですから相関がない場合も十分あります。なの強力な光の周辺はリンギングなどの劣化が起こるのです。
nice!(0)  コメント(0) 

機械学習について [はじめに]

機械学習(きかいがくしゅう、英: machine learning)とは、人工知能における研究課題の一つで、人間が自然に行っている学習能力と同様の機能をコンピュータで実現しようとする技術・手法のことである。 (Wikipediaより)

 とありますが、難しく考えることはありません。あるデータの平均値を取って、そのデータを中心値と仮定することも機械学習の1つです。学者さんは簡単なことも難しい言葉を使ってわかり難く説明して、自分は凄いんだって言っているだけのような気がします。

machine_learning1.JPG

 その機械学習の中でも、ニューラルネットを用いて、特徴量も学習させたのがディープラーニング(深層学習)になります。

 この機械学習で何が出来るかは、次に説明します。

machine_learning2.JPG

 機械学習やディープラーニング(深層学習)は、今流行りの認識などに用いられていますが、要は認識とは境界(又は閾値)を求めているのです。

 実は機械学習は認識以外にも超解像などの画像生成にも用いることが出来るのです。その例が以下です。

machine_learning3.JPG

 超解像では、認識のように閾値を求めるのではなく、入力画像に対する係数行列を求めているのです。超解像と言っても何も無いところは作れないので、入力画素から作るのですが、その入力画素をどう使って(ブレンドして)作るかが鍵なのかも知れません。
nice!(0)  コメント(0) 

8Kカメラって [はじめに]

KC4D0043d.jpg
 このカメラ、NHK技研公開で公開された8Kカメラです。私も8Kカメラの開発に携わってきましたが問題だらけ、本質的な課題はまだ解決してないんじゃないかと思います。

 8Kカメラは解像度を出すために、レンズを明るく大きく、センサーも35mmの大判センサーを使っています。回折限界という光学の回折現象にためにボケちゃうので、レンズを明るく大型のものに、センサーの大型にする必要があるのです。

 また、レンズやセンサーを大型化すると被写界深度が浅くなり、フォーカスが合わせずらく、フォーカスがあったところしか8Kの解像度がでないのです。4K・8Kカメラはプロでもフォーカスが合わせずらくなり、フォーカスアシストやオートフォーカスが付き出したのです。
スライド10.JPG

 8K解像度をちゃんと出すためには、この光学的な問題でどうしても大型になってしまうのです。近年スマホで4Kとかありますけど、おそらくまともに4K解像度が出来るスマホは皆無だと。。開発者に聞いてみたら計ったことも無いとか。彼ら4Kの画素数があり、多くのデータを通信させて通信料が稼げればそれで良くって、4K解像度が出るか出ないかはどうでもいいことのようです。

 でも、監視カメラや自動車の車載カメラなどは、やはり小型で解像度の高いカメラがほしいようですが、近年になってその問題に気づき始めたようです。
nice!(0)  コメント(0) 

はじめに [はじめに]

スライド4.JPG
スライド5.JPG
スライド6.JPG
スライド7.JPG

このブログは、人の視覚のように、広い範囲を、歪まず、遠くも、近くも、くっきり写すには?をテーマに考えて行きたいと思います。

私は前職でスーパーハイビジョンカメラの開発を行っていたのですが、その時に、こんなに大きく、フォーカスも合わせにくい、フォーカスがあったところしか8K解像度が出ない。こんなカメラが世の中に普及するのか疑問に思っていました。これからは人間の視覚のように写せる別のカメラが必要になってくるのではないでしょうか?
nice!(0)  コメント(0)