【すげぇ…】ディープネットワークを用いて白黒写真を色づけするとこうなる

1:2016/04/29(金) 17:44:44.92 ID:

ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け
http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/
概要:本研究では,ディープネットワークを用いて白黒画像をカラー画像に自動変換する手法を提案する.提案手法では,画像の大域特徴と局所特徴を考慮した新たな畳込みネットワークモデルを用いることで,画像全体の構造を考慮した自然な色付けを行うことができる.提案モデルにおいて,大域特徴は画像全体から抽出され,局所特徴はより小さな画像領域から計算される.これらの特徴は“結合レイヤ”によって一つに統合され,色付けネットワークに入力される.このモデル構造は入力画像のサイズが固定されず,どんなサイズの画像でも入力として用いることができる.また,モデルの学習のために既存の大規模な画像分類のデータセットを利用し,それぞれの画像の色とラベルを同時に学習に用いることで,効果的に大域特徴を学習できるようにしている.提案手法により,100年前の白黒写真など,様々な画像において自然な色付けを実現できる.色付けの結果はユーザテストによって評価し,約90%の色付け結果が自然であるという回答が得られた.

(以下略)

Capture

16:2016/04/29(金) 20:24:01.96 ID:

http://www.ufunk.net/en/tech/ostagram/
http://i2.wp.com/www.ufunk.net/wp-content/uploads/2016/03/Ostagram-20.jpg
ostagram では構図画像と部品画像を合成する。
構図画像の個々の部分について、
部品画像から形の似た部分を拾って組み合わせ、
近似画像を作り出すわけ。
だから、構図画像が白黒でも、
部品画像の方が色付きなら部品の色が付くことになる。>>1 のシステムも似たような方式なんだろうと思う。
草木・顔・手・建物……といった基本部品について、
色と形のサンプル写真が用意されてるんだろう。

ostagram を作ってみたければ、夢鏡という無料サービスがある。
https://dreamscopeapp.com/

19:2016/04/29(金) 20:54:07.64 ID:

夢鏡を白黒写真の彩色に使えるか試してみた。
構図画像:
http://i1.wp.com/3.bp.blogspot.com/-MVoFPYA2aW0/UMQJd7OZR0I/AAAAAAAADMA/ZdXTqsPkn6A/s1600/sevensamurai.jpg
部品画像:
http://i0.wp.com/shundou.jp/gallery/16.jpg
出力結果:
http://i1.wp.com/di959x84wsbql.cloudfront.net/imgs/6ec23e318f454cb194b0a0f33c8a60bb/final.jpeg顔とか空とか着物と……素材認識の精度が低すぎるけど、方向は間違ってない。
この最初の一歩を何段階か進化させたのが >>1 なんだろう。

29:2016/04/30(土) 08:32:01.00 ID:

>>19
壊れた光学迷彩みたいになってるけど
中々いい感じに色付いてるね

2:2016/04/29(金) 17:49:36.14 ID:

「画像全体の構造を考慮した自然な色付け・・・」

ま、そんな程度だろうよ

3:2016/04/29(金) 18:04:02.96 ID:

大量に教師データ画像食わせて
コンテキストを学習するってところは想像できるそうすると特定の範囲のパーツが何であるかを推定できるから
着色できるってことかな

5:2016/04/29(金) 18:40:53.13 ID:

要は映っているものが何であるかを認識できるかどうかだろうけど
90%以上が自然に見えるくらい当たってるってことだな

6:2016/04/29(金) 18:54:27.26 ID:

ディープネットワーク。。

7:2016/04/29(金) 18:56:36.69 ID:

興味あるのは、その検出した局所特徴が
顔とか木といったモノの名前と結びついて記憶されるんだろうかそれとも着色には直接必要ないから
「なんだかわからないけどクラスターAの物体」という扱いか?

英語なんで全部読んでないけど
タグがなんたらって書いてあるようだから、
やっぱり何かの名前データベースは持たせているのかな

9:2016/04/29(金) 19:05:09.71 ID:

この技術を応用して画像の高解像度化も進むかな

10:2016/04/29(金) 19:23:45.94 ID:

元記事読んでないけどこれを恐竜の白黒復元画とか電子顕微鏡画像やAFM画像や単波長で撮られた宇宙の某とかに適用するとどういう絵が出来上がるんだろう

12:2016/04/29(金) 19:27:54.68 ID:

ディープネットワークだって  所詮は 人間が学習させる過程が必要。

その学習効果が  フラクタルな画像で  どう 出来るか????????????

13:2016/04/29(金) 19:41:43.61 ID:

古い白黒動画を一気にカラー化するとか出来るのかな

14:2016/04/29(金) 19:41:58.71 ID:

ディープラーニングとは別物?

15:2016/04/29(金) 20:17:47.48 ID:

もう、モザイクは無意味である。

17:2016/04/29(金) 20:46:11.14 ID:

すげー
映像の世紀に出てくるような動画をカラーに出来ちゃったりするんかね

18:2016/04/29(金) 20:53:59.54 ID:

>>17
とっくにやっとるが

22:2016/04/29(金) 21:38:28.74 ID:

トヨタ技術研究所(シカゴ)とシカゴ大学もなんか似たようなことやってんだ。

もうじき、往年の白黒映画が自動でカラーに出来そうで良いな。

26:2016/04/29(金) 23:39:03.61 ID:

幼女のお絵かきタイムを奪う極悪プログラム?

27:2016/04/30(土) 05:58:29.07 ID:

水着・下着という彩色サンプルが無ければ、
人体形状は常に肌の色で彩色されることになるから、
水着画像を入力したら、水着が透けた感じの画像が出力されるはず。
淡色なら白が透けた感じ、濃色なら黒が透けた感じで。

管理人コメント:

>>1の元サイトに飛ぶとたくさん画像が見れます。

ただ小さい画像しかないのは、大きくすると粗が目立つからなのか…。

http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/extra.html

 

 

関連記事

  1. download (1)
  2. a0000830_13522261
  3. download (2)
  4. download (8)
  5. tay
  6. 55896051

コメントをお待ちしております

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

Twitter でフォロー