研究成果

・画像修復(Image Inpainting)
・動画像欠損修復・隠消現実感(Video Inpainting, Diminished Reality)
・三次元欠損修復(Surface Completion)
・事例参照型画風変換(Texture Transfer)
・超解像(Super-Resolution)

2020年度以降の研究成果はこちら

(English)

トップページ

画像修復(Image Inpainting)

画像補間，画像復元，インペインティング，Image Completion, Image Renaissance(?)　などなど・・・

写真についた傷や意図せず写りこんでしまった物体などのような画像内の不要な部分を取り除き，
取り除かれた領域（欠損領域）を自動的に修復する技術

原画像	欠損領域を指定した画像	結果画像


原画像	欠損領域を指定した画像	結果画像


原画像	欠損領域を指定した画像	結果画像


修復ビデオ

関連文献

Takahiro Tanaka, Norihiko Kawai, Yuta Nakashima, Tomokazu Sato, and Naokazu Yokoya:
"Interactive applications of image completion with CNN-based failure detection",
Journal of Visual Communication and Image Representation, Vol. 55, pp. 56-66, Aug. 2018. (Author pdf, supplementary data, Website)

Hiroto Sasao, Norihiko Kawai, Tomokazu Sato, and Naokazu Yokoya:
"A study on effect of automatic perspective correction on exemplar-based image inpainting",
ITE Trans. on Media Technology and Applications, Vol. 4, No. 1, pp. 21-32, Jan. 2016. (pdf file)

Norihiko Kawai and Naokazu Yokoya:
"Image inpainting considering symmetric patterns",
Proc. 21st IAPR Int. Conf. on Pattern Recognition (ICPR2012), pp. 2744-2747, Nov. 2012. (pdf file)

河合紀彦，佐藤智和，横矢直和:
"テクスチャの明度変化と局所性を考慮したパターン類似度を用いたエネルギー最小化による画像修復",
電子情報通信学会論文誌, Vol.J91-D, No.9 pp. 2293-2304 ,Sep. 2008. (pdf file) 　（正式なのは信学会のページから）
（論文中に紹介している結果の比較ページ結果の比較ページはこちら）

Norihiko Kawai, Tomokazu Sato and Naokazu Yokoya:
"Image inpainting considering brightness change and spatial locality of textures and its evaluation",
Proc. Pacific-Rim Symposium on Image and Video Technology (PSIVT2009), Jan. 2009. (pdf file)

Norihiko Kawai, Tomokazu Sato and Naokazu Yokoya:
"Image inpainting considering brightness change and spatial locality of textures",
Proc. Int. Conf. on Computer Vision Theory and Applications (VISAPP), Vol. 1, pp. 66-73, Jan. 2008. (pdf file)

河合紀彦，佐藤智和，横矢直和:
"テクスチャの明度変化と局所性を考慮したパターン類似度に基づくエネルギー最小化による画像修復",
画像の認識・理解シンポジウム(MIRU2007)講演論文集, pp. 227-234, July 2007. (pdf file)

動画像欠損修復・隠消現実感(Video inpainting, Diminished Reality)

隠消現実感(Diminished Reality)

リアルタイムで現実環境の実物体を除去します。

現実物体除去ビデオ

関連文献

N. Kawai, T. Sato, and N. Yokoya:
"Diminished reality based on image inpainting considering background geometry",
IEEE Transactions on Visualization and Computer Graphics, vol. 22, no. 3, pp. 1236-1247, March 2016. (PDF(Author Version))(IEEE Xplore)
(SIGGRAPH ASIA 2016, IEEE TVCG Invited Session)

N. Kawai, T. Sato, and N. Yokoya:
"Diminished reality considering background structures",
Proc. IEEE International Symposium on Mixed and Augumented Reality (ISMAR2013), pp. 259-260, Oct. 2013. (pdf file)
受賞: Pest Poster - Honourable Mention of ISMAR2013

河合紀彦, 佐藤智和, 横矢直和:
"画像修復を用いた隠消現実感",
画像の認識・理解シンポジウム(MIRU), DS2-1, July 2014
受賞: MIRUデモ発表賞

Norihiko Kawai
"Diminished reality based on image inpainting for visually removing real objects in real time",
Proc. International Display Workshops, pp. 1296-1299, Dec. 2014.
IDW '14 Best Demonstration Award

ARマーカを対象とした隠消現実感

平面仮定を置かないARマーカ除去

関連文献

N. Kawai, T. Sato, N. Yuta and N. Yokoya:
"Augmented Reality Marker Hiding with Texture Deformation",
IEEE Transactions on Visualization and Computer Graphics, Vol. 23, No. 10, pp. 2288-2300, Oct. 2017. (PDF(Author Version))(IEEE Xplore)

N. Kawai, T. Sato, Y. Nakashima, and N. Yokoya:
"AR marker hiding with real-time texture deformation",
Proc. IEEE Int. Sympo. on Mixed and Augmented Reality Workshops (Int. Workshop on Diminished Reality as Challenging Issue in Mixed and Augmented Reality (IWDR2015)), pp. 26-31, Sep. 2015. (pdf file)

河合紀彦, 佐藤智和, 横矢直和:
"ARマーカ除去のための実時間背景画像変形",
日本バーチャルリアリティ学会研究報告, MR2015-1, Jan., 2015
受賞: 平成27年度SIG-MR賞

鏡面反射を考慮したARマーカ除去

関連文献

中村勇貴, 河合紀彦, 佐藤智和, 横矢直和:
"平面上の拡張現実感マーカ除去におけるハイライトの再現",
日本バーチャルリアリティ学会論文誌, Vol. 21, No. 4, pp. 665-674, 2016 (pdf file)

大局的輝度変化とキャストシャドウを考慮したARマーカ除去

関連文献

N. Kawai, M. Yamasaki, T. Sato, and N. Yokoya:
"Diminished reality for AR marker hiding based on image inpainting with reflection of luminance changes",
ITE Transactions on Media Technology and Applications, Vol. 1, No. 4, pp. 343-353, Oct. 2013. (pdf file)

N. Kawai, M. Yamasaki, T. Sato, and N. Yokoya:
"AR marker hiding based on image inpainting and reflection of illumination changes",
Proc. 11th IEEE and ACM Int. Sympo. on Mixed and Augmented Reality (ISMAR2012), pp. 293-294, Nov. 2012. (pdf file)

山崎将由, 河合紀彦, 佐藤智和, 横矢直和:
"拡張現実感における画像修復に基づく陰影を考慮したマーカの除去",
映像情報メディア学会技術報告, AIT2012-11, Feb. 2012. (pdf file)

移動撮影した全方位動画像からの不要領域の除去(Background Estimation for an Omnidirectional Image Sequence)

背景推定ビデオ

関連文献

N. Kawai, N. Inoue, T. Sato, F. Okura, Y. Nakashima, and N. Yokoya:
"Background estimation for a single omnidirectional image sequence captured with a moving camera",
IPSJ Trans. on Computer Vision and Applications, Vol. 6, pp. 68-72, July 2014. (pdf file)

不可視領域のない全天球映像の生成(Video Completion for Omnidirectional camera images)

通常の全方位カメラには死角が存在するため全方位動画上に欠損が生じる．
そこで，欠損領域を他フレームの情報を用いて修復し，不可視領域のない全天球映像を生成する．

入力画像(Ladybug)

全天球パノラマ画像に欠損がある！！

	→
地面を表す平面に入力画像を投影し他フレームの情報を用いて修復

全天球パノラマ画像の欠損が埋まった！！

テレプレゼンスの様子

360度見まわせるビデオ(前半は欠損あり，後半は欠損なし)

関連文献

Norihiko Kawai, Kotaro Machikita, Tomokazu Sato and Naokazu Yokoya:
"Video completion for generating omnidirectional video without invisible areas",
IPSJ Transactions on Computer Vision and Applications, Vol. 2, pp. 200-213, Nov. 2010. (pdf file)

Norihiko Kawai, Kotaro Machikita, Tomokazu Sato and Naokazu Yokoya:
"Generation of an omnidirectional video without invisible areas using image inpainting",
Proc. Asian Conf. on Computer Vision (ACCV(2)), pp.359-370, Sep. 2009. (pdf file)

町北幸大郎，河合紀彦，佐藤智和，横矢直和:
"動画像の欠損修復による全方位カメラを用いた不可視領域のない全天球テレプレゼンスの実現",
画像の認識・理解シンポジウム(MIRU2009)講演論文集, pp. 391-397, July 2009. (pdf file)

三次元欠損領域の修復(Surface Completion)

モデル補間，形状補間，Surface Completion, 3D Inpainting，などなど・・・

3次元メッシュモデル中のオクルージョンなどにより発生した欠損領域を自動的に修復する技術

形状のみの修復

欠損したモデル	修復モデル



修復ビデオ

関連文献

河合紀彦，佐藤智和，横矢直和:
"局所形状の類似度を用いたエネルギー最小化による三次元欠損修復",
日本バーチャルリアリティ学会論文誌, Vol.15, No.1 pp. 83-92 , March. 2010. (pdf file)

Norihiko Kawai, Tomokazu Sato and Naokazu Yokoya:
"Efficient surface completion using principal curvature and its evaluation",
Proc. IEEE Int. Conf. on Image Processing (ICIP2009), pp. 521-524, Nov. 2009. (pdf file)

Norihiko Kawai, Tomokazu Sato and Naokazu Yokoya:
"Surface completion by minimizing energy based on similarity of shape",
Proc. IEEE Int. Conf. on Image Processing (ICIP2008), pp. 1532-1535, Oct. 2008. (pdf file)

河合紀彦，佐藤智和，横矢直和:
"エネルギー最小化による三次元欠損修復における主曲率を用いた類似形状探索の効率化と修復結果の定量的評価",
第13回パターン計測シンポジウム講演論文集, pp.49-56, Nov. 2008. (pdf file)

河合紀彦，佐藤智和，横矢直和:
"局所形状の類似度評価に基づくエネルギー最小化による三次元欠損修復",
画像の認識・理解シンポジウム(MIRU2008)講演論文集, pp. 272-277, July 2008. (pdf file)

形状とテクスチャの修復

欠損したモデル	修復モデル

事例参照型画風変換(Texture Transfer)

関連文献

Y. Tsunematsu, N. Kawai, T. Sato, and N. Yokoya:
"Texture transfer based on energy minimization for painterly rendering",
Journal of Information Processing, Vol. 24, No. 6, pp. 897-907, Nov. 2016. (pdf file)

超解像(Super-Resolution)

ステレオ画像の超解像(Super-Resolution for Stereo Video)

ステレオカメラにおいて、一方のカメラだけをズームし、他方のカメラ画像の一部を切り出し高解像度化することで、
ズーム3D映像を生成する手法。左右カメラのズーム同期が難しいような場合に有効。(下の図は交差法で立体的に見えます。)

	右目画像	左目画像
入力
処理後

関連文献

Y. Hayashi, N. Kawai, T. Sato, M. Okumoto, and N. Yokoya:
"Generation of a zoomed stereo video using two synchronized videos with different magnifications",
IEICE Trans. on Information and Systems, Vol. E98-D, No. 9, pp. 1691-1701, Sep. 2015. (pdf file copyright IEICE)
IEICE Online

Y. Hayashi, N. Kawai, T. Sato, M. Okumoto, and N. Yokoya:
"Generation of a super-resolved stereo video using two synchronized videos with different magnifications",
Proc. 6th Pacific-Rim Sympo. on Image and Video Technology (PSIVT2013), pp. 194-205, Oct. 2013. (pdf file)

奥行き画像を用いた時空間超解像(Spatio-Temporal Super-Resolution)

動画像の時間解像度と空間解像度を向上させる技術
奥行き画像を利用することで，対象シーンが複雑な場合やオクルージョンなどがある場合でも有効
詳しくはこちらのページ

入力と出力結果のムービー

関連文献

Yusaku Awatsu, Norihiko Kawai, Tomokazu Sato and Naokazu Yokoya:
"Spatio-Temporal Super-Resolution Using Depth Map",
Proc. 16th Scandinavian Conference on Image Analysis (SCIA2009), pp. 696-705 June. 2009. (pdf file)

粟津優作，河合紀彦，佐藤智和，横矢直和:
"奥行き画像を利用した動画像からの時空間超解像画像の生成",
画像の認識・理解シンポジウム(MIRU2008)講演論文集, pp. 188-193, July 2008. (pdf file)

トップページに戻る