このページでは視覚情報処理研究室で行ってきた研究やプロジェクトについて紹介します．
大阪工業大学に来る以前からの河合准教授の研究についてはこちら
2021年度の卒業研究・プロジェクト
- StyleGAN2を用いた顔のマスク領域の補完（画像処理・AI）
マスクをつけた顔画像から，同一人物のマスクを着けていない顔画像を使って，マスク領域を補完します．また，表情を表す別の画像を追加し処理をすることで，表情を変化させることもできます．- Hiroaki Koike and Norihiko Kawai: “Facial mask region completion using StyleGAN2 with a substitute face of the same person”, Proceedings of International Workshop on Frontiers of Computer Vision (IW-FCV), pp. 271-185, 2022.
- 小池泰景, 河合紀彦: “同一人物の正面の顔を用いたStyleGAN2による顔のマスク領域の補完”, 情報処理学会第84回全国大会講演論文集, 7Q-07, March 2022.
マスクをつけた人の顔画像 同一人物のマスクを着けていない画像 マスク領域の補完結果 
表情を表す追加画像 表情を変化させた補完結果 - 撮影者の写らない全方位パノラマ画像生成（画像処理）
全方位カメラを中心に回転しながら撮影した複数枚の全方位パノラマ画像から，撮影者が写っていない全方位パノラマ画像を生成します．VRに応用できます．- 河合紀彦, 野田隆成:”撮影者が写らない全方位画像生成のための撮影と合成”, 画像電子学会誌（to appear)
- Ryusei Noda and Norihiko Kawai: “Generation of omnidirectional image without photographer”, Proceedings of International Workshop on Frontiers of Computer Vision (IW-FCV), pp. 286-299, 2022.
- 野田隆成, 河合紀彦: “撮影者を含まない全方位画像の生成”, 情報処理学会第84回全国大会講演論文集, 6Q-01, March 2022.
入力1枚目 入力2枚目 入力3枚目 
撮影者が消えた全方位パノラマ画像 - 代替現実を用いた地震シミュレータ（SR・VR・AR・MR）
代替現実（SR：Substitute Reality）を応用し，普段いる場所での地震をVR/ARにより再現します．リアルな地震体験により防災意識を高めます．
- 石原翼, 中西隆太, 河合紀彦: “代替現実を応用した地震シミュレータ”, 電子情報通信学会 技術研究報告（メディアエクスペリエンス・バーチャル環境基礎研究会（MVE））, MVE2021-57, March 2022.
シミュレータの体験の様子 体験者が見ている画面（棚の転倒） - 全天球動画像と座位運動検知を用いたVR寺院拝観システム（VR）
椅子に座ったままの足踏み運動により全方位動画像で生成したVR空間を散策します．遠隔地の複数人が同時に体験できます．- 上田雄大, 山田夢一途, 土屋匠磨, 河合紀彦, 大井翔, 佐野睦夫,: “全天球動画像と座位運動検知を用いたVR寺院拝観システムの開発”, 電子情報通信学会 技術研究報告（メディアエクスペリエンス・バーチャル環境基礎研究会（MVE））,MVE2021-74, March 2022.
VRシステムの体験の様子 体験者が見ている画面
他の参加者のアバターが見えるシステム内のアバターと全天球動画の仕組み - デプスカメラを用いた隠消現実感（DR，MR，AR，画像処理）
カラーカメラとデプスカメラを持つKinectを用いて平面上の物体をリアルタイムで消去する隠消現実感（DR：Diminished Reality）を実現します．- 木内一隆, 河合紀彦: “デプスカメラを用いた平面上の物体を対象とした隠消現実感”, 電子情報通信学会 技術研究報告（メディアエクスペリエンス・バーチャル環境基礎研究会（MVE））, MVE2021-75, March 2022.
入力画像 出力画像（掛け時計を消去） - セマンティックセグメンテーションとARに基づく床の模様替え（AR，画像処理，画像認識，AI）
一般的なカメラ画像から部屋の床を認識し，床の模様替えを画像処理で行います．
- 田村啓人, 河合紀彦: “セマンティックセグメンテーションとARに基づく床の模様替え”, 情報処理学会第84回全国大会講演論文集, 2ZG-03, March 2022.
入力画像1 床の色合いを自動変換 
入力画像2 床に新しい模様を付与 - 全方位カメラのための物体検出（画像認識，画像処理，AI）
全方位パノラマ画像を透視投影画像に変換し物体検出を行い，正距円筒図法で展開された全方位画像上に検出結果を反映します．- 金川和源, 河合紀彦: “全方位カメラのための物体検出の一手法”, 情報処理学会第84回全国大会講演論文集, 7U-05, March 2022.
全方位パノラマ画像 
変換した透視投影画像上での検出 
検出結果の全方位パノラマ画像への反映（上の3つのみの場合） 
全ての検出結果の全方位パノラマ画像への反映 - ヒストグラムマッチングによるBackground Mattingの精度向上（画像処理，画像認識，AI）
映像中の前景の人を抜き出して，他の映像に合成するための手法です．
- 入江友基, 河合紀彦: “ヒストグラムマッチングによるBackground Mattingの精度向上”, 情報処理学会第84回全国大会講演論文集, 7Q-06, March 2022.
入力画像1 人の前景の抽出結果 
入力画像 人の前景の抽出結果 - Indirect ARのためのカメラ画像を用いた輝度補正（AR，MR，画像処理）
事前撮影した全方位画像を使用するIndirect ARにおいて，現在の時間・天候の景色に合うように，端末カメラで撮影した画像を用いて全方位画像の輝度を補正します．
- 池林ハキーム, 河合紀彦: “Indirect ARのためのカメラ画像を用いた輝度補正の検討”, 情報処理学会第84回全国大会講演論文集, 6P-02, March 2022.
事前撮影全方位画像
（百済寺のCGを合成後）端末カメラ画像 輝度補正後の全方位画像 - 枚方市のイベントへの協力（百済寺復元とAR提示）
2020年度にHirathonで開発した奈良時代の百済寺をCGで復元しARとして提示するIndirect ARシステム（Androidアプリ）を，2021年11月23日の枚方市主催のイベント「百済寺跡で1350年前の寺院を体感」で市民の皆様に公開しました．
- 佐野睦夫, 尾崎敦夫, 鎌倉良成, 河合紀彦, 鈴木悠平, 豊味諒磨, 今井弘二: “HIRATHON：市民・産官学協働によるAI データサイエンス的アプローチによる地域の価値創造の推進”, 人工知能学会誌, Vol. 37, No. 2, pp. 179-186, March 2022.
- 開催の様子（大学ページ）
- 大阪工業大学からのプレスリリース
- 枚方市からのプレスリリース
- ひらかた文化財だより（130号）
- 常翔学園広報誌FLOW（96号）
Indirect ARシステム 体験者への説明 体験者への説明
2020年度の卒業研究・Hirathonプロジェクト
- 2枚の画像を用いた画像修復
1枚目の画像内では遮へいされている背景が写っている2枚目の画像を用いて，1枚目の画像から不要物を消去します．
1枚目の画像 2枚目の画像 
1枚目から電柱を取り除いた画像 - 1枚の画像のみを用いたインタラクションによる画像修復結果の改善
失敗領域にふさわしいテクスチャを持つ領域を指定することで結果を改善します．
欠損を持つ画像 従来の修復結果 人のインタラクション
（対応領域の指定）改善した修復結果 - VRによる地震シミュレータ
実画像+ARのようなVRによる地震シミュレータ
リアルな地震体験により防災意識を高めます．
シミュレータの体験の様子 体験者が見ている画面（棚の転倒）
- 百済寺復元とAR提示（Hirathonプロジェクト）
大阪府枚方市にある特別史跡である百済寺跡では，建物が現存していません．
そこで，建物の3次元復元およびARによる提示を行いました．
HMD(ヘッドマウントディスプレイ)を用いてVRとして見ることもできます．
イラストからの三次元モデル復元 百済寺東塔の拡張現実感提示