このページでは大阪工業大学・視覚情報処理研究室で行ってきた卒業研究・大学院研究・プロジェクトについて，対外発表を行ったものを中心に紹介します．
大阪工業大学に来る以前からの河合准教授の研究についてはこちら
研究業績リストについてはこちら
- 百済寺復元とAR/VR提示／遺跡発掘体験ゲーム（枚方市のイベントへの協力）
2020年度にHirathonで開発した奈良時代の百済寺をCGで復元しARとして提示するIndirect ARシステム（Androidアプリ）を，2021年11月23日の枚方市主催のイベント「百済寺跡で1350年前の寺院を体感」で市民の皆様に公開しました．また，それをさらに2022年度ソーシャル・オープンイノベーションチャレンジでAR/VRシステムにパワーアップさせ，また別プロジェクトして禁野本町遺跡を復元した3Dモデルを用いた遺跡発掘ゲームも作成し，2022年11月12日の枚方市主催イベント「特別史跡百済寺跡とその周辺でAR体験とウォーキング」でデモを行いました．
- Yuya Suganuma, Masashi Oda, Kanta Nakayama, Sosuke Nishikawa, Shotaro Hata, Ken Paul, Suzuaki Wada and Norihiko Kawai:”Integrated System of Augmented and Virtual Reality for Ruins Tourism”, Proceedings of NICOGRAPH International 2023, p. 85, June 2023. (Author pdf) (Supplemental Video) (Best Poster Presentation Award 受賞)
- 小田雅士, 菅沼祐耶, 中山堪太, 西川総生介, 畑翔太郎, パウル謙, 和田涼暉, 河合紀彦:”事前生成型拡張現実の史跡観光への応用ー特別史跡百済寺跡を例としてー, 画像電子学会第4回デジタルミュージアム・人文学（DMH）研究会 予稿, pp.31-36, Dec. 2022.
- 佐野睦夫, 尾崎敦夫, 鎌倉良成, 河合紀彦, 鈴木悠平, 豊味諒磨, 今井弘二: “HIRATHON：市民・産官学協働によるAI データサイエンス的アプローチによる地域の価値創造の推進”, 人工知能学会誌, Vol. 37, No. 2, pp. 179-186, March 2022.
- 2022年度開催の様子，2022年度大阪工業大学からのプレスリリース，2022年度枚方市からのプレスリリース，ひらかた文化財だより（134号）
- 2021年度開催の様子（大学ページ），2021年度大阪工業大学からのプレスリリース，2021年度枚方市からのプレスリリース，常翔学園広報誌FLOW（96号）
2022年度 
AR/VRシステム
（空中視点からの眺め）AR/VRシステム体験の様子 遺跡発掘ゲーム体験の様子 2021年度 
Indirect ARシステム 体験者への説明 - 単一の全方位画像における動き生成（画像処理・AI・VR）
単一の全方位静止画像（360度画像）中の雲や水面の動きを再現し，映像化します．GoogleストリートビューなどのVRシステムを映像化することができ，その場にいったかのような臨場感を高めます．
- Motoki Kakuho, Hakim Ikebayashi and Norihiko Kawai:”Motion Reproduction of Sky and Water Surface From an Omnidirectional Still Image”, IEEE Global Conference on Consumer Electronics (GCCE), Oct. 2023. (Accepted!)
- 角方元紀, 池林ハキーム, 河合紀彦:”単一の全方位画像における空の動き生成”, 情報処理学会第85回全国大会講演論文集, 2X-04, March 2023.
- 角方元紀, 池林ハキーム, 河合紀彦:”単一の全方位画像からの空の動き生成”, 画像電子学会第4回デジタルミュージアム・人文学（DMH）研究会 予稿, pp.26-30, Dec. 2022.
- 特定ルートにて移動体験が可能な事前生成型拡張現実（CV・AR）
観光船などのルートがおおよそ決まっている乗り物で用いることができる拡張現実システムです．事前生成型拡張現実（Indirect AR）の枠組みで事前に移動撮影した360度映像を用いることで，周辺の観光客が写り込まずまた，CGが一切ずれない頑健な拡張現実を実現します．また，ソイチャレでのプロジェクトとしても取り組みました．- 野口翔伍, 池林ハキーム, 河合紀彦:”特定ルートにて移動体験が可能な事前生成型拡張現実”, 情報処理学会第85回全国大会講演論文集, 1S-02, March 2023.
- 水都大阪コンソーシアムFacebook記事
事前撮影した360度映像（とんぼりリバークルーズ） 360映像からの周辺の3Dモデル化 
観光船での拡張現実システム 現地でのデモ
- 画像認識・検出による全壊した住家の判別（画像認識・AI）
災害発生後の住家の被害の調査において，明らかに全壊した住家を調査対象から省き効率化を行うため，画像認識により全壊した住家を判別します．国立防災科学技術研究所と共同研究を行っています．- 木村裕貴, 木内一隆, 河合紀彦, 鈴木基之, 伊勢正:”YOLOによる物体検出を用いた全壊した住家の検出”, 情報処理学会第85回全国大会講演論文集, 6R-06, March 2023.
提案手法による住家の検出および認識結果（青が全壊と判定）
- Indirect ARのためのカメラ画像を用いた輝度補正（AR・MR・画像処理）
事前撮影した全方位画像を使用するIndirect ARにおいて，現在の時間・天候の景色に合うように，端末カメラで撮影した画像を用いて全方位画像の輝度を補正します．- 池林ハキーム, 河合紀彦:”Indirect ARのためのカメラ画像を用いた事前撮影360度画像の輝度補正”, 2022年映像情報メディア学会冬季大会講演予稿集, 23B08, Dec. 2022.
- 池林ハキーム, 河合紀彦: “Indirect ARのためのカメラ画像を用いた輝度補正の検討”, 情報処理学会第84回全国大会講演論文集, 6P-02, March 2022.
事前撮影全方位画像
（百済寺のCGを合成後）端末カメラ画像 輝度補正後の全方位画像
- StyleGAN2を用いた顔のマスク領域の補完（画像処理・AI）
マスクをつけた顔画像から，同一人物のマスクを着けていない顔画像を使って，マスク領域を補完します．また，表情を表す別の画像を追加し処理をすることで，表情を変化させることもできます．- Norihiko Kawai and Hiroaki Koike:”Facial Mask Completion Using StyleGAN2 Preserving Features of the Person”, IEICE Transactions on Information and Systems. (Accepted!)
- Hiroaki Koike and Norihiko Kawai: “Facial mask region completion using StyleGAN2 with a substitute face of the same person”, Proceedings of International Workshop on Frontiers of Computer Vision (IW-FCV), pp. 271-185, 2022.
- 小池泰景, 河合紀彦: “同一人物の正面の顔を用いたStyleGAN2による顔のマスク領域の補完”, 情報処理学会第84回全国大会講演論文集, 7Q-07, March 2022.
マスクをつけた人の顔画像 同一人物のマスクを着けていない画像 マスク領域の補完結果 
表情を表す追加画像 表情を変化させた補完結果
- 撮影者の写らない全方位パノラマ画像生成（CV・画像処理）
全方位カメラを中心に回転しながら撮影した複数枚の全方位パノラマ画像から，撮影者が写っていない全方位パノラマ画像を生成します．VRに応用できます．- 河合紀彦, 野田隆成:”撮影者が写らない全方位画像生成のための撮影と合成”, 画像電子学会誌, vol. 52, No. 1, pp. 143-151, Jan. 2023.
- Ryusei Noda and Norihiko Kawai: “Generation of omnidirectional image without photographer”, Proceedings of International Workshop on Frontiers of Computer Vision (IW-FCV), pp. 286-299, 2022.
- 野田隆成, 河合紀彦: “撮影者を含まない全方位画像の生成”, 情報処理学会第84回全国大会講演論文集, 6Q-01, March 2022.
入力1枚目 入力2枚目 入力3枚目 
撮影者が消えた全方位パノラマ画像 - 代替現実を用いた地震シミュレータ（SR・VR・AR・MR）
代替現実（SR：Substitute Reality）を応用し，普段いる場所での地震をVR/ARにより再現します．リアルな地震体験により防災意識を高めます．
- 石原翼, 中西隆太, 河合紀彦: “代替現実を応用した地震シミュレータ”, 電子情報通信学会 技術研究報告（メディアエクスペリエンス・バーチャル環境基礎研究会（MVE））, MVE2021-57, March 2022.
シミュレータの体験の様子 体験者が見ている画面（棚の転倒） - 全天球動画像と座位運動検知を用いたVR寺院拝観システム（VR）
椅子に座ったままの足踏み運動により全方位動画像で生成したVR空間を散策します．遠隔地の複数人が同時に体験できます．- 上田雄大, 山田夢一途, 土屋匠磨, 河合紀彦, 大井翔, 佐野睦夫,: “全天球動画像と座位運動検知を用いたVR寺院拝観システムの開発”, 電子情報通信学会 技術研究報告（メディアエクスペリエンス・バーチャル環境基礎研究会（MVE））,MVE2021-74, March 2022.
VRシステムの体験の様子 体験者が見ている画面
他の参加者のアバターが見えるシステム内のアバターと全天球動画の仕組み - デプスカメラを用いた隠消現実感（DR・MR・AR・CV・画像処理）
カラーカメラとデプスカメラを持つKinectを用いて平面上の物体をリアルタイムで消去する隠消現実感（DR：Diminished Reality）を実現します．- 木内一隆, 河合紀彦: “デプスカメラを用いた平面上の物体を対象とした隠消現実感”, 電子情報通信学会 技術研究報告（メディアエクスペリエンス・バーチャル環境基礎研究会（MVE））, MVE2021-75, March 2022.
入力画像 出力画像（掛け時計を消去） - セマンティックセグメンテーションとARに基づく床の模様替え（AR・画像処理・画像認識・AI）
一般的なカメラ画像から部屋の床を認識し，床の模様替えを画像処理で行います．
- 田村啓人, 河合紀彦: “セマンティックセグメンテーションとARに基づく床の模様替え”, 情報処理学会第84回全国大会講演論文集, 2ZG-03, March 2022.
入力画像1 床の色合いを自動変換 
入力画像2 床に新しい模様を付与 - 全方位カメラのための物体検出（画像認識・画像処理・AI）
全方位パノラマ画像を透視投影画像に変換し物体検出を行い，正距円筒図法で展開された全方位画像上に検出結果を反映します．- 金川和源, 河合紀彦: “全方位カメラのための物体検出の一手法”, 情報処理学会第84回全国大会講演論文集, 7U-05, March 2022.
全方位パノラマ画像 
変換した透視投影画像上での検出 
検出結果の全方位パノラマ画像への反映（上の3つのみの場合） 
全ての検出結果の全方位パノラマ画像への反映 - ヒストグラムマッチングによるBackground Mattingの精度向上（画像処理・画像認識・AI）
映像中の前景の人を抜き出して，他の映像に合成するための手法です．
- 入江友基, 河合紀彦: “ヒストグラムマッチングによるBackground Mattingの精度向上”, 情報処理学会第84回全国大会講演論文集, 7Q-06, March 2022.
入力画像1 人の前景の抽出結果 
入力画像 人の前景の抽出結果