研究・プロジェクト紹介

このページでは大阪工業大学・視覚情報処理研究室で行ってきた卒業研究・大学院研究・プロジェクトについて，対外発表を行ったものを中心に紹介します．

大阪工業大学に来る以前からの河合准教授の研究についてはこちら
研究業績リスト（文献のPDF）についてはこちら

  • 百済寺復元とAR/VR提示／遺跡発掘体験ゲーム（枚方市のイベントへの協力）
    Hirathon，ソーシャル・オープンイノベーションチャレンジ（ソイチャレ）のプロジェクトで開発したAR/VRシステムやゲームを枚方市文化財課主催のイベントで一般市民の方に体験いただいています．
    これに関わる学会発表
    • Yuya Suganuma, Masashi Oda, Kanta Nakayama, Sosuke Nishikawa, Shotaro Hata, Ken Paul, Suzuaki Wada and Norihiko Kawai:”Integrated System of Augmented and Virtual Reality for Ruins Tourism”, Proceedings of NICOGRAPH International 2023, p. 85, June 2023. (Author pdf) (Supplemental Video) (Best Poster Presentation Award 受賞)
    • 小田雅士, 菅沼祐耶, 中山堪太, 西川総生介, 畑翔太郎, パウル謙, 和田涼暉, 河合紀彦:”事前生成型拡張現実の史跡観光への応用ー特別史跡百済寺跡を例としてー, 画像電子学会第4回デジタルミュージアム・人文学（DMH）研究会 予稿, pp.31-36, Dec. 2022.
    • 佐野睦夫, 尾崎敦夫, 鎌倉良成, 河合紀彦, 鈴木悠平, 豊味諒磨, 今井弘二: “HIRATHON：市民・産官学協働によるAI データサイエンス的アプローチによる地域の価値創造の推進”, 人工知能学会誌, Vol. 37, No. 2, pp. 179-186, March 2022.
    2022年度
    AR/VRシステム
    （空中視点からの眺め）
    		 AR/VRシステム体験の様子 遺跡発掘ゲーム体験の様子
    2021年度
    Indirect ARシステム 体験者への説明  
  • 単一の全方位画像における動き生成（画像処理・AI・VR）
    単一の全方位静止画像（360度画像）中の雲や水面の動きを再現し，映像化します．GoogleストリートビューなどのVRシステムを映像化することができ，その場にいったかのような臨場感を高めます．
    • Motoki Kakuho and Norihiko Kawai: “Visualizing Motion of Natural Objects by Deep Learning Optical Flow Estimation in an Omnidirectional Image for Virtual Sightseeing”, Asia-Pacific Workshop on Mixed and Augmented Reality (APMAR), Nov. 2024. (to appear)
    • 角方 元紀, 河合 紀彦: “単一の全方位画像における機械学習によるフロー推定に基づく自然物の映像化”, 第52回画像電子学会年次大会予稿集, S3-5, Aug. 2024. (学生発表奨励賞 受賞)
    • Motoki Kakuho, Hakim Ikebayashi and Norihiko Kawai:”Motion Reproduction of Sky and Water Surface From an Omnidirectional Still Image”, Proceedings of IEEE Global Conference on Consumer Electronics (GCCE), pp.150-151, Oct. 2023. (Author pdf)
    • 角方元紀, 池林ハキーム, 河合紀彦:”単一の全方位画像における空の動き生成”, 情報処理学会第85回全国大会講演論文集, 2X-04, March 2023.
    • 角方元紀, 池林ハキーム, 河合紀彦:”単一の全方位画像からの空の動き生成”, 画像電子学会第4回デジタルミュージアム・人文学（DMH）研究会 予稿, pp.26-30, Dec. 2022.
  • 画像認識・検出による全壊した住家の判別および位置の特定（画像認識・AI）
    災害発生後の住家の被害の調査において，明らかに全壊した住家を調査対象から省き効率化を行うため，画像認識により全壊した住家を判別します．国立防災科学技術研究所と共同研究を行っています．
    • 岸川 雄星, 河合 紀彦, 鈴木 基之, 伊勢 正: “モバイル端末を用いた複数物体の検出とSLAMによる被災家屋の位置特定”, 2024年度情報処理学会関西支部支部大会講演論文集, B-05, Sep. 2024. (支部大会奨励賞 受賞)
    • 岸川 雄星, 北野 太一, 河合 紀彦, 鈴木 基之, 伊勢 正: “遠方からの被災家屋の位置特定に関する検討”, 電子情報通信学会 技術研究報告（メディアエクスペリエンス・バーチャル環境基礎（MVE研究会））, MVE2023-50, March 2024.
    • 木村裕貴, 木内一隆, 河合紀彦, 鈴木基之, 伊勢正:”YOLOによる物体検出を用いた全壊した住家の検出”, 情報処理学会第85回全国大会講演論文集, 6R-06, March 2023.
    遠方の対象物体の位置特定（ARを用いる手法と物体検出・追跡による手法）
    提案手法による住家の検出および認識結果（青が全壊と判定）
  • 隠消現実における鏡面反射の再現（DR・CV・画像処理・AI）
    ARマーカを消去・隠ぺいする隠消現実においてAIによるアプローチにより鏡面反射を再現します．
    • Issa Narutomi and Norihiko Kawai: “Reproduction of Specular Reflection Using 3D Gaussian Splatting in Diminished Reality for AR Marker Hiding”, Asia-Pacific Workshop on Mixed and Augmented Reality (APMAR), Nov. 2024. (to appear)
    • 成冨 壱颯, 河合 紀彦: “ARマーカ消去のための隠消現実感における3D Gaussian Splattingを用いた鏡面反射の再現”, 2024年度情報処理学会関西支部支部大会講演論文集, B-06, Sep. 2024. (支部大会奨励賞 受賞)
    • 成冨 壱颯, 河合 紀彦: “ARマーカ消去のための隠消現実感におけるNeRFを用いた鏡面反射の再現の検討”, 電子情報通信学会 技術研究報告（メディアエクスペリエンス・バーチャル環境基礎（MVE研究会））, MVE2023-49, March 2024.
    ARマーカとそれを消去した領域における鏡面反射の再現
  • 1枚の画像からの構図変換（画像処理・CV・AI）
    1枚の画像から3次元復元をしてカメラを仮想的に移動させ，よりよい見栄えになるように構図を変換します．
    • 菅沼 祐耶, 河合 紀彦: “領域分割に基づいた単一風景画像の3次元的構図変換システム”, 第52回画像電子学会年次大会予稿集, S1-4, Aug. 2024. (学生発表奨励賞 受賞)
    • 菅沼 祐耶, 河合 紀彦: “3次元を考慮した1枚の風景画像の構図変換”, 画像電子学会 第307回研究会講演予稿, pp.71-74, Feb. 2024.
    画像の構図変換
  • 特定ルートにて移動体験が可能な事前生成型拡張現実（CV・AR）
    観光船などのルートがおおよそ決まっている乗り物で用いることができる拡張現実システムです．事前生成型拡張現実（Indirect AR）の枠組みで事前に移動撮影した360度映像を用いることで，周辺の観光客が写り込まずまた，CGが一切ずれない頑健な拡張現実を実現します．また，ソイチャレでのプロジェクトとしても取り組みました．
    • 野口翔伍, 池林ハキーム, 河合紀彦:”特定ルートにて移動体験が可能な事前生成型拡張現実”, 情報処理学会第85回全国大会講演論文集, 1S-02, March 2023.
    • 水都大阪コンソーシアムFacebook記事
    事前撮影した360度映像（とんぼりリバークルーズ） 360映像からの周辺の3Dモデル化
    観光船での拡張現実システム 現地でのデモ
  • Indirect ARのためのカメラ画像を用いた輝度補正（AR・MR・画像処理）
    事前撮影した全方位画像を使用するIndirect ARにおいて，現在の時間・天候の景色に合うように，端末カメラで撮影した画像を用いて全方位画像の輝度を補正します．
    • Hakim Ikebayashi and Norihiko Kawai: “Intensity and Texture Correction of Omnidirectional Image Using Camera Images for Indirect Augmented Reality”, Proceedings of International Workshop on Frontiers of Computer Vision (IW-FCV), Feb. 2024.
    • 池林ハキーム, 河合紀彦:”Indirect ARのためのカメラ画像を用いた事前撮影360度画像の輝度補正”, 2022年映像情報メディア学会冬季大会講演予稿集, 23B08, Dec. 2022.
    • 池林ハキーム, 河合紀彦: “Indirect ARのためのカメラ画像を用いた輝度補正の検討”, 情報処理学会第84回全国大会講演論文集, 6P-02, March 2022.
    提案手法の処理の流れ
  • 全方位カメラを用いた自撮りシステム（画像処理・AI）
    全方位カメラ（360度カメラ）を用いて自撮りを行います．数秒の動画を撮影し，その中から全員の顔の幸せ度が最も高いフレームを抽出し，その画像を撮影対象者全員が画角に収まる透視投影画像に変換します．
    • 河合 紀彦, 木内 一隆, 今村 真平: “表情を考慮した全方位カメラによる自撮りシステム”, 画像電子学会誌, Jan. 2025. (to appear)
    • 河合 紀彦, 木内 一隆, 今村 真平: “表情を考慮した360度カメラによる自撮りシステム”, 第52回画像電子学会年次大会予稿集, G2-2, Aug. 2024.
    • Kazutaka Kiuchi, Shimpei Imamura and Norihiko Kawai: “Selfie Taking with Facial Expression Recognition Using Omni-directional Camera”, Proceedings of International Workshop on Frontiers of Computer Vision (IW-FCV), Feb. 2024.
    • 木内一隆, 今村真平, 河合紀彦: “全方位カメラと表情認識による画角を考慮した写真撮影支援システム”, 2023年度 情報処理学会関西支部 支部大会 講演論文集, G-37, Sep. 2023.（PDF in 情報学広場）（支部大会奨励賞 受賞）

    入力全方位画像 透視投影画像
    入力全方位動画像の1フレーム 透視投影変換結果
  • StyleGAN2を用いた顔のマスク領域の補完（画像処理・AI）
    マスクをつけた顔画像から，同一人物のマスクを着けていない顔画像を使って，マスク領域を補完します．また，表情を表す別の画像を追加し処理をすることで，表情を変化させることもできます．
    • Norihiko Kawai and Hiroaki Koike:”Facial Mask Completion Using StyleGAN2 Preserving Features of the Person”, IEICE Transactions on Information and Systems Vol.E106-D, No.10, pp.1627-1637, Oct. 2023. (pdf in J-STAGE)
    • Hiroaki Koike and Norihiko Kawai: “Facial mask region completion using StyleGAN2 with a substitute face of the same person”, Proceedings of International Workshop on Frontiers of Computer Vision (IW-FCV), pp. 271-185, 2022.
    • 小池泰景, 河合紀彦: “同一人物の正面の顔を用いたStyleGAN2による顔のマスク領域の補完”, 情報処理学会第84回全国大会講演論文集, 7Q-07, March 2022.
    マスクをつけた人の顔画像 同一人物のマスクを着けていない画像 マスク領域の補完結果
     
     
    表情を表す追加画像   表情を変化させた補完結果
  • 撮影者の写らない全方位パノラマ画像生成（CV・画像処理）
    全方位カメラを中心に回転しながら撮影した複数枚の全方位パノラマ画像から，撮影者が写っていない全方位パノラマ画像を生成します．VRに応用できます．
    • 河合紀彦, 野田隆成:”撮影者が写らない全方位画像生成のための撮影と合成”, 画像電子学会誌, vol. 52, No. 1,  pp. 143-151, Jan. 2023.
    • Ryusei Noda and Norihiko Kawai: “Generation of omnidirectional image without photographer”, Proceedings of International Workshop on Frontiers of Computer Vision (IW-FCV), pp. 286-299, 2022.
    • 野田隆成, 河合紀彦: “撮影者を含まない全方位画像の生成”, 情報処理学会第84回全国大会講演論文集, 6Q-01, March 2022.
    入力1枚目 入力2枚目 入力3枚目
    撮影者が消えた全方位パノラマ画像
  • 代替現実を用いた地震シミュレータ（SR・VR・AR・MR）
    代替現実（SR：Substitute Reality）を応用し，普段いる場所での地震をVR/ARにより再現します．リアルな地震体験により防災意識を高めます．
    • Tasuku Ishihara, Ryuta Nakanishi and Norihiko Kawai: “Earthquake Simulator by Augmented Substitutional Reality”, Asia-Pacific Workshop on Mixed and Augmented Reality (APMAR), Nov. 2024. (to appear)
    • 石原翼, 中西隆太, 河合紀彦: “代替現実を応用した地震シミュレータ”, 電子情報通信学会 技術研究報告（メディアエクスペリエンス・バーチャル環境基礎研究会（MVE））, MVE2021-57, March 2022.
    シミュレータの体験の様子 体験者が見ている画面（棚の転倒）
  • 手の表示による代替現実における現実感向上（SR・画像処理・AI）
    代替現実（SR：Substitute Reality）において体験者の手をカメラ映像から切り出し提示することで現実感を高めます．
    • 西川 総生介, 河合 紀彦: “ハンドセグメンテーションに基づく代替現実における現実感向上”, 画像電子学会 第307回研究会講演予稿, pp.58-61, Feb. 2024.
    シミュレータの体験の様子 体験者が見ている画面（ものの転倒）
  • 全天球動画像と座位運動検知を用いたVR寺院拝観システム（VR）
    椅子に座ったままの足踏み運動により全方位動画像で生成したVR空間を散策します．遠隔地の複数人が同時に体験できます．
    • 上田雄大, 山田夢一途, 土屋匠磨, 河合紀彦, 大井翔, 佐野睦夫,: “全天球動画像と座位運動検知を用いたVR寺院拝観システムの開発”, 電子情報通信学会 技術研究報告（メディアエクスペリエンス・バーチャル環境基礎研究会（MVE））,MVE2021-74, March 2022.
    VRシステムの体験の様子 体験者が見ている画面
    他の参加者のアバターが見える    		 システム内のアバターと全天球動画の仕組み
  • セマンティックセグメンテーションとARに基づく床の模様替え（AR・画像処理・画像認識・AI）
    一般的なカメラ画像から部屋の床を認識し，床の模様替えを画像処理で行います．
    • 田村啓人, 河合紀彦: “セマンティックセグメンテーションとARに基づく床の模様替え”, 情報処理学会第84回全国大会講演論文集, 2ZG-03, March 2022.
    入力画像1 床の色合いを自動変換
    入力画像2 床に新しい模様を付与
  • 全方位カメラのための物体検出（画像認識・画像処理・AI）
    全方位パノラマ画像を透視投影画像に変換し物体検出を行い，正距円筒図法で展開された全方位画像上に検出結果を反映します．
    • 金川和源, 河合紀彦: “全方位カメラのための物体検出の一手法”, 情報処理学会第84回全国大会講演論文集, 7U-05, March 2022.
        
    全方位パノラマ画像
    変換した透視投影画像上での検出
    検出結果の全方位パノラマ画像への反映（上の3つのみの場合）
    全ての検出結果の全方位パノラマ画像への反映
  • ヒストグラムマッチングによるBackground Mattingの精度向上（画像処理・画像認識・AI）
    映像中の前景の人を抜き出して，他の映像に合成するための手法です．
    • 入江友基, 河合紀彦: “ヒストグラムマッチングによるBackground Mattingの精度向上”, 情報処理学会第84回全国大会講演論文集, 7Q-06, March 2022.
    入力画像1 人の前景の抽出結果
    入力画像 人の前景の抽出結果