論文 - 天野　敏之

プロジェクタカメラ系を用いた有彩色照明による色移りの色彩補償

繁田愛夕, 天野敏之

画像ラボ, 日本工業出版     2025年04月

Optimizing Diffusion for Adaptive BRDF Display with Multi-Light Ray Projection

Sho Nishida, Toshiyuki Amano

IDW'24 - The 30th International Display Workshop     2024年12月  [査読有り]

Enhancing Materiality in Adaptive BRDF Display with Light Ray Diffusion

Toshiyuki Amano, Sho Nishida (担当区分： 筆頭著者 )

Virtual Reality and Mixed Reality: 21st EuroXR International Conference, EuroXR 2024     2024年11月  [査読有り]

Texture reproducibility evaluation on BRDF reproduction by Light Field Projection

Kaito Kodan, Toshiyuki Amano

16th Asia-Pacific Workshop on Mixed and Augmented Reality     2024年11月  [査読有り]

光線場投影を用いたBRDF提示における質感再現性の評価

小段海人, 天野敏之

日本バーチャルリアリティ学会第29回大会     2024年09月  [査読有り]

投影の隠蔽が生じない複数物体への適応的な見かけの操作

永田剛大, 天野敏之

第73回 複合現実感研究会     2024年09月

プロジェクタアレイを用いた光線投影による鏡面反射物体上でのBTF提示

持田智稀, 天野敏之

日本バーチャルリアリティ学会第29回大会     2024年09月  [査読有り]

プロジェクタカメラフィードバックを用いた見かけの制御の残像問題の解決

狩野貴哉, 天野 敏之

日本バーチャルリアリティ学会論文誌   29 ( 3 ) 185 - 193   2024年09月  [査読有り]

DOI

SOTを用いた物質性を置き換えるプロジェクションマッピング

時山千里, 天野敏之

画像の認識・理解シンポジウム 2024     2024年08月  [査読有り]

プロジェクタカメラ系を用いた有彩色照明による色移りの色彩補償

繁田愛夕, 天野敏之

画像の認識・理解シンポジウム 2024     2024年08月  [査読有り]

光線場投影を用いた光学モデルに基づく異方性反射の操作

大隅 祥伍, 天野 敏之

日本バーチャルリアリティ学会論文誌   29 ( 2 )   2024年06月  [査読有り]

プロジェクタカメラ系を用いたアートの作品意図の強調

天野敏之 (担当区分： 筆頭著者 )

第68回システム制御情報学会研究発表講演会     2024年05月  [招待有り]

Analyzing the Behavior of Projector-Camera Systems Based on Reaction-Diffusion Equations

Toshiyuki Amano (担当区分： 筆頭著者 )

ICAT - EGVE - International Conference on Artificial Reality and Telexistence - Eurographics Symposium on Virtual Environments 2023     2023年12月  [査読有り]

DOI

照明環境の変動に対して頑強な見かけの制御

岡本侑汰郎, 天野敏之 (担当区分： 責任著者 )

日本バーチャルリアリティ学会論文誌   28 ( 3 ) 271 - 279   2023年09月  [査読有り]

DOI

周辺領域との輝度差を考慮した光線場投影による違和感のないBRDF提示

小段海人, 天野敏之

日本バーチャルリアリティ学会第28回大会論文集     2023年09月

五つのプロジェクタカメラ系を用いた対象物体の全周囲に対する見かけの操作

山本奨騎, 天野敏之

日本バーチャルリアリティ学会第28回大会論文集     2023年09月

輝度と色の遅延知覚の違いとその投影型見かけ操作への応用に関する検討

樊 錦元, 天野 敏之, 渡辺 義浩

日本バーチャルリアリティ学会第28回大会論文集     2023年09月

ライトフィールドフィードバックを用いた光沢物体に対する視点依存の光沢感強調

松本 侑大, 天野 敏之 (担当区分： 責任著者 )

日本バーチャルリアリティ学会論文誌   28 ( 3 ) 255 - 262   2023年09月  [査読有り]

DOI

Projection Alignment Correction by Appearance Control for 2-axis movement

Takaya Kano, Toshiyuki Amano

Proceedings of the 15th Asia-Pacific Workshop on Mixed and Augmented Reality     2023年08月

Object-wise Individual Appearance Manipulation with Layer Detection

Takahiro Nagata, Toshiyuki Amano

Proceedings of the 15th Asia-Pacific Workshop on Mixed and Augmented Reality     2023年08月

複数レイヤの同時見かけの制御

永田剛大, 天野敏之

画像の認識・理解シンポジウム 2023 論文集     2023年07月

深度計測とカメラフィードバックを用いた投影型色操作の検証

樊 錦元, 彭 浩倫, 天野 敏之, 渡辺 義浩

第68回複合現実感研究会   MR2023-7   2023年01月

プロジェクターによって拡張される実世界 プロジェクションによる適応的な見かけの操作の原理と応用

天野敏之 (担当区分： 筆頭著者,　責任著者 )

光学 (Japanese Journal of Optics)   52 ( 1 ) 2 - 7   2023年01月  [招待有り]

A New Planetarium Harmonized with Natural Starry Sky

Chisato Yamauchi, Toshiyuki Amano, Masami Okyudo

Proceedings of the International Display Workshops ( International Display Workshops General Incorporated Association )    740 - 740   2022年12月  [招待有り]

DOI

Robust Appearance Manipulation against Changes in the Lighting Environment

Yutaro Okamoto, Toshiyuki Amano

Proceedings of the International Display Workshops ( International Display Workshops General Incorporated Association )    726 - 726   2022年12月  [査読有り]

DOI

Manipulation of anisotropic reflections based on optical models using multiple projectors

Shogo Ohsumi, Toshiyuki Amano

Proceedings of the 14th Asia-Pacific Workshop on Mixed and Augmented Reality co-located with a joint international conference of the 32nd International Conference on Artificial Reality and Telexistence & the 27th Eurographics Symposium on Virtual Environments (ICAT-EGVE2022)     2022年12月  [査読有り]

プロジェクタカメラ系によるリアリティの操作

天野敏之 (担当区分： 筆頭著者,　責任著者 )

電気関係学会関西連合大会   2022 ( ROMBUNNO.G13-4 )   2022年11月  [招待有り]

Gaze Guidance in the Real-World by Changing Color Saturation of Objects

Junpei Miyamoto, Hideki Koike, Toshiyuki Amano

ICAT - EGVE - International Conference on Artificial Reality and Telexistence - Eurographics Symposium on Virtual Environments 2022     2022年11月  [査読有り]

DOI

Cast-Shadow Removal for Cooperative Adaptive Appearance Manipulation

Shoko Uesaka, Toshiyuki Amano

ICAT-EGVE 2022 - International Conference on Artificial Reality and Telexistence and Eurographics Symposium on Virtual Environments     2022年11月  [査読有り]

Perceptual BRDF manipulation by 4-DoF Light Field Projection using Multiple Mirrors and Projectors

Kayo Kimura, Toshiyuki Amano

19th EuroXR International Conference - EuroXR 2022     95 - 99   2022年09月  [査読有り]

A Multiple Mirror based Arbitrary Lighting Environment Reproduction

Toshiyuki Amano, Raichi Kubo

19th EuroXR International Conference - EuroXR 2022     81 - 85   2022年09月  [査読有り]

Advanced Reality: Real-world Appearance Manipulation with Projector Camera Systems

Toshiyuki Amano (担当区分： 筆頭著者,　責任著者 )

IMID 2022, 06. AR/VR/MR and 3D Display Optics     2022年08月  [招待有り]

複数の鏡とプロジェクタを用いた光線空間の生成による質感表示

木村佳代, 天野敏之

画像の認識・理解シンポジウム 2022 論文集     2022年07月  [査読有り]

照明環境の変動に頑強な見かけの制御

岡本侑汰郎, 天野敏之

画像の認識・理解シンポジウム 2022 論文集     2022年07月

２軸移動に対応した見かけの操作における投影のずれ補償

狩野貴哉, 天野 敏之

画像の認識・理解シンポジウム 2022 論文集     2022年07月

部位依存の劣化に対応する空間拡張現実感を用いた視覚補助

東 奏太, 天野 敏之

画像の認識・理解シンポジウム 2022 論文集     2022年07月

Apparent Shape Manipulation by Light-Field Projection onto a Retroreflective Surface

Jion Kanaya, Toshiyuki Amano

2022 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW) ( IEEE )    2022年03月  [査読有り]

DOI

Geometric Calibration with Multi-Viewpoints for Multi-Projector Systems on Arbitrary Shapes Using Homography and Pixel Maps

Atsuya Ueno, Toshiyuki Amano, Chisato Yamauchi (担当区分： 責任著者 )

2022 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW) ( IEEE )    2022年03月

DOI

プロジェクタとカメラを用いた光学フィードバックによる現実世界の操作

天野敏之

レーザー学会学術講演会講演論文集   H04-14a-VIII-01   2022年01月  [招待有り]

高速インスタンスセグメンテーションを用いた投影による選択的色操作の提案

小石原遼, 天野敏之, 渡辺義浩

複合現実感研究会 MR2021, 2022-CVIM-228(5),1-6 (2022-01-20) , 2188-8701     2022年01月

[Paper] Driver Visibility Improvement using Spatial Augmented Reality with Pixelated Headlights

Toshiyuki Amano, Takaya Kano (担当区分： 筆頭著者,　責任著者 )

ITE Transactions on Media Technology and Applications ( Institute of Image Information and Television Engineers )  10 ( 4 ) 171 - 177   2022年  [査読有り]  [招待有り]

DOI

Automotive Lighting Technology for Driver's Visibility Improvement Using Imperceptible Pattern Illumination

Toshiyuki Amano, Keigo Takemine, Junna Tsukuma (担当区分： 筆頭著者,　責任著者 )

Proceedings of the International Display Workshops ( International Display Workshops General Incorporated Association )    654 - 654   2021年12月  [査読有り]

DOI

A Study on Shadow Removal for Viewing Direction Dependent Appearance Manipulation

Yudai Matsumoto, Toshiyuki Amano

18th Annual EuroXR Conference: EuroXR 2021 - Virtual     2021年11月  [査読有り]

Projection Alignment Correction for In-Vehicle Projector-Camera System

Toshiyuki Amano, Taichi Kagawa (担当区分： 責任著者 )

ICAT-EGVE 2021 - International Conference on Artificial Reality and Telexistence and Eurographics Symposium on Virtual Environments     2021年09月  [査読有り]

DOI

プロジェクタアレイを用いた立体物上でのBRDF の提示

金谷 慈恩, 天野 敏之

画像の認識・理解シンポジウム 2021 論文集     2021年07月  [査読有り]

見かけの制御の分散協調投影のための重畳部分の輝度補正

上坂 祥子, 天野 敏之

画像の認識・理解シンポジウム 2021 論文集     2021年07月  [査読有り]

リアル星空とのハイブリッドプラネタリウムのための外構プロジェクションに関する研究

上野 敦矢, 國枝 志帆, 天野 敏之, 山内 千里

画像の認識・理解シンポジウム 2021 論文集     2021年07月  [査読有り]

複数のプロジェクタを用いた視点依存の見かけの操作の立体物への適応

大隅 祥伍, 天野 敏之

画像の認識・理解シンポジウム 2021 論文集     2021年07月  [査読有り]

クレイク・オブライエン効果を応用した投影対象の存在感を低減させる光学イリュージョンの提案

松本 侑大, 天野 敏之

画像の認識・理解シンポジウム 2021 論文集     2021年07月  [査読有り]

Robust Reflectance Estimation for Projection-Based Appearance Control in a Dynamic Light Environment

Ryo Akiyama, Goshiro Yamamoto, Toshiyuki Amano, Takafumi Taketomi, Alexander Plopski, Christian Sandor, Hirokazu Kato

IEEE Transactions on Visualization and Computer Graphics ( Institute of Electrical and Electronics Engineers (IEEE) )  27 ( 3 ) 2041 - 2055   2021年03月  [査読有り]

DOI

複数のプロジェクタカメラシステムを用いた反射特性に基づく光学フィードバックによる視点依存の見た目の色彩操作

吉岡 浩輝, 天野 敏之 (担当区分： 最終著者,　責任著者 )

日本バーチャルリアリティ学会論文誌   26 ( 1 )   2021年03月  [査読有り]

Fast Separation of Specular, Diffuse, and Global Components via Polarized Pattern Projection

Yuto Nisaka, Ryo Matsuoka, Toshiyuki Amano, Takahiro Okabe

IW-FCV2021     2021年02月  [査読有り]

偏光パターン投影によるシーンの成分分離

新坂祐人, 松岡諒, 天野敏之, 岡部孝弘

研究報告コンピュータグラフィックスとビジュアル情報学（CG）   2021-CG-181 ( 12 ) 1 - 10   2021年02月

Compensated Appearance Manipulation for Eyesight Improvement

Shiho Kunieda, Toshiyuki Amano (担当区分： 最終著者 )

IDW'20 - The 27th International Display Workshop     2020年12月  [査読有り]

A study on imperceptible projection for seamless appearance manipulation

Raichi Kubo, Toshiyuki Amano (担当区分： 最終著者 )

IDW'20 - The 27th International Display Workshop     2020年12月  [査読有り]

グレア錯視を用いたプロジェクタの投影性能を超える輝き強調

長田慎司, 松本侑大, 天野敏之 (担当区分： 最終著者 )

日本バーチャルリアリティ学会論文誌   25 ( 4 ) 422 - 431   2020年12月  [査読有り]

Viewing-Direction Dependent Appearance Manipulation Based on Light-Field Feedback

Toshiyuki Amano, Hiroki Yoshioka

Virtual Reality and Augmented Reality ( Springer International Publishing )    192 - 205   2020年10月  [査読有り]

DOI

Performance Design Assistance by Projector-Camera Feedback Simulation

Taichi Kagawa, Toshiyuki Amano

Virtual Reality and Augmented Reality ( Springer International Publishing )    247 - 252   2020年10月  [査読有り]

DOI

Illusory light: Perceptual appearance control using a projection-induced illusion

Ryo Akiyama, Goshiro Yamamoto, Toshiyuki Amano, Takafumi Taketomi, Alexander Plopski, Yuichiro Fujimoto, Masayuki Kanbara, Christian Sandor, Hirokazu Kato

Computers & Graphics ( Elsevier BV )  91   129 - 140   2020年10月  [査読有り]

DOI

光学フィードバックを用いた揺らぎ生成による質感操作と可視化

天野敏之 (担当区分： 筆頭著者 )

日本光学会年次学術講演会Optics & Photonics Japan 2020 (OPJ2020)   14pDS4   2020年10月  [招待有り]

プロジェクションマッピングを用いたコントラスト向上照明の開発

伊藤佑樹, 久野悠太, 明石行生, 天野敏之 (担当区分： 最終著者 )

2020年度照明学会全国大会   6-P-01   2020年09月

クレイク・オブライエン効果を応用した投影対象の存在感を消すプロジェクションマッピング技術の一考察

松本侑大, 天野敏之 (担当区分： 最終著者 )

日本バーチャルリアリティ学会第25回大会論文集   1C2-3   2020年09月

投影感が生じないプロジェクションマッピングの検討

久保 頼智, 天野 敏之 (担当区分： 最終著者 )

画像の認識・理解シンポジウム 2020 論文集     2020年08月  [査読有り]

見かけの補償制御による視覚補助の提案

國枝 志帆, 天野 敏之 (担当区分： 最終著者 )

画像の認識・理解シンポジウム 2020 論文集     2020年08月  [査読有り]

反射解析に基づくライトフィールド投影による質感操作

天野敏之, 村上巧輝 (担当区分： 筆頭著者 )

日本バーチャルリアリティ学会論文誌   25 ( 2 )   2020年06月  [査読有り]

Gloss Enhancement beyond Projector Performance using the Glare Illusion

Shinji Nagata, Toshiyuki Amano

IDW ’19 - The 26th International Display Workshops     3D4/VHF4/3DSA4-4 - 3D4/VHF4/3DSA4-4   2019年11月  [査読有り]

Perceptual Appearance Control by Projection Induced Illusion - invited

Ryo Akiyama, Goshiro Yamamoto, Toshiyuki Amano, Takafumi Taketomi, Alexander Plopski, Christian Sandor, Hirokazu Kato

IDW'19 - The 26th International Display Workshop     2019年11月  [招待有り]

IEEE VR 2019 報告

清川 清, 安藤 英由樹, 伊藤 雄一, 天野 敏之, 河合 紀彦, 池田 聖, 橋本 渉, 大西 克彦, 山本 豪志朗, Photchara Ratsamee (Ei), 北村 喜文, 岩井 大輔, 大槻 麻衣, 鳴海 拓志, 森 尚平, 井村 誠孝, 柳田 康幸, Jason Orlosky, 伊藤 勇太, 野嶋 琢也, 杉本 麻樹, 古川 正紘, 高嶋 和毅, 吉田 ひさよ, 今村 伊知郎, 林 大悟, 木村 勇斗

日本バーチャルリアリティ学会誌 ( 特定非営利活動法人 日本バーチャルリアリティ学会 )  24 ( 3 ) 18 - 27   2019年09月  [招待有り]

DOI

Manipulation of Material Perception with Light-Field Projection

Toshiyuki Amano (担当区分： 筆頭著者,　責任著者 )

Proc. SPIE 10997, Three-Dimensional Imaging, Visualization, and Display 2019 ( SPIE )    1099706 - 1099706   2019年05月  [招待有り]

DOI

Light Attenuation Display: Subtractive See-Through Near-Eye Display via Spatial Color Filtering.

Yuta Itoh, Tobias Langlotz, Daisuke Iwai, Kiyoshi Kiyokawa, Toshiyuki Amano

IEEE Trans. Vis. Comput. Graph.   25 ( 5 ) 1951 - 1960   2019年05月  [査読有り]

DOI

Perceptual Appearance Control by Projection-Induced Illusion.

Ryo Akiyama, Goshiro Yamamoto, Toshiyuki Amano, Takafumi Taketomi, Christian Sandor, Alexander Plopski, Hirokazu Kato

IEEE Conference on Virtual Reality and 3D User Interfaces, VR 2019, Osaka, Japan, March 23-27, 2019     1291 - 1292   2019年03月  [査読有り]

DOI

Multispectral Direct-Global Separation of Dynamic Scenes.

Moriaki Torii, Takahiro Okabe, Toshiyuki Amano

IEEE Winter Conference on Applications of Computer Vision, WACV 2019, Waikoloa Village, HI, USA, January 7-11, 2019 ( IEEE )    1923 - 1931   2019年01月  [査読有り]

DOI

Computational Phase-Modulated Eyeglasses

Yuta Itoh, Tobias Langlotz, Stefanie Zollmann, Daisuke Iwai, Kiyokawa Kiyoshi, Toshiyuki Amano

IEEE Transactions on Visualization and Computer Graphics ( Institute of Electrical and Electronics Engineers (IEEE) )  27 ( 3 ) TVCG-2019-02-0051 - 1928   2019年  [査読有り]

DOI

適応的な見かけの操作による色彩インスタレーション

天野敏之

日本色彩学会学会誌   43 ( 6 )   2019年  [招待有り]

Appearance Manipulation Using Light-Field Projection

Toshiyuki Amano, Kouki Murakami, Yusuke Miyabayashi

IDW ’18 - The 25th International Display Workshops     PRJ7-3 - PRJ7-3   2018年12月  [招待有り]

Adaptive Appearance Manipulation

Toshiyuki Amano

IDW ’18 - The 25th International Display Workshops (Demo)     2018年12月  [招待有り]

Materiality Manipulation by Light-Field Projection from Reflectance Analysis.

Kouki Murakami, Toshiyuki Amano

International Conference on Artificial Reality and Telexistence and Eurographics Symposium on Virtual Environments, ICAT-EGVE 2018, Limassol, Cyprus, November 7-9, 2018 ( Eurographics Association )    99 - 105   2018年11月  [査読有り]

DOI

プロジェクションマッピングを用いた質感の提示と編集

天野敏之

日本画像学会誌 ( 一般社団法人 日本画像学会 )  57 ( 2 ) 214‐224(J‐STAGE) - 224   2018年05月  [招待有り]

　概要を見る

<p>様々なイベントで応用されているプロジェクションマッピングを実現する投影技術は，プロジェクションディスプレイとして空間拡張現実感の分野で古くから研究されている．我々はこのプロジェクションディスプレイ技術として，実世界の見かけを実時間で操作する見かけの制御やライトフィールド投影を用いた視点依存のディスプレイ技術を提案している．本稿では，プロジェクタとカメラの投影中心が一致したプロジェクタカメラ系と認知科学に基づく画像処理を用いた，見かけの制御による透明感と光沢感の連続的な操作を紹介する．また，プロジェクタアレイを用いた構造色の質感提示や複数のプロジェクタカメラ系を用いた質感編集など，我々がいままでに取り組んだ質感投影技術を紹介する．</p>

DOI

プロジェクションマッピング技術とその応用 5章 モデリングを必要としない即興的なプロジェクションマッピング

天野敏之

映像情報メディア学会誌   72 ( 3 ) 326‐331   2018年05月  [招待有り]

Gaze Navigation in The Real World by Changing Visual Appearance of Objects Using Projector-Camera System

Junpei Miyamoto, Hideki Koike, Toshiyuki Amano

24TH ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY (VRST 2018) ( ASSOC COMPUTING MACHINERY )    14:1-14:5   2018年  [査読有り]

　概要を見る

This paper proposes a method for gaze navigation in the real world by projecting an image onto a real object and changing its appearance. In the proposed method, a camera captures an image of objects in the real world. Next all the pixels in the image but those in a specified region are slightly shitted to left and right. Then the obtained image is projected onto the original objects. As a result, the objects not in the specified region looks blurred. We conducted user experiments and showed that the users' gaze were navigated to the specified region.

DOI

Separating the Direct and Global Components of a Single Image.

Art Subpa-Asa, Ying Fu, Yinqiang Zheng, Toshiyuki Amano, Imari Sato

JIP   26   755 - 767   2018年  [査読有り]

DOI

Light Projection-Induced Illusion for Controlling Object Color.

Ryo Akiyama, Goshiro Yamamoto, Toshiyuki Amano, Takafumi Taketomi, Alexander Plopski, Christian Sandor, Hirokazu Kato

2018 IEEE Conference on Virtual Reality and 3D User Interfaces, VR 2018, Tuebingen/Reutlingen, Germany, 18-22 March 2018 ( IEEE Computer Society )    499 - 500   2018年  [査読有り]

DOI

Viewpoint-Dependent Appearance-Manipulation with Multiple Projector-Camera Systems.

Toshiyuki Amano, Shun Ushida, Yusuke Miyabayashi

International Conference on Artificial Reality and Telexistence and Eurographics Symposium on Virtual Environments, ICAT-EGVE 2017, Adelaide, Australia, November 22 - 24, 2017. ( Eurographics Association )    101 - 107   2017年11月  [査読有り]

DOI

知覚量に基づく光投影による色制御実現に向けた色知覚モデルの検討

秋山諒, 山本豪志朗, 天野敏之, 武富貴史, Alexander Plopski, Christian Sandor, 加藤博一

日本バーチャルリアリティ学会複合現実感研究会     MR2017-16   2017年10月

Adaptive Appearance Manipulation for the Installation Art

Toshiyuki Amano

JSAP-OSA Joint Symposia 2017     p. 6a-A409-5 - p. 6a-A409-5   2017年09月  [招待有り]

3-2 プロジェクションマッピングによる質感知覚の操作と箔工芸品の美の表現

天野 敏之, 裕人 礫翔

映像情報メディア学会誌 ( 一般社団法人 映像情報メディア学会 )  71 ( 1 ) 30 - 35   2017年01月  [招待有り]

プロジェクタカメラ系を用いた蛍光分離と見かけの操作

島名功, 天野敏之

日本バーチャルリアリティ学会論文誌(Web) ( 特定非営利活動法人 日本バーチャルリアリティ学会 )  22 ( 3 ) 421‐429(J‐STAGE) - 429   2017年  [査読有り]

　概要を見る

<p>Fluorescence can be a beneficial property not only for the scene analysis, but also for a spatial augmented reality (SAR). In the field of SAR, the projector camera system has been well studied and its radiometric model can be described by a color mixing matrix. For the measurement of the color mixing matrix, special equipments other than a projector and a camera are not required. The fluorescent components are not separated by the color mixing matrix, but it already has a capability of handling light emission of fluorescent. In this paper, we propose the RKS model that expresses fluorescent components as well as reflectance components from the approximation of the Donaldson matrix. In addition, we propose a decomposition method of the color mixing matrix. Experimental results show the decomposition of color mixing matrices obtained from color construction papers and non-fluorescent Kent papers with several fluorescent paintings. Then, we demonstrate separation of reflectance and fluorescent components of a scene. We also demonstrate effectiveness of radiometric compensation that considers fluorescent components.</p>

DOI

Monocular Focus Estimation Method for a Freely-Orienting Eye using Purkinje-Sanson Images

Yuta Itoh, Jason Orlosky, Kiyoshi Kiyokawa, Toshiyuki Amano, Maki Sugimoto

2017 IEEE VIRTUAL REALITY (VR) ( IEEE COMPUTER SOC )    213 - 214   2017年  [査読有り]

　概要を見る

We present a method for focal distance estimation of a freelyorienting eye using Purkinje-Sanson (PS) images, which are reflections of light on the inner structures of the eye. Using an infrared camera with a rigidly-fixed LED, our method creates an estimation model based on 3D gaze and the distance between reflections in the PS images that occur on the corneal surface and anterior surface of the eye lens. The distance between these two reflections changes with focus, so we associate that information to the focal distance on a user. Unlike conventional methods that mainly relies on 2D pupil size which is sensitive to scene lighting and the fourth PS image, our method detects the third PS image which is more representative of accommodation. Our feasibility study on a single user with a focal range from 15-45 cm shows that our method achieves mean and median absolute errors of 3.15 and 1.93 cm for a 10-degree viewing angle. The study shows that our method is also tolerant against environment lighting changes.

DOI

3D Single/Multiple Ground Planes Detection with Camera Angle Estimation

LANG Yankun, WU Haiyuan, AMANO Toshiyuki, CHEN Qian

IIEEJ transactions on image electronics and visual computing ( The Institute of Image Electronics Engineers of Japan )  5 ( 1 ) 42 - 51   2017年  [査読有り]

Direct and global component separation from a single image using basis representation

Art Subpa-Asa, Ying Fu, Yinqiang Zheng, Toshiyuki Amano, Imari Sato

Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) ( Springer Verlag )  10113   99 - 114   2017年  [査読有り]

　概要を見る

Previous research showed that the separation of direct and global components could be done with a single image by assuming neighboring scene points have similar direct and global components, but it normally leads to loss of spatial resolution of the results. To tackle such problem, we present a novel approach for separating direct and global components of a scene in full spatial resolution from a single captured image, which employs linear basis representation to approximate direct and global components. Due to the basis dependency of these two components, high frequency light pattern is utilized to modulate the frequency of direct components, which can effectively improve stability of linear model between direct and global components. The effectiveness of our approach is demonstrated on both simulated and real images captured by a standard off-the-shelf camera and a projector mounted in a coaxial system. Our results show better visual quality and less error compared with those obtained by the conventional single-shot approach on both still and moving objects.

DOI

Direct and global component separation from a single image using basis representation

Art Subpa-Asa, Ying Fu, Yinqiang Zheng, Toshiyuki Amano, Imari Sato

Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) ( Springer Verlag )  10113   99 - 114   2017年  [査読有り]

　概要を見る

Previous research showed that the separation of direct and global components could be done with a single image by assuming neighboring scene points have similar direct and global components, but it normally leads to loss of spatial resolution of the results. To tackle such problem, we present a novel approach for separating direct and global components of a scene in full spatial resolution from a single captured image, which employs linear basis representation to approximate direct and global components. Due to the basis dependency of these two components, high frequency light pattern is utilized to modulate the frequency of direct components, which can effectively improve stability of linear model between direct and global components. The effectiveness of our approach is demonstrated on both simulated and real images captured by a standard off-the-shelf camera and a projector mounted in a coaxial system. Our results show better visual quality and less error compared with those obtained by the conventional single-shot approach on both still and moving objects.

DOI

Separation of Reflective and Fluorescent Components using the Color Mixing Matrix

Isao Shimana, Toshiyuki Amano

2017 IEEE VIRTUAL REALITY (VR) ( IEEE COMPUTER SOC )    235 - 236   2017年  [査読有り]

　概要を見る

In the field of SAR, the projector-camera system has been well studied; its radiometric model can be easily described by a color mixing matrix. Many SAR applications have proposed and created by using this model. However, this model can be used for reflectance component, but not for fluorescence component. In this paper, we propose RKS Projector-Camera response model for separating of the color mixing matrix's reflectance components and fluorescence components and describe how to decompose them.

DOI

Coded facial expression

Toshiyuki Amano

SA 2016 - SIGGRAPH ASIA 2016 Emerging Technologies ( Association for Computing Machinery, Inc )    11:1-11:2   2016年11月  [査読有り]

DOI

Gaussian Light Field: Estimation of Viewpoint-Dependent Blurfor Optical See-Through Head-Mounted Displays

Yuta Itoh, Toshiyuki Amano, Daisuke Iwai, Gudrun Klinker

IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS ( IEEE COMPUTER SOC )  22 ( 11 ) 2368 - 2376   2016年11月  [査読有り]

　概要を見る

We propose a method to calibrate viewpoint-dependent, channel-wise image blur of near-eye displays. especially of Optical See-Through Head-Mounted Displays (OST-HMDs). Imperfections in HMD optics cause channel-wise image shift and blur that degrade the image quality of the display at a user's viewpoint. If we can estimate such characteristics perfectly, we could mitigate the effect by applying correction techniques from the computational photography in computer vision as analogous to cameras. Unfortunately. directly applying existing calibration techniques of cameras to OST-HMDs is not a straightforward task. Unlike ordinary imaging systems. image blur in OST-HMDs is viewpoint-dependent. i.e. the optical characteristic of a display dynamically changes depending on the current viewpoint of the user. This constraint makes the problem challenging since we must measure image blur of an HMD, ideally. over the entire 3D eyebox in which a user can see an image. To overcome this problem. we model the viewpoint-dependent blur as a Gaussian Light Field (GLF) that stores spatial information of the display screen as a (4D) light field with depth information and the blur as point-spread functions in the form of Gaussian kernels, respectively. We first describe both our GLF model and a calibration procedure to learn a GLF for a given OST-HMD. We then apply our calibration method to two HMDs that use different optics: a cubic prism or holographic gratings. The results show that our method achieves significantly better accuracy in Point-Spread Function (PSF) estimations with an accuracy about 2 to 7 dB in Peak SNR.

DOI

プロジェクタカメラ系による全周囲の見かけの操作

島名功, 天野敏之, 牛田俊

日本バーチャルリアリティ学会論文誌 ( 日本バーチャルリアリティ学会 )  21 ( 2 ) 363‐371 - 371   2016年06月  [査読有り]

　概要を見る

<p>In this paper, we investigated the stability of successive omnidirectional appearance manipulation for the multiple projector camera systems without synchronization between systems. This type of system comprises several surrounding projector camera units, where each unit projects illumination independently onto a different aspect of a target object based on feedback from the projector cameras. Thus, the system can facilitate appearance manipulation from any viewpoint in the surrounding area. An advantage of this system is that it does not require information sharing or a geometrical model. However, this approach is problematic because the stability of the total control system cannot be guaranteed even if the feedback system of each projector cameras stable. Therefore, we simulated the feedback from the behavior of projector camera systems to evaluate its stability. Based on hard ware experiments, we confirmed the stability of omnidirectional appearance manipulation by using two projector camera units in an interference condition. The results showed that the object's appearance could be manipulated throughout approximately 296 degrees of the total circumference of the target object. Furthermore, we put into practice whole circumference of the object by using a plate mirror.</p>

DOI

Appearance Control in Dynamic Light Environments with a Projector-Camera System

Ryo Akiyama, Goshiro Yamamoto, Toshiyuki Amano, Takafumi Taketomi, Christian Sandor, Hirokazu Kato

2016 IEEE VR 2016 Workshop on Perceptual and Cognitive Issues in AR (PERCAR)     1 - 6   2016年03月  [査読有り]

プロジェクタとカメラを用いた見かけの制御に対するむだ時間補償アルゴリズムの提案

河野邦起, 牛田俊, 天野敏之

システム制御情報学会論文誌   29 ( 2 ) 93 - 100   2016年02月  [査読有り]

　概要を見る

The appearance control system is one of the visual feedback control systems that can manipulate the appearance of an object by using a projector-camera system. This system processes the captured image and projects the image on the object overlappingly for manipulating the appearance in real time. However, the afterimage is caused by a part of the image which is not overlapped on the object and remains in capture range of the camera. Therefore, this afterimage makes the appearance control system unstable. In this paper, we propose a new projection algorithm that can compensate the time delay for the appearance control system.We verify the effectiveness of our algorithm which can suppress the influence of the afterimage against the time delay in the visual feedback loop.

DOI

Semi-Parametric Color Reproduction Method for Optical See-Through Head-Mounted Displays

Yuta Itoh, Maksym Dzitsiuk, Toshiyuki Amano, Gudrun Klinker

IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS ( IEEE COMPUTER SOC )  21 ( 11 ) 1269 - 1278   2015年11月  [査読有り]

　概要を見る

The fundamental issues in Augmented Reality (AR) are on how to naturally mediate the reality with virtual content as seen by users. In AR applications with Optical See-Through Head-Mounted Displays (OST-HMD), the issues often raise the problem of rendering color on the OST-HMD consistently to input colors. However, due to various display constraints and eye properties, it is still a challenging task to indistinguishably reproduce the colors on OST-HMDs. An approach to solve this problem is to pre-process the input color so that a user perceives the output color on the display to be the same as the input.
We propose a color calibration method for OST-HMDs. We start from modeling the physical optics in the rendering and perception process between the HMD and the eye. We treat the color distortion as a semi-parametric model which separates the non-linear color distortion and the linear color shift. We demonstrate that calibrated images regain their original appearance on two OST-HMD setups with both synthetic and real datasets. Furthermore, we analyze the limitations of the proposed method and remaining problems of the color reproduction in OST-HMDs. We then discuss how to realize more practical color reproduction methods for future HMD-eye system.

DOI

Tutorial 2: Computational Imaging and Projection.

Shinsaku Hiura, Hajime Nagahara, Daisuke Iwai, Toshiyuki Amano

2015 IEEE International Symposium on Mixed and Augmented Reality, ISMAR 2015, Fukuoka, Japan, September 29 - Oct. 3, 2015 ( IEEE Computer Society )    xxxi   2015年09月  [査読有り]

DOI

Structural Color Display on Retro-reflective Objects.

Toshiyuki Amano, Kensuke Minami

International Conference on Artificial Reality and Telexistence and Eurographics Symposium on Virtual Environments, ICAT-EGVE 2015, Kyoto, Japan, October 28-30, 2015. ( Eurographics Association )    37 - 44   2015年  [査読有り]

DOI

AN ITERATIVE CONVERGENCE ALGORITHM FOR SINGLE/MULTI GROUND PLANE DETECTION AND ANGLE ESTIMATION WITH RGB-D CAMERA

Yankun Lang, Haiyuan Wu, Toshiyuki Amano, Qian Chen

2015 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP) ( IEEE )    2895 - 2899   2015年  [査読有り]

　概要を見る

In this paper, we propose an innovative algorithm for detecting single or multiple ground planes and estimating the orientation of the ground plane with a RGB-D camera. In our algorithm, we use Kernel Density Estimator for selecting the ground plane reliably under a given tilt angle. Camera tilt angle is estimated with probability theory and then used as a feedback to improve the accuracy of detection. Our algorithm is evaluated on several challenging data set and is shown to hold great superiority and effectiveness.

DOI

AN ITERATIVE CONVERGENCE ALGORITHM FOR SINGLE/MULTI GROUND PLANE DETECTION AND ANGLE ESTIMATION WITH RGB-D CAMERA

Yankun Lang, Haiyuan Wu, Toshiyuki Amano, Qian Chen

2015 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP) ( IEEE )    2895 - 2899   2015年  [査読有り]

　概要を見る

In this paper, we propose an innovative algorithm for detecting single or multiple ground planes and estimating the orientation of the ground plane with a RGB-D camera. In our algorithm, we use Kernel Density Estimator for selecting the ground plane reliably under a given tilt angle. Camera tilt angle is estimated with probability theory and then used as a feedback to improve the accuracy of detection. Our algorithm is evaluated on several challenging data set and is shown to hold great superiority and effectiveness.

DOI

質感プロジェクションマッピング

天野敏之

日本バーチャルリアリティ学会誌   19 ( 2 ) 78-81,66(1) - J533   2014年06月  [招待有り]

　概要を見る

プロジェクションディスプレイ技術を応用した質感操作技術は,テーマパークや美術館での演出，プロダクトデザイン補助，さらには宝飾品のライトアップなど，様々な応用が期待できる．しかし,既存のプロジェクションディスプレイ技術による質感操作は，投影対象のモデルが必要であるうえに投影像の位置合わせも必要であり，利用者には多大な手間が要求される．そこで，本論文では認知科学により得られた知見に基づく画像処理アルゴリズムを提案し，Fujiiらが提案している投影中心が一致したプロジェクタ・カメラ系と筆者らが提案している見かけの操作技術へ実装することで透明感と光沢感を光投影によって連続的に操作する方法を提案する．実験では，陶器やプラスチック，シルクへの適用結果を示し，提案手法の有効性を考察する．さらに，本論文ではプロジェクションディスプレイ技術を応用した質感操作の限界について述べる．

DOI

プロジェクタカメラ系を用いた光沢感と透明感の実時間操作

天野敏之

映像情報メディア学会誌(Web) ( 一般社団法人 映像情報メディア学会 )  68 ( 12 ) J528-J533 (J-STAGE) - J533   2014年01月  [査読有り]

　概要を見る

プロジェクションディスプレイ技術を応用した質感操作技術は,テーマパークや美術館での演出，プロダクトデザイン補助，さらには宝飾品のライトアップなど，様々な応用が期待できる．しかし,既存のプロジェクションディスプレイ技術による質感操作は，投影対象のモデルが必要であるうえに投影像の位置合わせも必要であり，利用者には多大な手間が要求される．そこで，本論文では認知科学により得られた知見に基づく画像処理アルゴリズムを提案し，Fujiiらが提案している投影中心が一致したプロジェクタ・カメラ系と筆者らが提案している見かけの操作技術へ実装することで透明感と光沢感を光投影によって連続的に操作する方法を提案する．実験では，陶器やプラスチック，シルクへの適用結果を示し，提案手法の有効性を考察する．さらに，本論文ではプロジェクションディスプレイ技術を応用した質感操作の限界について述べる．

DOI

Successive Wide Viewing Angle Appearance Manipulation with Dual Projector Camera Systems.

Toshiyuki Amano, Isao Shimana, Shun Ushida, Kunioki Kono

International Conference on Artificial Reality and Telexistence and Eurographics Symposium on Virtual Environments, ICAT-EGVE 2014, Bremen, Germany, December, 8-10, 2014. ( Eurographics Association )    49 - 54   2014年  [査読有り]

DOI

Projection Center Calibration for a Co-located Projector Camera System

Toshiyuki Amano

2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW) ( IEEE )    449 - 454   2014年  [査読有り]

　概要を見る

A co-located projector camera system where the projector and camera are positioned in the same optical position by a plate beam splitter enables various spatial augmented reality applications for dynamic three dimensional scenes. The extremely precise alignment of the projection centers of the camera and projector is necessary for these applications. However, the conventional calibration procedure for a camera and projector cannot achieve high accuracy because an iterative verification process for the alignment is not included. This paper proposes a novel interactive alignment approach that displays a capture of the projected grid pattern on the calibration screen. Additionally, a misalignment display technique that employs projector camera feedback is proposed for fine adjustment.

DOI

プロジェクタカメラ系による印刷媒体での新たな立体提示

天野 敏之

電子情報通信学会論文誌. D, 情報・システム = The IEICE transactions on information and systems (Japanese edition) ( 一般社団法人電子情報通信学会 )  96 ( 8 ) 1865 - 1873   2013年08月  [査読有り]

　概要を見る

本論文は,プロジェクタカメラ系を用いた印刷媒体での新たな立体提示手法を提案する.提案手法は,符号化印刷と見かけの制御の二つのコア技術より構成される.符号化印刷ではHSV色空間にで定義される法線マップ画像により形状を色彩で表現し,3Dコンテンツの立体情報をカラー印刷によって印刷媒体へ埋め込む.また,プロジェクタカメラ系は印刷媒体のキャプチャ画像から印刷媒体に埋め込まれた立体情報を復元する.その後,3Dコンテンツに応じた陰影アニメーションを見かけの制御により印刷媒体上に提示し,ユーザに立体知覚を促す.ユーザスタディによる提案手法の評価では,提案手法による陰影アニメーションは静止した陰影提示よりも1%有意水準において立体提示手法とし有意であることが確認された.

プロジェクタカメラシステムへの誘い

天野 敏之

電子情報通信学会誌 : The Journal of the Institute of Electronics, Information and Communication Engineers ( 一般社団法人電子情報通信学会 )  96 ( 6 ) 435 - 440   2013年06月  [招待有り]

　概要を見る

プロジェクタは映像をスクリーンへ表示するための単なるディスプレイ装置ではなく,光学的に現実世界へ働き掛けることを可能にする出力装置と考えることもできる.また,カメラによる実環境のセンシングを加えたプロジェクタカメラシステムでは,一方的に映像を提示するだけではなく,日常生活環境に応じてひずみのない鮮やかな映像を投影したり,物体の見かけを操作することも可能となる.本稿は工学の基礎を習得し,これからプロジェクタカメラシステムの研究に取り組む初学者が読むことを想定し,基礎技術として幾何学レジストレーション,光学補償,光輸送について解説する.

A model-based tracking framework for textureless 3D rigid curved objects

Marina Oikawa, Takafumi Taketomi, Goshiro Yamamoto, Makoto Fujisawa, Toshiyuki Amano, Jun Miyazaki, Hirokazu Kato

SBC Journal on 3D Interactive Systems, Special Issue of the XIV Symposium on Virtual and Augmented Reality   3 ( 2 ) 2 - 15   2013年01月  [査読有り]

Projection Based Real-time Material Appearance Manipulation

Toshiyuki Amano

2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW) ( IEEE )    918 - 923   2013年  [査読有り]

　概要を見る

We introduce a new projection display technique that converts a visual material appearance of target object. Unlike conventional projection display, our approach allowed us successive material appearance manipulation by the projector camera feedback without scene modeling. First, we introduce an appearance control framework with a coaxial projector camera system. Next, we introduce two image based material appearance manipulation methods of translucency and glossiness. Last, we verify the ability of the material appearance manipulation of the proposed display technique through the experiments.

DOI

粒子法とウェーブレットを用いたサブパーティクルスケール乱流の高速なシミュレーション

藤澤誠, 三村豪, 天野敏之, 宮崎純, 加藤博一

情報処理学会論文誌ジャーナル(CD-ROM)   53 ( 7 ) 1915 - 1923   2012年07月  [査読有り]

　概要を見る

本論文ではパーティクル法とウェーブレット解析を用いた高速な乱流シミュレーション手法を提案する．高速に流体の流れを再現するためにパーティクル法の一種であるSPHを用い，そのパーティクル間の相互関係から直接ウェーブレット解析により乱流が発生する領域を検出する方法を提案する．検出された領域にウェーブレットノイズに基づき渦場を付加することで乱流を再現する．さらに，乱流エネルギーに基づきパーティクルを分割・回転させることで，サブパーティクルスケールでの乱流を実現する．最後にこれらの処理のほとんどはGPU上で容易に実装可能であり，リアルタイムに近い速度で実行できることを示す．This paper presents a fast simulation method for turbulent flow which uses a particle method and wavelet analysis. To simulate fluid flow, the method uses smoothed particle hydrodynamics (SPH), which discretizes the fluid into a collection of particles, and detects regions where turbulent flow will occur by using wavelet analysis without a spatial grid. By taking the curl of wavelet noise, the turbulent flow is then appended as a divergence-free turbulence velocity field. Additionally, by using a particle splitting, which characterize the vortex features of turbulence, a sub-particle-scale representation of turbulent flow is proposed. Implementing almost all processes on a graphics processing unit (GPU), simulations are performed in near real time.

DOI

Meetsu: Augmented Reality Co-located Meeting Support System

Igor de Souza Almeida, Jun Miyazaki, Goshiro Yamamoto, Makoto Fujisawa, Toshiyuki Amano, Hirokazu Kato

The 5th Korea-Japan Workshop on Mixed Reality (KJMR2012)     2012年04月

Interactive photomosaic system using GPU

Makoto Fujisawa, Toshiyuki Amano, Takafumi Taketomi, Goshiro Yamamoto, Yuki Uranishi, Jun Miyazaki

MM 2012 - Proceedings of the 20th ACM International Conference on Multimedia ( ACM )    1297 - 1298   2012年  [査読有り]

　概要を見る

A photomosaic is a type of decorative art made up from various other photographs. We present a method for quickly generating photomosaics and propose an interactive recursive photomosaic system. Users can operate the system by using a large display with a touch input function, which allows them to alter the appearance of the image dynamically. © 2012 Authors.

DOI

Local quadrics surface approximation for real-time tracking of textureless 3D rigid curved objects

Marina Atsumi Oikawa, Takafumi Taketomi, Goshiro Yamamoto, Makoto Fujisawa, Toshiyuki Amano, Jun Miyazaki, Hirokazu Kato

Proceedings - 2012 14th Symposium on Virtual and Augmented Reality, SVR 2012 ( IEEE Computer Society )    246 - 253   2012年  [査読有り]

　概要を見る

This paper addresses the problem of tracking textureless rigid curved objects. A common approach uses polygonal meshes to represent curved objects and use them inside an edge-based tracking system. However, in order to accurately recover their shape, high quality meshes are required, creating a trade-off between computational efficiency and tracking accuracy. To solve this issue, we suggest the use of quadrics for each patch in the mesh to give local approximations of the object shape. The novelty of our research lies in using curves that represent the quadrics projection in the current viewpoint for distance evaluation instead of using the standard method which compares edges from mesh and detected edges in the video image. This representation allows to considerably reduce the level of detail of the polygonal mesh and led us to the development of a novel method for evaluating the distance between projected and detected features. The experiments results show the comparison between our approach and the traditional method using sparse and dense meshes. They are presented using both synthetic and real image data. © 2012 IEEE.

DOI

Shading illusion: A novel way for 3-D representation on paper media

Toshiyuki Amano

IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops ( IEEE Computer Society )    1 - 6   2012年  [査読有り]

　概要を見る

Content printed on the paper media is not rewritable, but its appearances can be controlled by illumination. In this paper, we propose a new method to represent three-dimensional (3-D) shape on the print media by the shading animation using projector-camera feedback. The proposed method consists of a hue, saturation, and value (HSV) map and an appearance control technique, and these are key technologies. The HSV map represents a normal map of the 3-D content, and it is embedded in the printed media by full color print. While the system is projecting a shading animation for the 3-D representation, the embedded information is decoded by modulation estimation using the appearance control technique. © 2012 IEEE.

DOI

Appearance Control for Human Material Perception Manipulation

Toshiyuki Amano, Kenichi Komura, Takashi Sasabuchi, Shota Nakano, Shunya Yamashita

2012 21ST INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR 2012) ( IEEE )    13 - 16   2012年  [査読有り]

　概要を見る

We describe a new concept of human visual perception manipulation using illumination projection. The idea is to alternate material appearance of an object using projector camera feedback and a manipulation technique of an image-based material appearance. Unlike the simple display technique, our approach can manipulate human material perception for any object using the appearance control technique in real time without scene modeling. The experimental results show the ability of manipulating both human translucent perception and gloss perception.

プロジェクタカメラフィードバックのためのアンチベイヤ投影法

天野敏之

日本バーチャルリアリティ学会論文誌 ( 特定非営利活動法人 日本バーチャルリアリティ学会 )  16 ( 4 ) 653 - 662   2011年12月  [査読有り]

　概要を見る

In this paper, the problem of the over-projection when we use the Bayer imaging for the drastic appearance control by the projector camera feedback is denoted and the mechanism of how it arise is explained. As a solution for this problem, a simple approach of anti-Bayer projection which restricts over-projection caused by Bayer imaging is proposed. The computational simulations and experimental results which employed Bayer camera show the effectiveness of anti-Bayer projection for the drastic appearance control by the projector camera feedback.

DOI

AR based Co-located Meeting Support System

Igor de Souza Almeida, Jun Miyazaki, Goshiro Yamamoto, Makoto Fujisawa, Toshiyuki Amano, Hirokazu Kato

In Proceedings of The 21st International Conference on Artificial Reality and Telexistence (ICAT2011)     146 - 146   2011年11月  [査読有り]

Model Based Tracking of Rigid Curved Objects using Sparse Polygonal Meshes

Marina Atsumi Oikawa, Goshiro Yamamoto, Makoto Fujisawa, Toshiyuki Amano, Jun Miyazaki, Hirokazu Kato

In Proceedings of The 21st International Conference on Artificial Reality and Telexistence (ICAT2011)     145 - 145   2011年11月  [査読有り]

Quantitative Evaluation Method for Model-based Tracking of 3D Rigid Curved Objects

Marina Atsumi Oikawa, Goshiro Yamamoto, Makoto Fujisawa, Toshiyuki Amano, Jun Miyazaki, Hirokazu Kato

Proc. of the 2nd International Workshop on AR/MR Registration, Tracking and Benchmarking     2011年10月  [査読有り]

CC‐PAID:CPUキャッシュを有効利用した並列時系列パターンマイニングアルゴリズム

松原裕貴, 宮崎純, 藤澤誠, 天野敏之, 加藤博一

情報処理学会論文誌トランザクション(CD-ROM)   2011 ( 1 ) ROMBUNNO.DETABESU,VOL.4,NO.2,88-100 - 1375   2011年10月  [査読有り]

　概要を見る

本論文では,プロジェクタとカメラによるフィードバック系においてモデル予測制御を用いた見かけの制御方法を提案する.提案手法では,補正光が投影されて動的に変化する状況において推定された白色照明下での見かけを推定する.この推定された見かけを基準として目標とする見かけを画像処理により生成し,モデル予測制御を用いることで自在な見かけの制御を実現した.実験では,カラー印刷物に対して彩度強調,色相制御,明度均一化,エッジ強調などの見かけの制御結果を示した.

A Fast Simulation Method Using SPH and Wavelet for Sub-Particle-Scale Turbulent Flow.

Makoto Fujisawa, Go Mimura, Toshiyuki Amano, Jun Miyazaki, Hirokazu Kato

19th Pacific Conference on Computer Graphics and Applications, PG 2011, Short Papers, Kaohsiung, Taiwan, September 21-23, 2011 ( Eurographics Association )    2011年09月  [査読有り]

DOI

情報推薦のためのSkyline演算の拡張

吉武亮, 宮崎純, 藤澤誠, 天野敏之, 加藤博一

平成23年度情報処理学会関西支部支部大会講演論文集     2011年09月

消費電力を考慮したOLAP問合せ処理

福澤優, 宮崎純, 藤澤誠, 天野敏之, 加藤博一

    2011年09月

モデルベースドトラッキングにおける推定可能自由度の変化に対するロバスト性の向上

熊谷謙造, 山本豪志朗, 藤澤誠, 天野敏之, 宮崎純, 加藤博一

第16回日本バーチャルリアリティ学会大会論文集     pp. 249 - 252   2011年09月

モデル予測制御を用いたプロジェクタカメラ系による見かけの制御

天野敏之, 加藤博一

電子情報通信学会論文誌 D ( 一般社団法人電子情報通信学会 )  J94-D ( 8 ) 1368 - 1375   2011年08月  [査読有り]

　概要を見る

本論文では,プロジェクタとカメラによるフィードバック系においてモデル予測制御を用いた見かけの制御方法を提案する.提案手法では,補正光が投影されて動的に変化する状況において推定された白色照明下での見かけを推定する.この推定された見かけを基準として目標とする見かけを画像処理により生成し,モデル予測制御を用いることで自在な見かけの制御を実現した.実験では,カラー印刷物に対して彩度強調,色相制御,明度均一化,エッジ強調などの見かけの制御結果を示した.

認識・検出 単位円特徴空間を用いた高速でコンパクトな二次元物体認識

天野 敏之, 木村 将之, 玉木 徹

画像ラボ ( 日本工業出版 )  22 ( 7 ) 21 - 27   2011年07月

CC-PAID：CPUキャッシュを有効利用した並列時系列パターンマイニングアルゴリズム

松原 裕貴, 宮崎 純, 藤澤 誠, 天野 敏之, 加藤 博一

情報処理学会論文誌データベース（TOD） ( 情報処理学会 )  4 ( 2 ) 88 - 100   2011年07月  [査読有り]

　概要を見る

本論文では，既存の時系列パターンマイニングアルゴリズムPAIDを対象に，CPUのキャッシュミスの軽減による処理時間の短縮を目的とした改良手法の提案を行う．時系列パターンマイニングでは，データベースの規模やパターンの抽出に用いられる閾値によって非常に長い処理時間が必要とされることが問題とされており，過去の研究においてアルゴリズムや並列化の提案が行われてきた．また，処理対象となるデータベース全体に対して多くの反復的なアクセスが生じ，キャッシュミスが発生しやすいため，大規模なデータベースや小さな閾値を利用した場合，そのレイテンシは全体の処理時間に対して無視できない可能性がある．PAIDアルゴリズムにおいても同様に反復的なアクセスが生じるデータ構造があり，キャッシュミスが起こる可能性が考えられる．そのため，提案手法では処理対象へのアクセスパターンの改良により，PAIDアルゴリズムの特定のデータ構造での時間的局所性を向上させ，キャッシュミスの軽減を行う．また，処理時間を短縮するために並列化も行い，性能評価によりこれらの有効性の確認を行う．In this paper, we propose a technique to reduce the memory access latency caused by cache misses in PAID algorithm. Since sequential pattern mining algorithms generally require long time depending on the database size and the minimum support value, many methods have been proposed such as new efficient algorithms and their parallelization. The sequential pattern mining tends to repeat database scans, which frequently cause cache misses. The frequent cache misses cannot be ignored, when, in particular, a low minimum support value is set. In PAID algorithm, cache misses happen in some data structures which are accessed repeatedly. Therefore, we propose a method to improve the data structures and their access patterns so that temporal locality of reference increases, which leads to more cache hits. In addition, we also parallelize our method to reduce further execution time. We evaluate the efficiency of our method through some experiments.

プロジェクタカメラ系による照明制御を用いた物体認識

天野敏之, 長村一樹, 藤澤誠, 宮崎純, 加藤博一

画像の認識・理解シンポジウム2011 論文集     pp. 1072 - 1079   2011年07月

認識・検出 単位円特徴空間を用いた高速でコンパクトな二次元物体認識

天野 敏之, 木村 将之, 玉木 徹

画像ラボ ( 日本工業出版 )  22 ( 7 ) 21 - 27   2011年07月  [査読有り]

Controlled Illumination for the Object Recognition with Projector Camera Feedback

Toshiyuki Amano, Kazuki Osamura, Makoto Fujisawa, Jun Miyazaki, Hirokazu Kato

IAPR CONFERENCE ON MACHINE VISION APPLICATIONS MVA2011     152 - 155   2011年06月  [査読有り]

Closed-Loop Feedback Illumination for Optical Inverse Tone-Mapping in Light Microscopy

Oliver Bimber, Daniel Kloeck, Toshiyuki Amano, Anselm Grundhoefer, Daniel Kurz

IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS ( IEEE COMPUTER SOC )  17 ( 6 ) 857 - 870   2011年06月  [査読有り]

　概要を見る

In this paper, we show that optical inverse tone-mapping (OITM) in light microscopy can improve the visibility of specimens, both when observed directly through the oculars and when imaged with a camera. In contrast to previous microscopy techniques, we premodulate the illumination based on the local modulation properties of the specimen itself. We explain how the modulation of uniform white light by a specimen can be estimated in real time, even though the specimen is continuously but not uniformly illuminated. This information is processed and back-projected constantly, allowing the illumination to be adjusted on the fly if the specimen is moved or the focus or magnification of the microscope is changed. The contrast of the specimen's optical image can be enhanced, and high-intensity highlights can be suppressed. A formal pilot study with users indicates that this optimizes the visibility of spatial structures when observed through the oculars. We also demonstrate that the signal-to-noise (S/N) ratio in digital images of the specimen is higher if captured under an optimized rather than a uniform illumination. In contrast to advanced scanning techniques that maximize the S/N ratio using multiple measurements, our approach is fast because it requires only two images. This can improve image analysis in digital microscopy applications with real-time capturing requirements.

DOI

粒子法におけるサブパーティクルスケールの乱流を考慮した液体表面生成手法

三村豪, 藤澤誠, 天野敏之, 宮崎純, 加藤博一

    2011年06月

異常を診る,鮮やかに観る,綺麗に魅せる プロジェクタカメラを用いた見かけの制御技術

天野敏之, 加藤博一

画像ラボ   22 ( 3 ) 29 - 36   2011年03月

異常を診る、見分けにくい物を視る、鮮やかに観る、綺麗に魅せる・プロジェクタカメラを用いた見かけの制御技術

天野 敏之, 加藤 博一

画像ラボ ( 日本工業出版 )  22 ( 3 ) 29 - 36   2011年03月

複数の検索要素を統合する3Dオブジェクト検索システム

三宅香菜子, 宮崎純, 天野敏之, 藤澤誠, 加藤博一

    2011年02月

カラムストアデータベースの処理性能と電力の関係について

福澤優, 宮崎純, 藤澤誠, 天野敏之, 加藤博一

    2011年02月

CC-PAIDにおけるデータベースサイズとCPUキャッシュ利用効率の関係について

松原裕貴, 宮崎純, 藤澤誠, 天野敏之, 加藤博一

    2011年02月

拡張現実感辞書システムの開発とその有効性の評価

藤本雄一郎, 藤澤 誠, 天野 敏之, 宮崎 純, 加藤 博一

電子情報通信学会技術報告 パターン認識・メディア理解研究会   PRMU20110   2011年01月  [査読有り]

AR Dictionary: Dynamic Annotation for English Words in Printed Documents

Yuichiro Fujimoto, Chu Cheng Tse, Makoto Fujisawa, Toshiyuki Amano, Jun Miyazaki, Hirokazu Kato

20th International Conference on Artificial Reality and Telexistence (ICAT2010)     2010年12月  [査読有り]

Bauhaus-Universitat Weimar Augmented Reality Lab.

天野 敏之

日本バーチャルリアリティ学会誌 = Journal of the Virtual Reality Society of Japan   15 ( 4 ) 266 - 267   2010年12月  [招待有り]

単位円特徴空間を用いた高速でコンパクトな三次元物体認識

木村 将之, 天野 敏之, 玉木 徹, 星田 孝憲, 奥川 裕之, 梅崎 太造

電子情報通信学会論文誌. D, 情報・システム = The IEICE transactions on information and systems (Japanese edition) ( 一般社団法人電子情報通信学会 )  93 ( 11 ) 2505 - 2515   2010年11月  [査読有り]

　概要を見る

本論文では,画像対の相関から三次元物体の姿勢パラメータを推定できるEbC(Estimation-by-Completion)法を改良して,三次元物体認識を行う手法を提案する.本手法は,学習により物体ごとに得られる二つの画像ベクトル(EbC画像対)と入力画像の内積値により評価を行う.したがって,学習データを小容量にすることができ,また高速物体認識を実現できる.パラメトリック固有空間法との比較実験より,学習データの記憶容量を同程度に制限した場合及び疎な学習サンプルにおいては,パラメトリック固有空間法よりも精度の高いパラメータ推定ができることが確認された.

Super-Helicesに基づく対話的な髪のシミュレーション

光武雅人, 藤澤誠, 天野敏之, 宮崎純, 加藤博一

    2010年11月

共同活動空間におけるメンバーの位置情報履歴を用いたアウェアネス支援

庄司賢太, 藤澤誠, 天野敏之, 宮崎純, 加藤博一

ヒューマンインタフェース学会研究報告集 ( ヒューマンインタフェース学会 )  12   1 - 4   2010年11月  [査読有り]

粒子法における乱流を考慮した流体表面の改良

三村豪, 藤澤誠, 天野敏之, 宮崎純, 加藤博一

研究報告グラフィクスとCAD（CG） ( 情報処理学会 )  2010 ( 7 ) 1 - 6   2010年09月

　概要を見る

乱流まで考慮した現実的な液体アニメーションを高速に生成することは非常に困難である．そこで，本論文では，粒子法においてパーティクルをサブパーティクルに分割することによりシミュレーションでは捉えきれない速度場，粒子配置を再現し，乱流を含む流れの流体表面を生成する手法を提案する．また，その実装を行い，提案手法の有効性を検証する．It is very difficult to make an animation of liquid with turbulence. In this paper, we propose a method to generate fluid surface including turbulent flow by dividing fluid particles into sub-particles and updating positions and velocity field that usual particle method can not capture. We implement this method and verify it.

再帰的なフォトモザイクを用いた画像の関連性提示方法

佐藤和男, 藤澤誠, 天野敏之, 宮崎純, 加藤博一

    2010年08月

プロジェクタカメラ系による陰影除去を用いた物体認識

天野 敏之, 長村一樹, 加藤 博一

画像の認識・理解シンポジウム 2010 論文集     1941 - 1946   2010年07月  [査読有り]

モデル予測制御を用いたプロジェクタカメラ系によるアピアランス制御

天野 敏之, 加藤 博一

画像の認識・理解シンポジウム 2010 論文集   DS-14   746 - 753   2010年07月  [査読有り]

HANDY: Enhancing Social Presence in Video-chat Systems

Igor de Souza Almeida, Jordi Carres Polo, Marina Atsumi Oikawa, Tatsuya Hiramatsu, Toshiyuki Amano, Makoto Fujisawa, Mark Billinghurst, Hirokazu Kato

情処学会第16回ＥＣ研究・発表会予稿集   2010 ( 22 ) 1 - 5   2010年05月  [査読有り]

　概要を見る

既存のビデオ会話システムは，対面でのコミュニケーションを模倣しようとしている．その目的は，自分が遠方にいる話し相手と一緒にいるんだと感じれるようなソーシャルプレセンスの感覚を実現することにある．我々は，ビデオ会話システムにおいて，このソーシャルプレセンスを向上させるために，一方のユーザの存在感を他方のユーザの映像の中に感じさせる方法を提案する．実際にこのアイデアに基づく試作システムを構築し，試験的な評価実験を行ったので，それについて報告する．Current video-chat systems try to copy face-to-face communication. They aim to create a sense of social presence, which is the feeling that one person is present with another person in a mediated environment. We propose an approach to enhance social presence of video-mediated systems by simulating the presence of one user into the second user's video image. A prototype was implemented and a pilot study was conducted.

Estimating a rotation matrix R by using higher-order matrices RN with application to supervised pose estimation

Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Toshiyuki Amano

Proceedings of the 7th IASTED International Conference on Signal Processing, Pattern Recognition and Applications, SPPRA 2010     58 - 64   2010年

　概要を見る

In this paper, we show that a more accurate estimation of a 3 × 3 rotation matrix R can be achieved by appropriately decomposing higher-order rotation matrices: R2, R3, and so on. First we discuss an angle estimation of a 2 × 2 rotation matrix inspired by the Electronic Distance Measurement. Then we reformulate the problem for a 3 x 3 rotation matrix: if noise-contaminated measurement matrices R, R2,⋯, Rn are given, find an appropriate rotation matrix R. In the proposed method, the given measurement matrices are first transformed to rotation matrices by using the polar decomposition. Then the rotation angles are obtained by using an eigen decomposition of the rotation matrices. Finally, the ambiguity of the obtained rotation angle is removed. Experimental results show that the use of Rn results in more accurate estimates than when R itself is used.

Appearance control using projection with model predictive control

Toshiyuki Amano, Hirokazu Kato

Proceedings - International Conference on Pattern Recognition ( IEEE Computer Society )    2832 - 2835   2010年  [査読有り]

　概要を見る

The unified technique for the irradiance correction and appearance enhancement for the real scene is proposed in this paper. The proposed method employed MPC algorithm for the projector camera system and enabled arbitrary appearance control such like photo retouching software in the real world. In the experiment, the appearance control of saturation enhancement, color removal, phase control, edge enhancement, image blur, makes unique brightness and the other enhancements for the real scene are shown. © 2010 IEEE.

DOI

Appearance control by projector camera feedback for visually impaired

Toshiyuki Amano, Hirokazu Kato

2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition - Workshops, CVPRW 2010 ( IEEE Computer Society )    57 - 63   2010年  [査読有り]

　概要を見る

Visual impairment is a common problem for people worldwide. The projector-based AR technique has the ability to change the appearance of real objects, and it can help to improve visibility for the visually impaired. We propose a new framework for appearance enhancement with a projector camera system that employs a model predictive controller. This framework enables arbitrary image processing such as photo-retouch software in the real world and it helps to improve visibility for the visually impaired. In this article, we show the appearance enhancement results of Peli's method and Wolffshon's method for low vision, and Jefferson's method for color vision deficiencies. Through experimental results, the potential of our method to enhance the appearance for the visually impaired was confirmed to be the same as appearance enhancement for digital images and television viewing. © 2010 IEEE.

DOI

Apparent Contour Tracking of 3D Rigid Curved Objects based on Quadrics Approximation of the Surface

Marina Atsumi Oikawa, Makoto Fujisawa, Toshiyuki Amano, Jun Miyazaki, Hirokazu Kato

Proc. of the 3rd Korea-Japan Workshop in Mixed Reality     pp. 24 - 27   2010年  [査読有り]

Representing images of a rotating object with cyclic permutation for view-based pose estimation

Toru Tamaki, Toshiyuki Amano, Kazufumi Kaneda

COMPUTER VISION AND IMAGE UNDERSTANDING ( ACADEMIC PRESS INC ELSEVIER SCIENCE )  113 ( 12 ) 1210 - 1221   2009年12月  [査読有り]

　概要を見る

In this paper, we propose a novel approach using a cyclic group to model the appearance change in all Image Sequence of an object rotated about an arbitrary axis (1 DOF out-of-plane rotation). In the sequence, an image x(j) is followed by an image x(j+1). We represent the relationship between images by a cyclic group as x(j+1) Gx(j) and obtain the matrix G by real block diagonalization. Then, G to the power of a real number is used to represent the image sequence and also for pose estimation Two estimation methods are proposed and evaluated with real image sequences from the COIL-20, COIL-100, and ALOI datasets, and also compared to the Parametric Eigenspace method Additionally, we discuss the relationship of the proposed approach to the pixel-wise Discrete Fourier Transform (DFT) and to linear regression, and also outline several extensions. (C) 2009 Elsevier Inc All rights reserved.

DOI

プロジェクタカメラフィードバック系によるアピアランス強調

天野敏之, 加藤博一

電子情報通信学会論文誌 D ( 一般社団法人電子情報通信学会 )  J92-D ( 8 ) 1329 - 1338   2009年08月  [査読有り]

　概要を見る

本論文では,物体の見えから生成した補正光を物体上に重畳投影することにより物体の見かけを強調する手法を提案した.特に,提案手法ではプロジェクタカメラフィードバック系を用い,補正光が連続的に投影される動的な見かけの強調を実現した.実験では色あせた写真に対して見かけの強調を行い,提案手法により物体の見かけの明度,彩度及びコントラストを動的に制御できることを確認した.本論文で提案した彩度やコントラストの制御は物体の見かけを強調する手法として有用であり,また物体の見かけの印象や立体感を変化させる効果も期待できる.

Shape Disparity Inspection of the Textured Object and Its Notification by Overlay Projection

Toshiyuki Amano, Hirokazu Kato

VIRTUAL AND MIXED REALITY, PROCEEDINGS ( SPRINGER-VERLAG BERLIN )  5622   405 - 412   2009年  [査読有り]

　概要を見る

In this paper we describe about use of the projector camera feedback system for shape disparity check of the textured object. Using the negative feedback in the proposed system, we realized real time shape disparity inspection and its visualization at the same time. In the experimental result, we confirmed the system has an ability to distinguish the 2 mm of shape disparity and its response time was 0.2 sec.

DOI

Projected light microscopy.

Oliver Bimber, Anselm Grundhöfer, Daniel Kurz, Sebastian Thiele, Ferry Hantsch, Toshiyuki Amano, Daniel Klöck

International Conference on Computer Graphics and Interactive Techniques, SIGGRAPH 2009, New Orleans, Louisiana, USA, August 3-7, 2009, Talks Proceedings ( ACM )    2009年  [査読有り]

DOI

拡張現実感のための自然特徴点を用いた特徴点追跡の失敗原因の解析

田村亮輔, 天野敏之, 加藤博一

日本バーチャルリアリティ学会第13 回大会論文集     375 - 378   2008年09月

プロジェクタカメラフィードバック系によるアピアランス強調

天野敏之, 加藤博一

画像の認識・理解シンポジウム 2008 論文集     79 - 86   2008年07月

実世界ダイナミックアピアランス強調システム

天野敏之, 加藤博一

画像の認識・理解シンポジウム 2008 論文集     1690 - 1691   2008年07月

Appearance Enhancement Using a Projector-Camera Feedback System

Toshiyuki Amano, Hirokazu Kato

19TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION, VOLS 1-6 ( IEEE )    1154 - 1157   2008年  [査読有り]

　概要を見る

In this paper a dynamic appearance enhancement method for the less saturated object is proposed. The appearance enhancement method proposed in this paper is realized with a projector camera dynamic feedback system. Therefore, the proposed method has an ability of the rapid and continuous appearance enhancement and it is useful for the human visual perception assistance. Also, the system not requires a precaptured appearance of the target.

DOI

Real world dynamic appearance enhancement with procam feedback

Toshiyuki Amano, Hirokazu Kato

PROCAMS 2008 - ACM/IEEE 5th International Workshop on Projector Camera Systems     2008年

　概要を見る

In this paper, a dynamic appearance enhancement method for the less saturated object is proposed. The appearance enhancement method proposed in this paper is realized with a projector camera dynamic feed back system. Therefore, the proposed method has an ability of the rapid and continuous appearance enhancement and it is useful for the human visual perception assistance. Also, the system not requires a pre-captured appearance of the target © 2008 ACM.

DOI

3D head model generation using full-face head shape measurement system

Takehiko Koyasu, Toshiyuki Amano, Yukio Sato

Systems and Computers in Japan   38 ( 13 ) 82 - 91   2007年11月

　概要を見る

Recently, the application of human facial shapes has been attracting interest in such fields as authentication, amusement, and medical care. However, the systems now used in practice heavily burden the person undergoing measurement, because a long time is required for measurement and the user must maintain his or her facial expression. The paper considers the measurement of the human face and proposes a fast method for head shape measurement in which the number of projected patterns is decreased by utilizing the continuity of the facial shape and the uniformity of its reflectivity. Specifically, based on the assumption of continuity of the facial shape, the pattern projection of the upper bits is omitted in the spatial coding, and the spatial code is restored by utilizing the continuity of the facial shape. By applying this method, shape measurement with 8-bit spatial resolution in the depth direction is achieved by five pattern light projection operations. Based on the fact that the reflectivity of the face is almost uniform, binarization is performed without complementary pattern projection, by using average image comparison and local threshold setting. With these measures, the head model can be acquired by the proposed method in 14 pattern imaging operations, compared with 36 pattern imaging operations required in the conventional measurement system based on spatial coding using complementary pattern light projection. © 2007 Wiley Periodicals, Inc.

DOI

EbC画像対を用いた三次元物体の高速線形姿勢推定

天野 敏之, 玉木 徹

電子情報通信学会論文誌. D, 情報・システム = The IEICE transactions on information and systems (Japanese edition) ( 電子情報通信学会 )  90 ( 8 ) 2060 - 2069   2007年08月  [査読有り]

　概要を見る

本論文では三次元物体の姿勢パラメータを二次元画像から高速に推定する方法として、EbC(Estimation-by-Completion)法を提案する。EbC法は、アピアランスベース姿勢推定を、画像に埋め込まれた情報トラックの復元という問題としてとらえ、固有空間法による学習結果をもとにBPLP法で画像補完することで情報トラックを復元し、パラメータ推定を実現する。また、画像補完とパラメータ推定の計算を2枚の画像(EbC画像対)に集約し、各パラメータの推定を画像の内積演算と簡単な三角関数のみで実現するため、パラメータ推定を高速に行うことができる。実験では、鉛直軸周りの回転と画像面での並進の3自由度の姿勢パラメータ推定結果を示し、EbC法の精度と計算コストについて述べる。

Image interpolation using BPLP method on the eigenspace

Toshiyuki Amano, Yukio Sato

Systems and Computers in Japan   38 ( 1 ) 87 - 96   2007年01月

　概要を見る

In this paper the authors propose a method to use interpolation to eliminate characters in only one image with telops or other text through an image interpolation method that uses the eigenspace method. Background scenes and other images have a fractal character, and often the self-correlation in the image can be assumed to be high. The authors focus on this point and represent rules for describing the image based on an eigenspace consisting of only one image that has defects. The eigenspace generated in this manner reflects the features of the image, and by using this eigenspace, image interpolation can be achieved. Although this interpolation method does not restore the original image, the authors confirmed through experimental results that it can provide interpolation without a feeling of oddness for images which have a high level of self-correlation. © 2006 Wiley Periodicals, Inc.

DOI

Image interpolation using BPLP method on the eigenspace

Toshiyuki Amano, Yukio Sato

Systems and Computers in Japan   38 ( 1 ) 87 - 96   2007年01月  [査読有り]

　概要を見る

In this paper the authors propose a method to use interpolation to eliminate characters in only one image with telops or other text through an image interpolation method that uses the eigenspace method. Background scenes and other images have a fractal character, and often the self-correlation in the image can be assumed to be high. The authors focus on this point and represent rules for describing the image based on an eigenspace consisting of only one image that has defects. The eigenspace generated in this manner reflects the features of the image, and by using this eigenspace, image interpolation can be achieved. Although this interpolation method does not restore the original image, the authors confirmed through experimental results that it can provide interpolation without a feeling of oddness for images which have a high level of self-correlation. © 2006 Wiley Periodicals, Inc.

DOI

Virtual recovery of the deteriorated art object based on AR technology

Toshiyuki Amano, Ryo Suzuki

2007 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, VOLS 1-8 ( IEEE )    3600 - +   2007年  [査読有り]

　概要を見る

In this paper, the virtual restoration method of the art piece in the real world is proposed. The correction pattern for restoration is generated from non damaged object's image scanned in advance. As the method to recover the beauty, the marker tracking is used to detect art piece position and the correction image is projected from calibrated LCD projector In the experiment, the color restoration by a sample image was performed. From the experimental results, the ability of restoration of the discoloring was confirmed in the real world imaginary by the correction image projection.

DOI

AR 技術を用いた稀覯資料の実物体上での美観回復

鈴木 亮, 天野敏之

芸術科学会論文誌,Vol.6,No.1 pp.11?20   6 ( 1 ) 11 - 20   2007年  [査読有り]

　概要を見る

現代の美術品の位置付けでは美観回復のための不可逆的な修復が許されないことが多い．本研究では，この問題に拡張現実感技術を応用して実世界での美術品の仮想復元を行う手法を提案する．提案手法では，あらかじめ計測した劣化のない状態のテクスチャ画像から修復のための補正画像を生成する．美観回復を行う方法として，マーカトラッキングにより稀覯資料の位置検出を行い，その後液晶プロジェクタで補正画像を投影する．また，稀覯資料の姿勢を検出し，phong のモデルに基づいて光沢復元を行う．サンプル画像による退色復元と光沢復元の実験結果より，補正画像を投影することにより現実世界での仮想的な退色復元と光沢復元が実現できることを確認した．

DOI

AR 技術を用いた稀覯資料の実物体上での美観回復

鈴木 亮, 天野敏之

芸術科学会論文誌,Vol.6,No.1 pp.11–20 ( 芸術科学会 )  6 ( 1 ) 11 - 20   2007年  [査読有り]

　概要を見る

現代の美術品の位置付けでは美観回復のための不可逆的な修復が許されないことが多い．本研究では，この問題に拡張現実感技術を応用して実世界での美術品の仮想復元を行う手法を提案する．提案手法では，あらかじめ計測した劣化のない状態のテクスチャ画像から修復のための補正画像を生成する．美観回復を行う方法として，マーカトラッキングにより稀覯資料の位置検出を行い，その後液晶プロジェクタで補正画像を投影する．また，稀覯資料の姿勢を検出し，phong のモデルに基づいて光沢復元を行う．サンプル画像による退色復元と光沢復元の実験結果より，補正画像を投影することにより現実世界での仮想的な退色復元と光沢復元が実現できることを確認した．

DOI

Correlation based image defect detection

Toshiyuki Amano

18TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION, VOL 1, PROCEEDINGS ( IEEE COMPUTER SOC )    163 - 166   2006年  [査読有り]

　概要を見る

The defect inspection that used image sensing such as automated pattern inspection is a useful solution to automatize the visual check, not limit to factory automation field. Mostly such defect inspection is using the models of defect that described by primitive features. This paper proposes a new defect detection method that is the non-model based approach. In this approach, the method extracts the image description rule from local regions. It is useful for the defect inspection problems that cannot prepare a defect model such as scratch or superimpose detection, texture image analysis, etc. In the experiment, I tiled the defect detection to the landscape picture which several types of superimpose were added. From these results, it was confirmed that the proposed method has high ability to detect the defected regions independently with the texture type. Furthermore, I attempted the application to a scene image. Therefrom, the possibility to apply the figure-ground separation of the image understanding basic problem was confirmed.

DOI

頭部形状計測システムを用いた3次元頭部モデルの生成

子安健彦, 天野敏之, 佐藤幸男

電子情報通信学会論文誌 D-2 ( 一般社団法人電子情報通信学会 )  J87-D-2 ( 9 ) 1796 - 1804   2004年09月  [査読有り]

　概要を見る

近年,認証やアミューズメント,医療分野などにおいて人物の顔画像のみならず顔形状の応用が注目されている.しかし,現在実用化されているシステムでは計測時間が長く,表情を意識的に固定する必要があるなど被計測者に対する負担が大きい.そこで,本論文では人間の顔計測を前提とし,顔形状の連続性や反射率の一様性から投影パターン数を削減することで高速な頭部形状計測手法を提案する.具体的には,顔形状の連続性の仮定より空間コード化法における上位ビットのパターン投影を省略し,顔形状の連続性から空間コードの復元を行う.この手法を用いることにより奥行方向の空間分解能が8 bitの形状計測を5回のパターン光投影より実現した.また,顔の反射率がほぼ一様であることから,平均画像比較法と局所的にしきい値を決定することにより相補パターン投影法を用いない2値化を実現した.以上より,従来の相補パターン光投影を用いた空間コード化法を用いた計測システムでは36回のパターン撮影が必要であったのに対し,本システムでは14回のパターン撮影で頭部モデルの取得が可能となった.

Curved document imaging with eye scanner

Toshiyuki Amano, Tsutomu Abe, Osamu Nishikawa, Tetsuo Iyoda, Yukio Sato

Systems and Computers in Japan   35 ( 9 ) 20 - 29   2004年08月

　概要を見る

In conventional document imaging by a copying machine, the item to be copied must be held flat at a specified position. In addition, distortion or blurring can be produced when an object with three-dimensional undulations is imaged. Consequently, we developed a next-generation document imaging device (Eye Scanner) which can image characters or photographs on a curved sheet from an arbitrary viewpoint, without contact and without distortion, by utilizing shape information. This paper gives an outline of the Eye Scanner device and proposes a method of eliminating texture distortion of a curved object imaged from an arbitrary viewpoint. A divided imaging and connection method by using a pan-tilt stage is presented. © 2004 Wiley Periodicals, Inc.

DOI

Image interpolation by high dimensional projection based on subspace method

T Amano

PROCEEDINGS OF THE 17TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION, VOL 4 ( IEEE COMPUTER SOC )    665 - 668   2004年  [査読有り]

　概要を見る

This paper presents a new image interpolation technique for image cracking such as telop character occlusion or picture deterioration. The landscape picture and texture pattern or other natural scenes contain the behavior of the autocorrelation pattern, and a method of image interpolation based on the autocorrelation pattern has been established. This method extracts many local regions from a piece of image and generates a subspace by the image vectors. The subspace limits the freedom of the image description at the local region by the hyperplane restriction in the image vector space. This paper explains for an image interpolation method based on eigen-space and explains the expansion using kernel non-linear projection.

DOI

kBPLP法を用いた高次元非線形射影による画像補間

天野敏之, 佐藤幸男

電子情報通信学会論文誌 D-2 ( 一般社団法人電子情報通信学会 )  J86-D-2 ( 4 ) 525 - 534   2003年04月  [査読有り]

　概要を見る

近年カーネル主成分分析やSupport Vector Machineなどで代表される非線形部分空間法が注目を浴びている.これらの非線形部分空間法は特徴空間上のクラス境界が非線形関数によって表現できる問題について,適切なカーネル関数を用いることによりその分布に適した非線形の部分空間を生成することが可能であり,線形の部分空間よりも低い次元の部分空間でより精度の高いパターン認識を可能とする有効な手法である.本論文ではこの非線形部分空間射影の手法を筆者らが先に提案した固有ベクトル列により張られる超平面を知識とする欠落データの補間手法(BPLP法)に組み込むことにより,高次元の非線形射影を求めるカーネルBPLP法(kBPLP法)を提案する.また,テロップ文字などにより情報の欠落が生じた画像の補間問題にkBPLP法を適用し,BPLP法や他手法の補間結果との比較により本手法の有効性を評価する.

アイスキャナによる湾曲ドキュメント撮影

天野敏之, 安部勉, 西川修, 伊與田哲男, 佐藤幸男

電子情報通信学会論文誌D-II,Vol. J86-D-II , No.3 pp.409–417 ( 一般社団法人電子情報通信学会 )  86 ( 3 ) 409 - 417   2003年03月  [査読有り]

　概要を見る

従来の複写機などによる紙面撮影は,あらかじめ決められた位置に紙面を引き伸ばした状態で配置する必要がある上,立体的な凹凸などがある物体の撮影ではひずみやぼけが生じる問題があった.そこで,我々は次世代のドキュメント撮影装置として,形状情報を用いることにより湾曲した紙面上の文字や写真を,自由視点から非接触でひずみなく撮影する撮影装置(アイスキャナ)を開発した.本論文では,アイスキャナの概要を説明し,自由視点から撮影された湾曲物体上のテクスチャのひずみを取り除く手法を提案する.また,パン・チルトステージによる分割撮影・接合手法について説明する.

固有空間法を用いたBPLPによる画像補間

天野敏之, 佐藤幸男

電子情報通信学会論文誌 D-2 ( 一般社団法人電子情報通信学会 )  J85-D-2 ( 3 ) 457 - 465   2002年03月  [査読有り]

　概要を見る

本論文では,固有空間法を用いた画像補間法により,文字などのテロップを含む1枚の画像のみを用いて文字を補間により消去する手法を提案する.風景画などの画像はフラクタル的な性質があり,画像の自己相関性が仮定できる場合が多い.筆者らはこの点に着目し,欠損を含む1枚の画像のみから固有空間により画像を記述するルールを表現した.このように生成された固有空間は,画像の特徴を反映しており,この固有空間を用いることにより画像補間を実現した.本補間手法はオリジナル画像を復元するものではないが,実験の結果画像の自己相関性が成立する画像については違和感なく補間できることが確認された.

Development of the next generation document reader - Eye scanner

Toshiyuki Amano, Tsutomu Abe, Tetsuo Iyoda, Osamu Nishikawa, Yukio Sato

Proceedings of SPIE - The International Society for Optical Engineering   4669   250 - 258   2002年

　概要を見る

Up to now a copying machine requires setting the document to the copy glass of the designated position. In addition to that, the copying machine of the present cannot copy the non-flat shape document (e.g. books, cylindrical objects, etc.) clearly. Besides, it cannot copy without distortion. So, we propose a next generation's document reader "Eye Scanner". The Eye Scanner is composed of the range finder, digital camera and pan-tilt stage system. Due to these devices the Eye Scanner is possible shape information and high-density texture image acquisition. Therefore the Eye Scanner is able to read the document by the free viewpoint and able to generate the image which is not distorted by the geometric conversion. Moreover, the Eye Scanner has the ability for high-resolution image generation by the digital camera, which placed on the optical coaxial position by the half-mirror. In this paper, we explain about the detail of the system. At the explanation of the methodology we explain the methodology about distortion correction by the free form transformation with shape information and explain about the technique of image merging. At the experiment, we show some result of distortion correction and show the result of image merging. © 2002 SPIE · 0277-786X/02/$15.00.

DOI

次世代ドキュメント撮影装置「アイスキャナ」の試作(映像メディアおよび一般 インターネット, デジタル放送, マルチメディア, 三次元画像, 視覚と画質評価, ITS等)

天野 敏之, 松本 基義, 安部 勉, 伊興田 哲男, 西川 修, 佐藤 幸男

映像情報メディア学会技術報告 ( 一般社団法人 映像情報メディア学会 )  26   31 - 36   2002年

　概要を見る

従来のコピー機などによる紙面撮影は、あらかじめ決められた位置に紙面を引き伸ばした状態で配置する必要があるうえ、立体的な凹凸などがある物体の撮影では、歪みやぼけなどが生じる問題があった。そこで、我々は次世代のドキュメント撮影装置として、形状情報を用いることにより湾曲した紙面上の文字や写真を、自由視点から非接触で歪みなく撮影する撮影装置(アイスキャナ)を開発した。アイスキャナは、レンジファインダ、デジタルカメラ、パン・チルトステージにより構成される。本論文では、アイスキャナの概要を説明し、実験結果にて湾曲したドキュメントの歪み補正および、分割撮影されたドキュメントの接合結果を示す。

DOI

Eigenspace approach for object recognition and its pose detection

Toshiyuki Amano, Akashi Yamaguchi, Seiji Inokuchi

Systems and Computers in Japan   31 ( 11 ) 60 - 69   2000年10月

　概要を見る

Range images are useful data in object recognition and pose detection. Most object recognition and pose detection techniques utilizing range images compare the geometrical features extracted from the range images to geometrical models. However, because of the difficulty in stabilizing feature extraction and the explosion in the matching combinations as the geometric models become complex, the subjects were restricted to geometrically simple objects. Previously, we proposed adapting eigenspace matching to object recognition and pose detection using range images and described eigenspace matching for range images with missing pixels. Since range images directly represent shape, by preparing the shape model of the target recognition object beforehand, virtual range images can be generated on a computer, and the eigenspace can be generated. If multiple range images are combined as the shape model, the cost of acquiring the learning samples, which is a problem in eigenspace matching, can be greatly reduced. In this paper, we focus on reducing the costs of acquiring learning samples for eigenspace matching and apply the eigenspace obtained by virtual learning to an actual range finder to demonstrate its effectiveness.

DOI

距離画像を用いた固有空間法による物体探索

天野敏之, 井口征士

電子情報通信学会論文誌 D-2 ( 一般社団法人電子情報通信学会 )  J83-D-2 ( 2 ) 584 - 592   2000年02月  [査読有り]

　概要を見る

距離画像は, 物体認識・姿勢検出を行う有効なデータである.距離画像を用いた物体認識・姿勢検出手法の多くは, 距離画像から抽出した幾何学的特徴量と幾何モデルとの照合を行っている.しかし, 特徴量の抽出を安定に行うことは困難であることや, 幾何モデルが複雑になると照合の組合せが膨大となることにより, 対象物体は幾何学的に単純な形状の物体に限られていた.我々は先に, 距離画像を用いた物体認識・姿勢検出において固有空間照合を適応することを提案し, 画素欠損を含む距離画像の固有空間照合法を示した.また, 固有空間照合の学習サンプル獲得コストの削減に的を絞って, 仮想的な学習で得られた固有空間を実際のレンジファインダへ応用してその有効性を調べた.本論文では, 仮想平行光学系とターンテーブルにより回転するレンジファインダを組み合せ, 平面上に配置された対象物体の物体認識・位置・姿勢検出への拡張を説明する.

固有空間照合を用いた距離画像の仮想学習による物体認識・姿勢検出

天野敏之, 山口証, 井口征士

, 電子情報通信学会論文誌D-II,Vol. J82-D-II , No.2 pp.250–258 ( 一般社団法人電子情報通信学会 )  82 ( 2 ) 250 - 258   1999年02月  [査読有り]

　概要を見る

距離画像は, 物体認識・姿勢検出を行う上で有効なデータである. 距離画像を用いた物体認識・姿勢検出手法の多くは, 距離画像から抽出した幾何学的特徴量と幾何モデルとの照合を行っている. しかし, 特徴量の抽出を安定に行うことは困難であることや, 幾何モデルが複雑になると照合の組合せが膨大となることにより, 対象物体は幾何学的に単純な形状の物体に限られていた. 我々は先に, 距離画像を用いた物体認識・姿勢検出において固有空間照合を適応することを提案し, 画素欠損を含む距離画像の固有空間照合法を示した. また距離画像は形状を直接表現するため, 認識対象物体の形状モデルをあらかじめ用意することにより計算機上で仮想的に距離画像を生成し, 固有空間を生成することが可能である. このとき, 形状モデルとして数枚の距離画像を組み合わせたものを用いれば, 固有空間照合で問題となる学習サンプル獲得コストを大幅に削減できる. 本論文では, 固有空間照合の学習サンプル獲得コストの削減に的を絞って, 仮想的な学習で得られた固有空間を実際のレンジファインダへ応用してその有効性を調べた.

固有空間照合法に基づく距離画像からの物体の姿勢検出

天野敏之, 日浦慎作, 山口証, 井口征士

電子情報通信学会論文誌 D-2 ( 一般社団法人電子情報通信学会 )  J80-D-2 ( 5 ) 1136 - 1143   1997年05月  [査読有り]

　概要を見る

本論文では, 距離画像を用いた固有空間照合より, 物体の姿勢検出を行う手法を述べる. 従来, 固有空間を用いた画像照合では, 濃淡画像の2次元照合の手法として用いられたが, これを距離画像の2次元照合ヘ応用した. 距離画像の2次元照合に固有空間を応用するにあたり, アクティブレンジファインダによる距離画像計測で生じるオクルージョンや, テクスチャによる反射光量の変化から生じる画素欠損の扱いが問題となる. 欠損画素は距離情報をもたないため, 固有ベクトルとの内積より固有空間へ射影することができない. そこで, 距離画像を用いた固有空間照合を実現するために, 画素欠損に依存しない固有空間照合を用いた姿勢検出手法を提案し, 本手法の有効性を検討する.