SSII2025 [OS2-03] マルチ／ハイパースペクトル領域における高度な画像撮影および処理技術

Transcript

1. マルチ／ハイパースペクトル領域に おける⾼度な画像撮影及び処理技術 国⽴情報学研究所コンテンツ科学研究系特任研究員 ⽯原 慎（Shin Ishihara） OS-2
2. 略歴 • 2014年 群⾺⼯業⾼等専⾨学校 電⼦情報⼯学科卒業 修了 • 2016年 群⾺⼯業⾼等専⾨学校 専攻科 修了 • 2018年 東京⼯業⼤学（現：東京科学⼤学）⼤学院 修⼠課程 修了 • 2021年 東京⼯業⼤学（現：東京科学⼤学）⼤学院 博⼠課程 修了 • 2021年 - 国⽴情報学研究所コンテンツ科学研究系特任研究員 • 2021年 - 2022年 東京藝術⼤学アートイノベーション推進機構特任助⼿（兼任） sishihara@nii.ac.jp
3. スペクトル領域について 引⽤︓ケイエルブイ 光の波⻑：X線〜電波まで 可視域、RGBの枠を超えて、連続的に存在
4. スペクトル領域について 引⽤︓ケイエルブイ RGBからスペクトルへ 紫外線、⾚外線の利⽤ 物理的な性質を利⽤ 時間多重⼿法の波⻑多重への拡張
5. RGBからスペクトルへ • 写実的なレンダリングや物体識別 分光反射率 スペクトル 双⽅向反射率分布関数 BRDF J Dupuy, W Jakob, ACM Transactions on graphics (TOG), 2018
6. RGBからスペクトルへ • 写実的なレンダリングや物体識別 リアルな反射の表現が可能 J Dupuy, W Jakob, ACM Transactions on graphics (TOG), 2018 分光反射率 スペクトル 双⽅向反射率分布関数 BRDF
7. RGBからスペクトルへ • 写実的なレンダリングや物体識別 分光反射率にもとづく鉱物の分類 空撮映像からの植物等の分類 引⽤︓ケイエルブイ
8. RGBからスペクトルへ • ⾷品の検査など にも⽤いられる • 近⾚外線を⽤いて メロン断⾯の 糖度分布を可視化 • 特定波⻑のみの 画像観測も有効 J Sugiyama, Journal of Agricultural and Food Chemistry, 1999 Unripe Partially Ripe Fully Ripe
9. スペクトルカメラの仕組み • 4-16バンド（マルチスペクトル） モザイク状に分光フィルタを配置 分光フィルタを⾼速回転 引⽤：ARGO 引⽤：Salvo Coating 取得したいスペクトルバンド数によって分光⽅法は様々
10. スペクトルカメラの仕組み • 30-100バンド以上（ハイパースペクトル） 回折格⼦＋ラインスキャン ファブリペロー⼲渉による分光フィルタ 引⽤：ARGO 取得したいスペクトルバンド数によって分光⽅法は様々 引⽤：Vision systems design.
11. センシングへの応⽤ • 紫外線、⾚外線を利⽤ • 蛍光発光スペクトルによる識別、⽔による⾚外線の吸収 • 物理的な性質を利⽤ • 反射によるスペクトルの変化、材質屈折率の波⻑依存性 • 時間多重⼿法の波⻑多重への拡張 • 焦点ボケからの深度推定、フォトメトリックステレオ、反射成分分離
12. センシングへの応⽤ • 紫外線、⾚外線を利⽤ • 蛍光発光スペクトルによる識別、⽔による⾚外線の吸収 • 物理的な性質を利⽤ • 反射によるスペクトルの変化、材質屈折率の波⻑依存性 • 時間多重⼿法の波⻑多重への拡張 • 焦点ボケからの深度推定、フォトメトリックステレオ、反射成分分離
13. 紫外線蛍光発光による ⽩⾊顔料の識別・分離 • レオナール・フジタの「乳⽩⾊の肌」：複数の⽩⾊顔料を ⽤いたことは知られているが、その意図は明らかではない レオナール・フジタ《ベッドの上の裸婦と⽝》 1921年，88.8×116.1cm，カンヴァス，ポーラ美術館 引⽤︓Bois de Jasmin ⽯原慎+, ⾊材協会誌, 2025 | ⽯原慎, 化学と⼯業= Chemistry & chemical industry, 2025 | 他プレスリリース等
14. 紫外線蛍光発光による ⽩⾊顔料の識別・分離 • 分光反射スペクトル（左）でもほとんど区別できないが、 紫外線照射下の蛍光発光スペクトル（右）は顔料毎に固有 炭酸カル シウム タルク 硫酸バ リウム 胡粉 炭酸カル シウム タルク 硫酸バ リウム 胡粉 ⽯原慎+, ⾊材協会誌, 2025 | ⽯原慎, 化学と⼯業= Chemistry & chemical industry, 2025 | 他プレスリリース等
15. 紫外線蛍光発光による ⽩⾊顔料の識別・分離 • 実際の絵画でも蛍光発光を観察すると、様々な⾊が⾒えてくる 蛍光発光混合は各成分の和 → 線形分離モデル（NMF）を適⽤ ⽩⾊光源下での⾒え 紫外光源下での⾒え ⽯原慎+, ⾊材協会誌, 2025 | ⽯原慎, 化学と⼯業= Chemistry & chemical industry, 2025 | 他プレスリリース等
16. 紫外線蛍光発光による ⽩⾊顔料の識別・分離 • 分離画像を⾒ると、領域ごとに⾒えてくる成分が異なる 蛍光発光画像 蛍光成分分離 ⽯原慎+, ⾊材協会誌, 2025 | ⽯原慎, 化学と⼯業= Chemistry & chemical industry, 2025 | 他プレスリリース等
17. 紫外線蛍光発光による識別 • 蛍光発光を利⽤したシロップ類、酒類の識別 Y Asano+, Proceedings of the European Conference on Computer Vision (ECCV), 2018
18. 紫外線蛍光発光による識別 • 識別対象のExcitation-Emission Matrix （励起波⻑と発光波⻑の対応）を計測 • 識別対象を最もよく分離可能な 光源の分光分布を機械学習により計算 • 計算された分光分布を持つ光源を照射 カメラ画像からの識別精度を向上 Y Asano+, Proceedings of the European Conference on Computer Vision (ECCV), 2018
19. ⽔による⾚外線の吸収 • 近⾚外域においては、⽔は透明ではなく光を吸収する Y Asano+, Proceedings of the European Conference on Computer Vision (ECCV), 2016 可視光での⾒え 近⾚外線での⾒え
20. ⽔による⾚外線の吸収 • ランベルト・ベールの法則︓媒質による光の吸収を定式化 Y Asano+, Proceedings of the European Conference on Computer Vision (ECCV), 2016 𝛼 𝜆 :⽔による光の吸収スペクトル 可視光 近⾚外線 𝐼 = 𝐼! 𝑒"#$ 𝐼: 媒質通過後の光量 𝐼!: 媒質通過前の光量 𝛼: 吸収係数、𝑙: 媒質⻑ 媒質 𝒍 𝑰𝟎 𝑰
21. ⽔による⾚外線の吸収 • 物体の反射率（⾊）は近⾚外域ではあまり影響しない Y Asano+, Proceedings of the European Conference on Computer Vision (ECCV), 2016 <布> <⽊材> <⾦属> <⽪⾰> 𝛼 𝜆 :⽔による光の吸収スペクトル 可視光 近⾚外線 分光反射率データベース
22. ⽔による⾚外線の吸収 • ２〜３つの近⾚外波⻑画像の輝度⽐から 媒質⻑≒⽔中の対象の形状を取得できる Y Asano+, Proceedings of the European Conference on Computer Vision (ECCV), 2016
23. センシングへの応⽤ • 紫外線、⾚外線を利⽤ • 蛍光発光スペクトルによる識別、⽔による⾚外線の吸収 • 物理的な性質を利⽤ • 反射によるスペクトルの変化、材質屈折率の波⻑依存性 • 時間多重⼿法の波⻑多重への拡張 • 焦点ボケからの深度推定、フォトメトリックステレオ、反射成分分離
24. 反射によるスペクトルの変化 • ⽔に濡れた表⾯の輝度＆スペクトル変化を観察 M Shimano+, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2017 400 500 600 700 800 Wavelength [nm] Intensity (normalized) wet dry dry wet Reflectance Wavelength
25. 反射によるスペクトルの変化 • 濡れることで光がより深部まで到達：表⾯下散乱に似る M Shimano+, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2017 Dry Wet
26. 反射によるスペクトルの変化 • 表⾯下散乱によってスペクトルの形状が変化 M Shimano+, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2017 H Okawa+, Asian Conference on Computer Vision (ACCV) 2016 Red: Direct Green: Indirect Input Image ≒ 相互反射によるスペクトル形状変化に類似
27. 反射によるスペクトルの変化 • 光の振る舞いをモデル化、スペクトルから濡れ度合いを推定 M Shimano+, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2017 Wetness Scene Surface Color
28. 材質屈折率の波⻑依存性 • 光は媒質（空気、⽔、ガラスなど）の境界で屈折する S Ishihara+, International Conference on 3D Vision (3DV), 2020 𝒑𝟏 𝒘 𝒗𝟏 𝒒𝟏 𝒏 𝒍𝟏 Refractive Index: 𝑘(𝜆) Air Water Sensor
29. 材質屈折率の波⻑依存性 • 材質ごとに固有の屈折率を持ち、光の波⻑によっても異なる S Ishihara+, International Conference on 3D Vision (3DV), 2020 𝒑𝟑 𝒑𝟐 𝒑𝟏 𝒘 𝒗𝟏 𝒗𝟐 𝒗𝟑 𝒒𝟏 𝒒𝟐 𝒒𝟑 𝒏 𝒍𝟏 𝒍𝟐 𝒍𝟑 Refractive Index: 𝑘(𝜆) Air Water Sensor
30. 材質屈折率の波⻑依存性 • 異なる波⻑の２画像間で 屈折率差に応じたシフトが⽣じる S Ishihara+, International Conference on 3D Vision (3DV), 2020 𝒑𝟑 𝒑𝟐 𝒑𝟏 𝒘 𝒗𝟏 𝒗𝟐 𝒗𝟑 𝒒𝟏 𝒒𝟐 𝒒𝟑 𝒏 𝒍𝟏 𝒍𝟐 𝒍𝟑 Refractive Index: 𝑘(𝜆) Air Water Sensor 𝑘 = 1.34 𝑘 = 1.33
31. 材質屈折率の波⻑依存性 • ３〜６波⻑の画像から⽔⾯形状と⽔中物体の形状を推定 S Ishihara+, International Conference on 3D Vision (3DV), 2020 Underwater Scene Scene Camera View Water Surface Scene Camera View CG 実物
32. センシングへの応⽤ • 紫外線、⾚外線を利⽤ • 蛍光発光スペクトルによる識別、⽔による⾚外線の吸収 • 物理的な性質を利⽤ • 反射によるスペクトルの変化、材質屈折率の波⻑依存性 • 時間多重⼿法の波⻑多重への拡張 • 焦点ボケからの深度推定、フォトメトリックステレオ、反射成分分離
33. 焦点ボケからの深度推定 • Depth from Defocus：焦点ボケはシーン点の深度と関係 焦点ボケのことなる複数枚の画像から深度を推定 S Ishihara+, Journal of the Optical Society of America A, 2021 ⼊⼒画像１ ⼊⼒画像２ Lens Sensor 𝜇) 𝐷𝑒𝑝𝑡ℎ 𝑍 Object 𝜎 𝜆: 𝑤𝑎𝑣𝑒𝑙𝑒𝑛𝑔𝑡ℎ
34. 焦点ボケからの深度推定 • イメージングレンズによる集光も屈折を利⽤ 波⻑ごとに屈折率が異なる：焦点距離が変化 S Ishihara+, Journal of the Optical Society of America A, 2021 𝜆 = 450𝑛𝑚 𝜆 = 650𝑛𝑚 Lens Sensor 𝜇) 𝐷𝑒𝑝𝑡ℎ 𝑍 Object 𝜎(𝜆) 𝑓(𝜆) 𝜆: 𝑤𝑎𝑣𝑒𝑙𝑒𝑛𝑔𝑡ℎ
35. 焦点ボケからの深度推定 • 空間⽅向の微分Δ𝐼と波⻑⽅向の微分𝜕* 𝐼を ⽤いて深度𝑍について定式化 S Ishihara+, Journal of the Optical Society of America A, 2021 Lens Sensor 𝜇) 𝐷𝑒𝑝𝑡ℎ 𝑍 Object 𝜎(𝜆) 𝑓(𝜆) 𝜆: 𝑤𝑎𝑣𝑒𝑙𝑒𝑛𝑔𝑡ℎ Δ𝐼 = Δ𝑘 ∗ 𝑃 = 𝜕"𝑘 𝛾#𝜎𝜕"𝜎 ∗ 𝑃 = 𝜕"𝐼 𝛾#𝜎𝜕"𝜎 𝑍 = 𝛼 𝜆 Δ𝐼 𝛽 𝜆 Δ𝐼 − 𝜕" 𝐼 𝜎 𝜆 = 1 𝑍 − 1 𝑓 𝜆 𝜇$ + 1
36. 焦点ボケからの深度推定 • ３〜６波⻑の画像から距離推定＋ボケの除去 S Ishihara+, Journal of the Optical Society of America A, 2021 Scene Input Depth 450nm 650nm
37. フォトメトリックステレオ • 異なる位置の光源下で撮影された画像（３枚〜）の 陰影の変化から、対象の表⾯法線を推定 S Ishihara+, IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2025 𝒏 (𝑛%, 𝑛&, 𝑛') 𝐼! = 𝛼𝒏 % 𝒍𝒌 𝐼(: 𝑘-th input image | 𝛼: albedo | 𝒏: surface normal | 𝒍𝒌: direction of 𝑘-th light Time multiplexing
38. フォトメトリックステレオ • 光源をそれぞれ波⻑の異なるものに置き換えると ⼀枚のスペクトル画像でチャンネル毎に陰影が変化 S Ishihara+, IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2025 𝒏 (𝑛%, 𝑛&, 𝑛') 𝐼# = 𝑟 𝜆 𝒏 % 𝒍𝝀 Spectral multiplexing 𝐼": input spectral image | 𝒓 𝝀 : spectral reflectance | 𝒍𝝀: direction of spectral light ※ill-posed
39. フォトメトリックステレオ Key Idea 1: 光源配置のデザイン Key Idea 2: 分光反射率の仮定 S Ishihara+, IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2025 Linearly Dependent 1 2 3 4 5 Linearly Independent 6 7 Subsets 𝑟 𝜆 → Δ𝑟𝜆 + 𝐶
40. フォトメトリックステレオ • ⾊の境界が不明確なシーン、鏡⾯反射を含むシーンにも対応 S Ishihara+, IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2025
41. プロジェクタカメラシステム による反射成分の分離 • パターン投影により反射成分を制御し、 ２〜２０枚以上の画像から成分を分離 SK Nayar+, ACM SIGGRAPH 2006 直接反射成分 間接反射成分 シーンの反射成分 パターンによる反射成分制御
42. プロジェクタカメラシステム による反射成分の分離 • リアリティの⾼い肌を再現するためには、多くの成分が必要 A Ghosh+, ACM SIGGRAPH Asia 2008 鏡⾯反射 拡散反射 浅い散乱 深い散乱 CG画像 写真 このような対象を扱う技術も開発中
43. センシングへの応⽤ • 紫外線、⾚外線を利⽤ • 蛍光発光スペクトルによる識別、⽔による⾚外線の吸収 • 物理的な性質を利⽤ • 反射によるスペクトルの変化、材質屈折率の波⻑依存性 • 時間多重⼿法の波⻑多重への拡張 • 焦点ボケからの深度推定、フォトメトリックステレオ、反射成分分離