Comments
Description
Transcript
当日配布資料（2.84MB）
色つき点群データの透過効果問題と 遠近問題を高速に解決する技術 芝浦工業大学 工学部 土木工学科 准教授 中川 雅史 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 色つき点群データの透過効果問題と遠近問題を高速に解決する技術 点群データとは 従来技術とその問題点 新技術の特徴・従来技術との比較 想定される用途 実用化に向けた課題 企業への期待 本技術に関する知的財産権，問合せ先 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 点群（Point cloud）とは 実空間に存在する物・環境・人を，3Dセンサによって その表面形状を取得した「3D点の座標の集まり」のデータ 点群を構成する各点は， 三次元座標値 (x,y,z)で 定義される Laser scanner （LiDAR） 物体表面の位置・形状を表す （計測できない物体内部は表現しない） 色つき点群 サンプルデータ ・レーザースキャナ＋カメラ で，点に彩色可能 or ・ステレオカメラ ＝ 色つき点群 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 点群（Point cloud）とは 実空間に存在する物・環境・人を，3Dセンサによって その表面形状を取得した「3D点の座標の集まり」のデータ レーザースキャナやステレオカメラ等で 取得できる（数万円～数千万円） 高額すぎて購入できる 企業や大学が少なかった Laser scanner （LiDAR） SHIBAURA INSTITUTE OF TECHNOLOGY 最近は，安価なセンサが 多く販売されている NAKAGAWA Masafumi : [email protected] 色つき点群データの透過効果問題と遠近問題を高速に解決する技術 点群データとは 従来技術とその問題点 新技術の特徴・従来技術との比較 想定される用途 実用化に向けた課題 企業への期待 本技術に関する知的財産権，問合せ先 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 点群処理における課題 一般的な点群処理の 流れ 比較的簡単 ソフトウェア ハードウェア データ取得 比較的簡単 AR 可視化 マッピング 位置合わせ BIM/CIM 3Dモデリング 3Dプリント ニーズ 実質的な手作業が多く大変 内容改善のキーワード ハードウェアとニーズは充実してきたが， ソフトウェアがなかなか追い付いていない SHIBAURA INSTITUTE OF TECHNOLOGY レンダリング クラスタリング 抽象化 NAKAGAWA Masafumi : [email protected] 従来技術 点から面への変換 点群はそのままレンダリングすることが可能 しかし，各種の3D処理には適さないことが多い 点形式 - ドロネー三角形分割 - アルファシェイプ法 変換 面形式 - ポリゴン 不整三角網のメッシュ（TIN） 非一様有理Bスプライン曲面（NURBS） CADモデル など SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 点群データの自動処理のためのアプローチ（従来技術 その1） 点群データ取得→3Dモデリング→レンダリング - 3D Delaunay × メモリ浪費，処理量が莫大 × 「滑らかなエッジ」問題 - Random Sample Consensus (RANSAC) × メモリ浪費，処理量が莫大 × 「シードポイント」問題 × 面の表裏を判定が困難 - Marching cube, Voxel modeling, … × メモリ浪費，処理量が莫大 × 内外判定には，ポリゴンの穴を埋める作業が必要 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 点群データの自動処理のためのアプローチ（従来技術 その2） レンジ画像上でのサーフェスモデリング（スケッチ） An Interactive 3D Modeling System Based on Dense Point-Cloud θ φ Projection Mercator projection Perspective projection ○ 3Dモデリングが容易 Rapid mesh modeling × 視点制約 連動 画像 (スケッチ) Viewpoint = Scanning position モデリング SHIBAURA INSTITUTE OF TECHNOLOGY × 任意視点からのスケッチは困難 Near-far problem, Transparent effect NAKAGAWA Masafumi : [email protected] 一般的なポイントベースドレンダリング 透過効果問題と遠近問題 Rendered point cloud from a viewpoint (Visualization quality depends on a viewpoint) Occlusion “Far” from a viewpoint ＝ Dense points “Near” from a viewpoint ＝ Sparse points 遠近問題 透過効果問題 Caused by rendering hidden points among near-side points Caused by distance differences from the viewpoint to scanned points 任意視点からのスケッチは困難 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 色つき点群データの透過効果問題と遠近問題を高速に解決する技術 点群データとは 従来技術とその問題点 新技術の特徴・従来技術との比較 想定される用途 実用化に向けた課題 企業への期待 本技術に関する知的財産権，問合せ先 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 新技術の特徴・従来技術との比較 点群処理の課題 ・大規模データであるため扱いづらい ・遠近問題と透過効果問題 メッシュモデリングにより可視化を実現 × 手作業（修正作業）が多い × 自動処理コストが極めて大きい × 大規模データへの対応が困難 従来技術とその問題点 点群データ取得→3Dモデリング→レンダリング × × × × レンジ画像上でのサーフェスモデリング（スケッチ） × 視点制約 × 任意視点からスケッチは困難 - 3D Delaunay - Random Sample Consensus (RANSAC) - Marching cube, Voxel modeling, … 新技術の特徴 点群データ取得→レンダリング→3Dモデリング ポイントベースドレンダリング技術 ＋空間フィルタリング技術 ○ ○ ○ ○ メモリ浪費，処理量が莫大 「滑らかなエッジ」問題 「シードポイント」問題 面の表裏を判定が困難 ノートPCレベルで処理可 面の表裏判定が容易 任意視点からのスケッチ可 汎用性高 「多視点2D画像処理を適用し，精度を落とさず，点群処理を軽くする技術」 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 成果の概要（1） 遠近問題と透過効果の同時解消（建物データへの適用） 遠近問題 “Near” from a viewpoint＝ Sparse points “Far” from a viewpoint ＝ Dense points 透過効果問題 Hidden points are visible among near-side points INPUT（colored points） OUTPUT（colored points ） Side looking SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 成果の概要（2） 遠近問題と透過効果の同時解消（屋内外データへの適用） INPUT（colored points） 遠近問題 “Near” from a viewpoint＝ Sparse points “Far” from a viewpoint ＝ Dense points 透過効果問題 Hidden points are visible among near-side points OUTPUT（colored points ） Side looking SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] Panoramic layered range image Point cloud projection in Layered image Cylindrical, Spherical, Cubic model, etc.. From 3D space to panoramic image space Measured point (X,Y,Z), (R,G,B), (Intensity) Azimuth→ Projected point (X,Y,Z), (R,G,B), (Intensity) Elevation ↑ ↓ Panorama model Point cloud to range image (layered range image) SHIBAURA INSTITUTE OF TECHNOLOGY Multi-layered range image ・Simplify viewpoint translation ・Simplify filtering ・Simplify visualization NAKAGAWA Masafumi : [email protected] Pixel-selectable averaging filter using distance values Point cloud interpolation 遠近問題の推定 Real surface Xo P2 Ro “Near” from a viewpoint＝ Sparse points “Far” from a viewpoint ＝ Dense points P1 P3 Pnew1 P4 No data space P5 P6 Range data P9 Rt Xt Generate a new point Pnew* SHIBAURA INSTITUTE OF TECHNOLOGY Pnew2 P10 P8 P7 透過効果問題の推定 Hidden points are visible among near-side points NAKAGAWA Masafumi : [email protected] 自然物・人工物へ同時に適用可能 Part of the point cloud image after a viewpoint translation Part of the point cloud image after a filtering SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] オリジナルデータ以上の画質で点群表示が可能 Original point cloud Spatial resolution: 0.02 [deg] SHIBAURA INSTITUTE OF TECHNOLOGY Enhanced point cloud NAKAGAWA Masafumi : [email protected] 新技術の特徴のまとめ 従来技術 新技術 × 手作業（修正作業）が多い × 自動処理コストが極めて大きい × 大規模データへの対応が困難 ○ ほとんど自動化 ○ 自動処理コストが小さい ○ 大規模データへ対応済み そのほかの特徴 - 手作業で作成されるCADやCGと比較して高臨場感な映像（3D座標値付き） （実測データを直接扱い，情報劣化もほとんどないため） - 短期間かつ低コストで点群処理可能 （モデリング＆テクスチャマッピング作業が不要なため） - すでに，測量分野から有用性に関する評価をいただいている 測量・地理空間情報技術奨励賞，2014 応用測量 論文奨励賞，2013 宮地杭一記念賞，芝浦工業大学，“測量技術の高度化”，2012 日本写真測量学会 学会奨励賞，2011 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 色つき点群データの透過効果問題と遠近問題を高速に解決する技術 点群データとは 従来技術とその問題点 新技術の特徴・従来技術との比較 想定される用途 実用化に向けた課題 企業への期待 本技術に関する知的財産権，問合せ先 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 想定される用途 現在の「点群の応用分野」＋「一般向けの応用」 製造（自動車，造船，食品など） 測量，地理情報システム（GIS） 部品設計 数値標高モデル（DEM）の生成 品質管理 3D地図の生成 工業検査 部品の3次元CADモデル作成 3Dアニメーション（CG作成支援） 3Dシミュレーション 3Dプリント ロボット 自律移動ロボット SHIBAURA INSTITUTE OF TECHNOLOGY 土木 台帳作成，CIM全般 建築 BIM全般 文化財 文化財の記録，損壊状況の把握 医療 医用画像処理での活用 NAKAGAWA Masafumi : [email protected] 色つき点群データの透過効果問題と遠近問題を高速に解決する技術 点群データとは 従来技術とその問題点 新技術の特徴・従来技術との比較 想定される用途 実用化に向けた課題 企業への期待 本技術に関する知的財産権，問合せ先 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 現状の点群処理技術（商業ベース） ここまでの処理で， このようなデータ ＝エンドユーザーがデータを 十分に利活用しづらい 「CG」な 建築・景観・ 考古 地形図 3D点群 計測 不規則なノイズ 膨大なデータ量 が課題 が課題 間引き ノイズ 除去 3D モデリング だいたいの中小企業でも 「自動処理」ができる （と言われている） SHIBAURA INSTITUTE OF TECHNOLOGY CG可視化 工業計測 半自動（大幅な手編集が必要） ・時間がかかる ・「CG」的な品質が限界 NAKAGAWA Masafumi : [email protected] ビジネス的有用性&従来技術と比した優位性 複雑な計測対象でも，リアルに高速処理できる3D点群レンダリング 企業 （半自動） 測量コンサル，中小サービス業 N社（ただし，製品検査用） 3D点群 計測 ソフトウェアS ソフトウェアL ソフトウェアP，ソフトウェアR ソフトウェア 企業 （自動処理） CG制作会社 K社，T社 不規則なノイズ 膨大なデータ量 が課題 が課題 間引き G社 手動編集が課題 3Dスキャナベンダ ノイズ 除去 単純な直線・曲面で描きづらい物体を 「3D画像」として扱える（完全自動処理で） 「CG」な 建築・景観・ 考古 地形図 高性能なソフト＆GPUが必須 3D モデリング 3D点群 レンダリング CG可視化 工業計測 2D画像上で3D計測も可能 CAD計測 精度を落とさない T社 視点移動の再現はできない．複雑な空間補間処理 G社 このレベルの自動化を芝浦工大発で可能 「実写」な 工業・建築・ 景観・考古・ 地形 ソフトウェア開発と比較して，ハードウェア開発が大幅に先行している背景があるため→ SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 想定される業務体制 オンデマンドサービスによって，高速自動処理の恩恵を低リスクで最大化可 取り込める ユーザー数 ①計測サービス 国内展開 ・上流から下流までをカバー ・ユーザー：測量，工業計測，文化財，建設，・・・ ・国内に中小企業が複数あり 必要 単価 大 開発 コスト 大 営業 コスト 縄張り 大 リスク 大 5000万円～ 特にセンサ費 サポートセンター の充実 ・点群データ処理ソフトそのものを販売 ・ユーザー：測量，工業計測，文化財，建設， ・・・ ・海外企業が国内より多い ・既存ビューワへのプラグイン販売 ・IE，Opera，Firefox，・・・ ・iPad，スマホ，・・・ ・3D studio, Autocad,・・・ 初期 投資額 関連？ ②ソフトウェア販売 ③プラグイン販売 維持 コス ト 海外展開 可能 ④オンデマンドサービス ・ユーザーがデータをUpload，処理結果をDL ・論文校正サービスのようなイメージ ・衛星画像処理で前例あり（無料サービス） ・無人化された24時間業務 ・最低限の機材投資 ・発注の敷居が低い SHIBAURA INSTITUTE OF TECHNOLOGY 小 小 ユーザー数×単価＝売上 小 隙間度が 大 100万円～ はそれほど変わらない？ NAKAGAWA Masafumi : [email protected] 実用化に向けた課題 論文化しにくい領域は未実施 ○ ○ △ ？ × × 点群処理について大幅な自動化が可能なところまで開発済み 航空（ALS）・車載（MMS）・地上計測による実データで検証済み BIM/CIMへの新技術提案（論文をいくつか発表済み） IFCへの対応（IFCの動き方次第） 高速化のチューニング 「超」大規模データ処理の未実施 現在の実績：10億点（一般的な大規模データ） オンデマンドサービス化 ・ユーザーがデータをUpload，処理結果をDL ・論文校正サービスのようなイメージ ・衛星画像処理で前例あり（無料サービス） ・無人化された24時間業務 ・最低限の機材投資 ・発注の敷居が低い SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 色つき点群データの透過効果問題と遠近問題を高速に解決する技術 点群データとは 従来技術とその問題点 新技術の特徴・従来技術との比較 想定される用途 実用化に向けた課題 企業への期待 本技術に関する知的財産権，問合せ先 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 企業への期待 多様な実施例の蓄積→冗長性の検証→分野横断領域での展開 What 3Dデータ処理 支援 How Webサービス Who 発明者，芝浦生 企業 When 2014年度～ 点群活用の 高度化 Why 3Dサービスの 普及 How much 資本金 100万円～可 Where どこでも可 Whom 建設，環境，工業， 一般ユーザー 強み 弱み 業務の24h化 セキュリティ 機会 脅威 業務の無人化 市場拡大 営業力 データ量の増大 - BIM/CIMの技術を持つ，企業との共同研究を希望 - 建設分野以外にも適用可能 - すでに点群処理に課題があると考えている場合は，本技術の導入が有効 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 色つき点群データの透過効果問題と遠近問題を高速に解決する技術 点群データとは 従来技術とその問題点 新技術の特徴・従来技術との比較 想定される用途 実用化に向けた課題 企業への期待 本技術に関する知的財産権，問合せ先 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 色つき点群データの透過効果問題と遠近問題を高速に解決する技術 本技術に関する知的財産権 発明の名称 ：他視点閉曲面画素値補正装置，他視点閉曲面画素値補正 方法，利用者位置情報出力装置，利用者位置情報出力方法 出願番号 出願人 発明者 ：特願2010-172948 ：芝浦工業大学 ：中川雅史，黒木雅人 問い合わせ先 芝浦工業大学 工学部土木工学科 中川 雅史 [email protected] 産学官連携・研究支援課 片野 陽子 [email protected] TEL：03-5859-7180，FAX：03-5859-7181 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected]