...

当日配布資料(2.84MB)

by user

on
Category: Documents
18

views

Report

Comments

Transcript

当日配布資料(2.84MB)
色つき点群データの透過効果問題と
遠近問題を高速に解決する技術
芝浦工業大学 工学部 土木工学科
准教授 中川 雅史
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
色つき点群データの透過効果問題と遠近問題を高速に解決する技術
点群データとは
従来技術とその問題点
新技術の特徴・従来技術との比較
想定される用途
実用化に向けた課題
企業への期待
本技術に関する知的財産権,問合せ先
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
点群(Point cloud)とは
実空間に存在する物・環境・人を,3Dセンサによって
その表面形状を取得した「3D点の座標の集まり」のデータ
点群を構成する各点は,
三次元座標値 (x,y,z)で
定義される
Laser scanner
(LiDAR)
物体表面の位置・形状を表す
(計測できない物体内部は表現しない)
色つき点群 サンプルデータ
・レーザースキャナ+カメラ
で,点に彩色可能
or
・ステレオカメラ
= 色つき点群
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
点群(Point cloud)とは
実空間に存在する物・環境・人を,3Dセンサによって
その表面形状を取得した「3D点の座標の集まり」のデータ
レーザースキャナやステレオカメラ等で
取得できる(数万円~数千万円)
高額すぎて購入できる
企業や大学が少なかった
Laser scanner
(LiDAR)
SHIBAURA INSTITUTE OF TECHNOLOGY
最近は,安価なセンサが
多く販売されている
NAKAGAWA Masafumi : [email protected]
色つき点群データの透過効果問題と遠近問題を高速に解決する技術
点群データとは
従来技術とその問題点
新技術の特徴・従来技術との比較
想定される用途
実用化に向けた課題
企業への期待
本技術に関する知的財産権,問合せ先
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
点群処理における課題
一般的な点群処理の
流れ
比較的簡単
ソフトウェア
ハードウェア
データ取得
比較的簡単
AR
可視化
マッピング
位置合わせ
BIM/CIM
3Dモデリング
3Dプリント
ニーズ
実質的な手作業が多く大変
内容改善のキーワード
ハードウェアとニーズは充実してきたが,
ソフトウェアがなかなか追い付いていない
SHIBAURA INSTITUTE OF TECHNOLOGY
レンダリング
クラスタリング
抽象化
NAKAGAWA Masafumi : [email protected]
従来技術
点から面への変換
点群はそのままレンダリングすることが可能
しかし,各種の3D処理には適さないことが多い
点形式
- ドロネー三角形分割
- アルファシェイプ法
変換
面形式
-
ポリゴン
不整三角網のメッシュ(TIN)
非一様有理Bスプライン曲面(NURBS)
CADモデル
など
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
点群データの自動処理のためのアプローチ(従来技術 その1)
点群データ取得→3Dモデリング→レンダリング
- 3D Delaunay
× メモリ浪費,処理量が莫大
× 「滑らかなエッジ」問題
- Random Sample Consensus (RANSAC)
× メモリ浪費,処理量が莫大
× 「シードポイント」問題
× 面の表裏を判定が困難
- Marching cube, Voxel modeling, …
× メモリ浪費,処理量が莫大
× 内外判定には,ポリゴンの穴を埋める作業が必要
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
点群データの自動処理のためのアプローチ(従来技術 その2)
レンジ画像上でのサーフェスモデリング(スケッチ)
An Interactive 3D Modeling System Based on Dense Point-Cloud
θ
φ
Projection
Mercator projection
Perspective projection
○ 3Dモデリングが容易
Rapid mesh modeling
× 視点制約
連動
画像 (スケッチ)
Viewpoint = Scanning position
モデリング
SHIBAURA INSTITUTE OF TECHNOLOGY
× 任意視点からのスケッチは困難
Near-far problem, Transparent effect
NAKAGAWA Masafumi : [email protected]
一般的なポイントベースドレンダリング
透過効果問題と遠近問題
Rendered point cloud from a viewpoint
(Visualization quality depends on a viewpoint)
Occlusion
“Far” from a viewpoint
= Dense points
“Near” from a viewpoint
= Sparse points
遠近問題
透過効果問題
Caused by rendering hidden points
among near-side points
Caused by distance differences
from the viewpoint to scanned points
任意視点からのスケッチは困難
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
色つき点群データの透過効果問題と遠近問題を高速に解決する技術
点群データとは
従来技術とその問題点
新技術の特徴・従来技術との比較
想定される用途
実用化に向けた課題
企業への期待
本技術に関する知的財産権,問合せ先
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
新技術の特徴・従来技術との比較
点群処理の課題
・大規模データであるため扱いづらい
・遠近問題と透過効果問題
メッシュモデリングにより可視化を実現
× 手作業(修正作業)が多い
× 自動処理コストが極めて大きい
× 大規模データへの対応が困難
従来技術とその問題点
点群データ取得→3Dモデリング→レンダリング
×
×
×
×
レンジ画像上でのサーフェスモデリング(スケッチ)
× 視点制約
× 任意視点からスケッチは困難
- 3D Delaunay
- Random Sample Consensus (RANSAC)
- Marching cube, Voxel modeling, …
新技術の特徴
点群データ取得→レンダリング→3Dモデリング
ポイントベースドレンダリング技術
+空間フィルタリング技術
○
○
○
○
メモリ浪費,処理量が莫大
「滑らかなエッジ」問題
「シードポイント」問題
面の表裏を判定が困難
ノートPCレベルで処理可
面の表裏判定が容易
任意視点からのスケッチ可
汎用性高
「多視点2D画像処理を適用し,精度を落とさず,点群処理を軽くする技術」
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
成果の概要(1)
遠近問題と透過効果の同時解消(建物データへの適用)
遠近問題
“Near” from a viewpoint= Sparse points
“Far” from a viewpoint = Dense points
透過効果問題
Hidden points are visible
among near-side points
INPUT(colored points)
OUTPUT(colored
points )
Side looking
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
成果の概要(2)
遠近問題と透過効果の同時解消(屋内外データへの適用)
INPUT(colored points)
遠近問題
“Near” from a viewpoint= Sparse points
“Far” from a viewpoint = Dense points
透過効果問題
Hidden points are visible
among near-side points
OUTPUT(colored points )
Side looking
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
Panoramic layered range image
Point cloud projection in Layered image
Cylindrical, Spherical, Cubic model, etc..
From 3D space to panoramic image space
Measured point
(X,Y,Z),
(R,G,B),
(Intensity)
Azimuth→
Projected point
(X,Y,Z),
(R,G,B),
(Intensity)
Elevation
↑
↓
Panorama model
Point cloud to range image
(layered range image)
SHIBAURA INSTITUTE OF TECHNOLOGY
Multi-layered range image
・Simplify viewpoint translation
・Simplify filtering
・Simplify visualization
NAKAGAWA Masafumi : [email protected]
Pixel-selectable averaging filter using distance values
Point cloud interpolation
遠近問題の推定
Real surface
Xo
P2
Ro
“Near” from a viewpoint= Sparse points
“Far” from a viewpoint = Dense points
P1
P3
Pnew1
P4
No data space
P5
P6
Range
data
P9
Rt
Xt
Generate a new point Pnew*
SHIBAURA INSTITUTE OF TECHNOLOGY
Pnew2
P10
P8
P7
透過効果問題の推定
Hidden points are visible
among near-side points
NAKAGAWA Masafumi : [email protected]
自然物・人工物へ同時に適用可能
Part of the point cloud image
after a viewpoint translation
Part of the point cloud image
after a filtering
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
オリジナルデータ以上の画質で点群表示が可能
Original point
cloud
Spatial resolution:
0.02 [deg]
SHIBAURA INSTITUTE OF TECHNOLOGY
Enhanced point
cloud
NAKAGAWA Masafumi : [email protected]
新技術の特徴のまとめ
従来技術
新技術
× 手作業(修正作業)が多い
× 自動処理コストが極めて大きい
× 大規模データへの対応が困難
○ ほとんど自動化
○ 自動処理コストが小さい
○ 大規模データへ対応済み
そのほかの特徴
- 手作業で作成されるCADやCGと比較して高臨場感な映像(3D座標値付き)
(実測データを直接扱い,情報劣化もほとんどないため)
- 短期間かつ低コストで点群処理可能
(モデリング&テクスチャマッピング作業が不要なため)
- すでに,測量分野から有用性に関する評価をいただいている
測量・地理空間情報技術奨励賞,2014
応用測量 論文奨励賞,2013
宮地杭一記念賞,芝浦工業大学,“測量技術の高度化”,2012
日本写真測量学会 学会奨励賞,2011
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
色つき点群データの透過効果問題と遠近問題を高速に解決する技術
点群データとは
従来技術とその問題点
新技術の特徴・従来技術との比較
想定される用途
実用化に向けた課題
企業への期待
本技術に関する知的財産権,問合せ先
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
想定される用途
現在の「点群の応用分野」+「一般向けの応用」
製造(自動車,造船,食品など)
測量,地理情報システム(GIS)
部品設計
数値標高モデル(DEM)の生成
品質管理
3D地図の生成
工業検査
部品の3次元CADモデル作成
3Dアニメーション(CG作成支援)
3Dシミュレーション
3Dプリント
ロボット
自律移動ロボット
SHIBAURA INSTITUTE OF TECHNOLOGY
土木
台帳作成,CIM全般
建築
BIM全般
文化財
文化財の記録,損壊状況の把握
医療
医用画像処理での活用
NAKAGAWA Masafumi : [email protected]
色つき点群データの透過効果問題と遠近問題を高速に解決する技術
点群データとは
従来技術とその問題点
新技術の特徴・従来技術との比較
想定される用途
実用化に向けた課題
企業への期待
本技術に関する知的財産権,問合せ先
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
現状の点群処理技術(商業ベース)
ここまでの処理で,
このようなデータ
=エンドユーザーがデータを
十分に利活用しづらい
「CG」な
建築・景観・
考古
地形図
3D点群
計測
不規則なノイズ
膨大なデータ量 が課題
が課題
間引き
ノイズ
除去
3D
モデリング
だいたいの中小企業でも
「自動処理」ができる
(と言われている)
SHIBAURA INSTITUTE OF TECHNOLOGY
CG可視化
工業計測
半自動(大幅な手編集が必要)
・時間がかかる
・「CG」的な品質が限界
NAKAGAWA Masafumi : [email protected]
ビジネス的有用性&従来技術と比した優位性
複雑な計測対象でも,リアルに高速処理できる3D点群レンダリング
企業
(半自動)
測量コンサル,中小サービス業
N社(ただし,製品検査用)
3D点群
計測
ソフトウェアS
ソフトウェアL
ソフトウェアP,ソフトウェアR
ソフトウェア
企業
(自動処理)
CG制作会社
K社,T社
不規則なノイズ
膨大なデータ量 が課題
が課題
間引き
G社
手動編集が課題
3Dスキャナベンダ
ノイズ
除去
単純な直線・曲面で描きづらい物体を
「3D画像」として扱える(完全自動処理で)
「CG」な
建築・景観・
考古
地形図
高性能なソフト&GPUが必須
3D
モデリング
3D点群
レンダリング
CG可視化
工業計測
2D画像上で3D計測も可能
CAD計測
精度を落とさない
T社
視点移動の再現はできない.複雑な空間補間処理
G社
このレベルの自動化を芝浦工大発で可能
「実写」な
工業・建築・
景観・考古・
地形
ソフトウェア開発と比較して,ハードウェア開発が大幅に先行している背景があるため→
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
想定される業務体制
オンデマンドサービスによって,高速自動処理の恩恵を低リスクで最大化可
取り込める
ユーザー数
①計測サービス
国内展開
・上流から下流までをカバー
・ユーザー:測量,工業計測,文化財,建設,・・・
・国内に中小企業が複数あり
必要
単価
大
開発
コスト
大
営業
コスト
縄張り
大
リスク
大
5000万円~
特にセンサ費
サポートセンター
の充実
・点群データ処理ソフトそのものを販売
・ユーザー:測量,工業計測,文化財,建設, ・・・
・海外企業が国内より多い
・既存ビューワへのプラグイン販売
・IE,Opera,Firefox,・・・
・iPad,スマホ,・・・
・3D studio, Autocad,・・・
初期
投資額
関連?
②ソフトウェア販売
③プラグイン販売
維持
コス
ト
海外展開
可能
④オンデマンドサービス
・ユーザーがデータをUpload,処理結果をDL
・論文校正サービスのようなイメージ
・衛星画像処理で前例あり(無料サービス)
・無人化された24時間業務
・最低限の機材投資 ・発注の敷居が低い
SHIBAURA INSTITUTE OF TECHNOLOGY
小
小
ユーザー数×単価=売上
小
隙間度が
大
100万円~
はそれほど変わらない?
NAKAGAWA Masafumi : [email protected]
実用化に向けた課題
論文化しにくい領域は未実施
○
○
△
?
×
×
点群処理について大幅な自動化が可能なところまで開発済み
航空(ALS)・車載(MMS)・地上計測による実データで検証済み
BIM/CIMへの新技術提案(論文をいくつか発表済み)
IFCへの対応(IFCの動き方次第)
高速化のチューニング
「超」大規模データ処理の未実施
現在の実績:10億点(一般的な大規模データ)
オンデマンドサービス化
・ユーザーがデータをUpload,処理結果をDL
・論文校正サービスのようなイメージ
・衛星画像処理で前例あり(無料サービス)
・無人化された24時間業務
・最低限の機材投資 ・発注の敷居が低い
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
色つき点群データの透過効果問題と遠近問題を高速に解決する技術
点群データとは
従来技術とその問題点
新技術の特徴・従来技術との比較
想定される用途
実用化に向けた課題
企業への期待
本技術に関する知的財産権,問合せ先
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
企業への期待
多様な実施例の蓄積→冗長性の検証→分野横断領域での展開
What
3Dデータ処理
支援
How
Webサービス
Who
発明者,芝浦生
企業
When
2014年度~
点群活用の
高度化
Why
3Dサービスの
普及
How much
資本金
100万円~可
Where
どこでも可
Whom
建設,環境,工業,
一般ユーザー
強み
弱み
業務の24h化
セキュリティ
機会
脅威
業務の無人化
市場拡大
営業力
データ量の増大
- BIM/CIMの技術を持つ,企業との共同研究を希望
- 建設分野以外にも適用可能
- すでに点群処理に課題があると考えている場合は,本技術の導入が有効
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
色つき点群データの透過効果問題と遠近問題を高速に解決する技術
点群データとは
従来技術とその問題点
新技術の特徴・従来技術との比較
想定される用途
実用化に向けた課題
企業への期待
本技術に関する知的財産権,問合せ先
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
色つき点群データの透過効果問題と遠近問題を高速に解決する技術
本技術に関する知的財産権
発明の名称
:他視点閉曲面画素値補正装置,他視点閉曲面画素値補正
方法,利用者位置情報出力装置,利用者位置情報出力方法
出願番号
出願人
発明者
:特願2010-172948
:芝浦工業大学
:中川雅史,黒木雅人
問い合わせ先
芝浦工業大学
工学部土木工学科 中川 雅史
[email protected]
産学官連携・研究支援課 片野 陽子
[email protected]
TEL:03-5859-7180,FAX:03-5859-7181
SHIBAURA INSTITUTE OF TECHNOLOGY
NAKAGAWA Masafumi : [email protected]
Fly UP