3 차원 장면 복원 2016 년 11 월 4 일 신동원 서론 기존의 방법 제안하는 방법 실험 결과 결론 Contents 2 IKEA AR catalog Dyson 360 eye FX mirror MS ID: 800387
Download The PPT/PDF document "잡음에 강건한 표면 법선 벡..." is the property of its rightful owner. Permission is granted to download and print the materials on this web site for personal, non-commercial use only, and to display it on your personal computer provided you do not modify the materials and that you retain all copyright notices contained in the materials. By downloading content from our website, you accept the terms of this agreement.
Slide1
잡음에 강건한 표면 법선 벡터 획득 방법을 이용한 3차원 장면 복원
2016
년
11
월
4
일
신동원
Slide2서론기존의 방법제안하는 방법실험 결과결론Contents2
Slide3IKEA AR catalog, Dyson 360 eye, FX mirror, MS holoportation현실 세계에 증강된 정보를 제공영상 기반 증강현실 기술의 핵심: 3차원 장면 복원 (SLAM, SfM..)증강현실 시스템3
Slide43차원 장면 복원기존의 방법– Kinectfusion4Point cloud generation
Normal estimation
Camera tracking
Surface model computation
Integrated 3D Model
Color
Color
Depth
R
. A.
Newcombe
, S. Izadi, O.
Hilliges
, D.
Molyneaux
, D. Kim, A. J. Davison, P.
Kohli
, J.
Shotton
, S. Hodges, and A. Fitzgibbon, “
KinectFusion
: Real-time dense surface mapping and tracking,” presented at the ISMAR '11: Proceedings of the 2011 10th IEEE International Symposium on Mixed and Augmented Reality, 2011, pp. 127–136.
Hierarchically performed
at each stage
x
x
640x480
320x240
160x120
repeat
Cross product of the exact neighbor
3D warping
Iterative closest points
Truncated signed distance function
Slide5제안하는 방법흐름도5Point cloud generation
Normal estimation
Camera tracking
Surface model computation
3D Model
Color
Color
Depth
Color
Color
Color
Distance transform
Canny edge detector
Geometric
Constraint
Iterate
Slide6법선 벡터 예측기존 방법에서의 법선 벡터 예측두 벡터의 외적 계산
깊이 영상 센서의 노이즈 특성에 영향을 받음
6
R
. A.
Newcombe
, S. Izadi, O.
Hilliges
, D.
Molyneaux
, D. Kim, A. J. Davison, P.
Kohli
, J.
Shotton
, S. Hodges, and A. Fitzgibbon, “
KinectFusion
: Real-time dense surface mapping and tracking,” presented at the ISMAR '11: Proceedings of the 2011 10th IEEE International Symposium on Mixed and Augmented Reality, 2011, pp. 127–136.
Slide7최소 자승법 기반 방법평면의 방정식:k개의 이웃 점 에 대해 다음의 식을 최소화하는 법선 벡터
를 계산
Closed-form solution
7
H
.
Badino
, D. F. Huber, Y. Park, and T.
Kanade
, “Fast and accurate computation of surface
normals
from range images.,”
ICRA
, pp. 3084–3091, 2011.
+
Slide8이웃 점 집합의 크기작은 이웃 점 집합 크기 -> 노이즈가 많은 영향을 미침큰 이웃 점 집합 크기 -> 다른 물체에 대한 점군이 포함 될수 있음최적의 이웃 점 집합 크기?“During our tests a neighborhood with a size of k = 16 performs best.”C. Weber, S. Hahmann, and H. Hagen, “Sharp feature detection in point clouds,” presented at the Shape Modeling International Conference (SMI), 2010, 2010, pp. 175–186.K
= 10 to 16
S
.
Umhold
, X. Wang, R.
Eod
,
“Feature extraction
from point
clouds,” Proceedings of 10th International Meshing Roundtable (2001)
K
= 12
Q. Wang, “Feature
point detection from point cloud based on repeatability rate and local
entropy,”
In Proceedings of the SPIE Vol.6786 (2007
)
8
C
. Weber, S.
Hahmann
, and H. Hagen, “Sharp feature detection in point clouds,” presented at the Shape Modeling International Conference (SMI), 2010, 2010, pp. 175–186.
Slide9적응적인 이웃 점 집합의 크기Depth dependent neighboring area map깊이 해상도가 거리에 따라 다른 특성
Smoothing area map
B
9
S
.
Holzer
, R. B.
Rusu
, M. Dixon, S.
Gedikli
, and N.
Navab
, “Adaptive neighborhood selection for real-time surface normal estimation from organized point cloud data using integral images.,”
IROS
, pp. 2684–2689, 2012.
Relationship
between depth and depth
resolution
(
according to the literature)
Depth
change indication map
깊이 변화 검출 문턱치 값
:
얼마나 깊이 변화에 민감하게
반응할 것인가에 대한
크기 인자
Depth change indication map
C
Slide10적응적인 이웃 점 집합의 크기Final neighboring area mapB(m,n): depth dependent neighboring area mapT(m,n): depth change indication map에 대한 거리 변환 지도: dividing factor for rectangular area
R(
m,n
)
:
위치 에서의 적절한 이웃 점 집합의 크기
10
: the radius of circle
: the radius of square
Slide11적합한 크기 선정영상 엣지로부터의 거리 정보를 사용색상과 깊이 영상에 대해 캐니 엣지 검출캐니 엣지에 대해 거리 변환 수행
Final
neighbor scale map
11
Slide12TUM RGBD datasetsItem listSeq_id=1: freiburg3_teddySeq_id=2: freiburg3_long_officeRGB-D 영상 및 ground-truth 궤적 정보 포함측정 기준절대 궤적 오차 (Absolute Trajectory Error, ATE)타임스탬프를 이용하여 예측된 궤적과 실제의 궤적의 비교쌍을 생성비교쌍 사이의 거리의 절대값을 계산
Maximum
normal radius: 20
실험 환경
12
1
2
Slide13기존의 방법 결과제안하는 방법 결과Teddy0.966950m
0.062736m
Office
0.572968m
0.070767m
실험 결과
13
절대 궤적 오차 및 궤적 비교
Slide14결론잡음에 강건한 표면 법선 벡터 획득 방법을 이용한 3차원 장면 복원기존의 방법 문제점시간이 지남에 따라 발생하는 궤적 오차가 누적기하학적 제약조건 깊이 카메라 센서 노이즈에 강건한 점군 법선 벡터 계산
거리 변환 맵을 이용한 적응적인 이웃 크기 선정
실험 결과
절대 궤적 오차 감소
일관성 있는 궤적 예측
14