간단한 기구부와 결합한 공간증강현실 시스템의 샘플 기반 제어 방법

간단한 기구부와 결합한 공간증강현실
시스템의 샘플 기반 제어 방법
CADCAM 2015 동계학술대회
이아현 이주호 이주행
UST
/
ETRI 리츠메이칸 대학교 ETRI
/
UST
특별세션 - 제 17회 가헌학술상
*

목 차
1. RSAR(로봇공간증강현실) ?
2. CAD 모델 기반의 기구학 제어
3. 제안된 샘플 기반의 기구학 제어
4. 구현 및 실험 결과
5. 결론

AR Augmented Reality
SAR Spatial Augmented Reality
RSAR Robotic Spatial Augmented Reality
1. RSAR ?

AR 증강현실
Augmented Reality
1. RSAR ?

Augmented Reality
Vuforia (Qualcomm AR SDK) | 2014
1. RSAR ?

SAR 공간증강현실
Spatial Augmented Reality
1. RSAR ?

RSAR 로봇공간증강현실
Robotic Spatial Augmented Reality
1. RSAR ?

미래형 로봇 컴퓨터 | ETRI | 2012
1. RSAR ?

2. CAD모델 기반의
기구학 제어
1. RSAR ?
2. CAD 모델 기반의
기구학 제어

RSAR 기구학 제어 단계 구성
프로젝터-카메라 캘리브레이션
기구학 설정 단계
응용단계
PCU (Projector Camera Unit)
1. RSAR ?
기구학 제어

실세계 좌표계
프로젝터 좌표계
카메라 좌표계
𝐻"#
𝐻"$
𝐻#$
𝑝#
𝑝$
𝑝"
PCU 캘리브레이션
응용 단계
1. RSAR ?
기구학 제어

프로젝터와 카메라가 물리적으로 고정되어, 카메라 위치/자세
정보만으로 프로젝터 위치/자세 정보를 계산할 수 있다.
1. RSAR ?
기구학 제어

프로젝터-카메라 캘리브레이션 결과
1. RSAR ?
기구학 제어

CAD 모델 기반 기구부의 기하학정보 추출
𝑞'
𝑞(
𝑙'
𝑙(
𝑙*
𝑦'
𝑧'
𝑥'
엔드 이펙터
𝑦*
𝑧*
𝑥*
응용 단계
1. RSAR ?
기구학 제어

𝑞'
𝑞(
𝒍 𝟎
𝒍 𝟏
𝒍 𝟐
𝑦'
𝑧'
𝑥'
엔드 이펙터
𝑦*
𝑧*
𝑥*
링크의 길이
1. RSAR ?
기구학 제어
응용 단계

𝒒 𝟎
𝒒 𝟏
𝑦'
𝑧'
𝑥'
엔드 이펙터
𝑦*
𝑧*
𝑥*
관절 회전축의 위치
1. RSAR ?
기구학 제어
응용 단계
링크의 길이
𝒍 𝟎
𝒍 𝟏
𝒍 𝟐

𝑞'
𝑞(
𝑙'
𝑙(
𝑙*
𝑦'
𝑧'
𝑥'
엔드 이펙터
𝑦*
𝑧*
𝑥*
𝐾4
𝑞'
𝑙'
𝑙(
𝑙*
𝑟6
𝑟7
𝑟8
𝑞(
𝑝6
𝑝7
𝑝7
엔드이펙터의 위치/자세 계산
정
기
구
학
역
기
구
학
목표 위치로 이동하기 위한 관절각 계산
LJ
L
)(
),,(),,(
AAA
RTA
(q)q
ψθppp zyx
=
= ϕ
⎥
⎦
⎤
⎢
⎣
⎡
==
10
)()( 1201n
pR
AAK qq
)(qr
pr
f
e
=
−=
!
qqq
q
q
p !!! )(
)(
J
f
=
∂
∂
=
정/역기구학 제어식 생성
1. RSAR ?
기구학 제어

𝑞'
𝑞(
𝑙'
𝑙(
𝑙*
𝑦'
𝑧'
𝑥'
𝑦*
𝑧*
𝑥*
프로젝터-카메라
𝑙'
𝑞'
𝑞(
𝑙(
𝒍 𝟐
𝑦'
𝑥'
𝑧'
RSAR
엔드이펙터 = 투사영역의 중심점
정/역기구학 제어식 생성
1. RSAR ?
기구학 제어
프로젝터 투사
영역의 중심점
엔드이펙터

응용 단계
RSAR 제어 및 응용
미래형 로봇 컴퓨터 | ETRI/Ritsumeikan U | 2012
1. RSAR ?
기구학 제어

카메라 입력 영상
엔드이펙터의 위치/
자세 계산
<정기구학>
영상 워핑 + 렌더링
시작
관절 회전각 계산
<역기구학>
투사 영역의
이동?
끝
영상 투사
영상 투사
끝?
관절 회전
yes
no
yes
no
RSAR 시스템의 흐름도
1. RSAR ?
기구학 제어

1. RSAR ?
기구학 제어
UCR 사용자 제작 로봇
User Created Robot

1. RSAR ?
기구학 제어
UCR의 장점

CAD 모델이
없는 경우
조립시 오차
> 허용공차
UCR 기구학 제어의 한계점
1. RSAR ?
기구학 제어

3. 샘플 기반의 기구학 제어
1. RSAR ?
기구학 제어

CAD 모델 기반 기구학 제어
1. RSAR ?
기구학 제어
링크의 길이
𝒍 𝟎
𝒍 𝟏
𝒍 𝟐
𝒒 𝟎
𝒒 𝟏
관절 회전축의 위치

관절의 회전각
𝝋
𝜽
엔드이펙터의
위치/자세
패턴마커
샘플 기반의 기구학 제어
1. RSAR ?
기구학 제어

CAD 모델 기반의 RSAR 제어
응용단계
1. RSAR ?
기구학 제어
정/역기구학 수식 표현

샘플 기반의 RSAR 제어
샘플 데이터 취득 및
B-spline 기반 표현
응용단계
1. RSAR ?
기구학 제어

응용 단계
모터 회전 반경 설정
관절 가용 범위
샘플 데이터 취득
시작
끝
B-spline
곡면 8개
1. RSAR ?
기구학 제어

샘플 데이터 취득 방법
1. RSAR ?
기구학 제어

모터 회전 반경 설정
시작
끝
B-spline
곡면 8개
응용 단계
1. RSAR ?
기구학 제어

샘플 데이터 3차원 그래프 B-spline 곡면 표현
1. RSAR ?
기구학 제어

입 력
출 력
회 전 이 동
index pan tilt rx ry rz tx ty tz
𝑖 𝜃= 𝜑= 𝑟𝑥= 𝑟𝑦= 𝑟𝑧= 𝑡𝑥= 𝑡𝑦= 𝑡𝑧=
정기구학 샘플 데이터 구성
정기구학 제어 곡면 6개
{𝜃, 𝜑, 𝑟𝑥} ~ {𝜃, 𝜑, 𝑡𝑧}
입력1, 입력2, 출력 입력1, 입력2, 출력
1. RSAR ?
기구학 제어
정기구학 샘플 데이터 구성

입 력 출 력
index 투사영역의 중심점 pan tilt
𝑖 𝑐𝑥= 𝑐𝑦= 𝜃= 𝜑=
역기구학 샘플 데이터 구성
역기구학 제어 곡면 2개
{𝑐𝑥, 𝑐𝑦, 𝜃}, {𝑐𝑥, 𝑐𝑦, 𝜑}
입력1, 입력2, 출력 입력1, 입력2, 출력
1. RSAR ?
기구학 제어
역기구학 샘플 데이터 재구성

B-spline 곡면 표현 결과
1. RSAR ?
기구학 제어
rx ry rz
tx ty tz
정기구학 샘플 데이터

B-spline 곡면 표현 결과
1. RSAR ?
기구학 제어
pan tilt
역기구학 샘플 데이터

정기구학 제어 방법의 예
{𝛉, 𝛗}
입력 데이터
x
6
{𝒓𝒙, 𝒓𝒚, 𝒓𝒛, 𝒕𝒙, 𝒕𝒚, 𝒕𝒛}
출력 데이터
정기구학 제어 곡면 6개
카메라 위치/자세
𝑹 𝒕
𝟎 𝟏4x4
B-spline 기반 제어
1. RSAR ?
기구학 제어
출력 데이터 계산 방법
pan tilt

자세 계산
<정기구학>
시작
<역기구학>
투사 영역의
이동?
끝
영상 투사
영상 투사
끝?
관절 회전
yes
no
yes
no
응용 단계
CAD 모델 기반의 제어
1. RSAR ?
기구학 제어

자세 계산
<정기구학: B-spline 전개>
시작
<역기구학 :
B-‐spline
전개 >
투사 영역의
이동?
끝
영상 투사
영상 투사
끝?
관절 회전
yes
no
yes
no
응용 단계
샘플 기반의 제어
1. RSAR ?
기구학 제어

4. 구현 및 실험 결과
1. RSAR ?
기구학 제어
3. 샘플 기반의 기구학 제어 4. 구현 및 실험 결과

UCR-based RSAR 응용의 예(1)
1. RSAR ?
기구학 제어

프로젝터 이동
투사 영상의 와핑+렌더링 영상 투사 결과
실험 결과 영상
1. RSAR ?
기구학 제어

1. RSAR ?
기구학 제어

실험 방법
1. RSAR ?
기구학 제어
샘플 기반의 기구학 제어 방법의 정확도 측정

프로젝터-카메라가 동일한 위치에서
카메라+패턴마커
제안된 샘플 기반의
제어 방법
{𝜽, 𝝋,

𝒓𝒙, 𝒓𝒚, 𝒓𝒛, 𝒕𝒙, 𝒕𝒚, 𝒕𝒛,

𝒄 𝒙, 𝒄𝒚}
pan, tilt
카메라 자세/위치
엔드이펙터
{𝜽, 𝝋,

𝒓𝒙, 𝒓𝒚, 𝒓𝒛, 𝒕𝒙, 𝒕𝒚, 𝒕𝒛,

𝒄 𝒙, 𝒄𝒚}
pan, tilt
카메라 자세/위치
엔드이펙터
실험 방법
1. RSAR ?
기구학 제어
샘플 기반의 기구학 제어 방법의 정확도 측정

제어점 개수
카메라 위치/자세
회전( ° ) 이동(mm)
rx ry rz tx ty tz
4 x 4 0.4616 0.4081 0.0820 0.5018 0.5470 1.2953
6 x 6 0.5078 0.3199 0.0802 0.4290 0.4744 1.2769
8 x 8 0.4760 0.2999 0.0779 0.4847 0.6334 1.2042
정기구학 제어 방법의 RMSE
1. RSAR ?
기구학 제어
실험 결과
정기구학 출력데이터 = 카메라 위치/자세

제어점 개수
관절각(°)
pan tilt
4 x 4 0.6970 0.5037
6 x 6 0.6676 0.4756
8 x 8 0.6287 0.4373
역기구학 제어 방법의 RMSE
1. RSAR ?
기구학 제어
실험 결과
역기구학 출력데이터 = 관절각

요 약
UCR-based RSAR의 한계점
CAD모델이 없는 경우 or 조립 오차 > 허용공차
샘플 기반의 기구학 제어 방법
-> B-spline 곡면 8개 (정6/역2) 생성
-> 곡면을 사용해 기구학(출력) 데이터 계산
구현 및 실험 결과
엔드이펙터 이동을 위한 관절각 계산 -> 역기구학
엔드이펙터 위치/자세 계산 -> 정기구학

제안된 방법의 한계점
단일 영역에서 샘플 데이터 취득
관절 가용 범위가 작음
2축의 로봇 팔로 제한
단일 RSAR 시스템으로 제한
단일 평면에 투사

향후 연구 계획
다중 영역에서 샘플 데이터 취득
관절 가용 범위를 확장
다축의 로봇 팔에 적용
다중 RSAR 시스템의 협업
다면체/곡면에 투사

이아현(azsure@etri.re.kr)
이주호(lee.aislab@is.ritsumei.ac.jp)
이주행(joohaeng@etri.re.kr)
감사합니다

Q & A
이아현(azsure@etri.re.kr)
이주호(lee.aislab@is.ritsumei.ac.jp)
이주행(joohaeng@etri.re.kr)

간단한 기구부와 결합한 공간증강현실 시스템의 샘플 기반 제어 방법

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (17)

Similar to 간단한 기구부와 결합한 공간증강현실 시스템의 샘플 기반 제어 방법

Similar to 간단한 기구부와 결합한 공간증강현실 시스템의 샘플 기반 제어 방법 (20)

More from Joo-Haeng Lee

More from Joo-Haeng Lee (14)

간단한 기구부와 결합한 공간증강현실 시스템의 샘플 기반 제어 방법