해양디지털트윈v02.pdf

디지털 트윈 기술 현황 분석
(GeoAI 및 지상 DT 결합 중심으로)
2022. 11. 04
Kwang Woo NAM
kwnam@kunsan.ac.kr
Kunsan National University
http://infolab.kunsan.ac.kr

2
Who
Professor/Kunsan National University
- 군산대학교 컴퓨터정보통신공학부(2004-now)
- Future Vehicle R&D Training Project (2017-now)
미래형자동차 R&D 전문인력양성사업단(2017-) : { KEA, 군산대, 한양대, 충북대, 인하대, 부품연 }
- U. of Minnesota, Visiting Scholar(2015-2016)
- ETRI, Telematics Division, Senior Researcher(2001-2004)
Projects
• 공간지식추론엔진기술개발(3D 복합 연산 및 분석 컴퓨팅 엔진 기술 개발), 국토교통과학기술진흥원, co‐PI(22.04.01‐26.12.31)
• 한국연구재단 기본연구, 크라우드 소싱 공간 미디어 DB에서 딥러닝 공간 네트워크 질의와 마이닝(20‐23):Crowdsourced UrbanAI
• LX, 거리영상과 딥러닝 기술을 활용한 전주시 지능형 보행환경 평가(21.08‐22.08): UrbanAI
• ETRI 위탁과제, 도시공간정보 저장관리 모듈 및 도시 그래프 매칭 알고리즘 개발(21.07‐21.11): UrbanAI
• 한국연구재단 중견연구, 지오미디어 스트림 데이터 컴퓨팅 및 공간 딥러닝 질의 지원(18‐21) : Deep Learning+Spatial Media
• LX, 도시상태 탐지를 위한 도시 환경 GeoAI 허브 기반 기술 개발(18‐19) : Deep Learning+Spatial
• 국토해양부, 공간정보 S/W활용을 위한 오픈소스 가공기술 개발(14‐19) : PostTrajectory, PostGeoMedia
• 한국연구재단 기본연구, 소셜 미디어 스트림 기반 공간 지식의 연속 마이닝(13‐16): SKSpark, SpatialTajo
• 국토해양부, U‐GIS 국토정보 컨텐츠 서비스 요소 기술 연구(07‐11)
• 한국연구재단, geoSensor 센서 스트림 기반 점진적 온라인 패턴 마이닝 기법 연구(09‐12)
• 한국연구재단, GeoSensor Network를 위한 효율적인 공간 센서 스트림 죠인 및 집계처리 기법 연구(06‐07)
• 한국연구재단, 상황정보 기반의 Networked GeoVision 기술 개발(08‐11) : GeoVIsion

3
• 정의와 3D와의 차별성
디지털 트윈(Digital Twins)
Digital Twins
물리적 객체나 시스템의 동적 가상 표현으로,
보통 라이프 사이클의 다양한 단계를 표현을 지원한다.(IBM)
IBM Digital Twins 정의 : https://developer.ibm.com/articles/what‐are‐digital‐twins/
그림 : https://www.motioncontroltips.com/what‐are‐digital‐twins‐how‐are‐they‐used‐in‐industrial‐manufacturing/
• 동적가상표현 : dynamic virtual representation
• 시스템 : 프로세스를 포함
• 다양한 라이프 사이클 단계 : 시뮬레이션과 예측을 포함

4
• Chaining between Real‐world and Virtual World
실 세계와 가상 세계의 연결
의사결정(action) 그리고 결과의 피드백 체이닝
그림 : https://www.motioncontroltips.com/what‐are‐digital‐twins‐how‐are‐they‐used‐in‐industrial‐manufacturing/

5
• 컴퓨팅 관점의 Digital Twins ‐ IBM
그림 IBM, 2019: https://developer.ibm.com/articles/what‐are‐digital‐twins/

6
• 컴퓨팅 관점의 Digital Twins ‐ IBM

7
• 공간정보 관점의 Digital Twins
https://www.youtube.com/watch?v=y8cXBSI6o44 2:45
ESRI Virtual Singapore

8
국내 Digital Twins
김대종, 국토연구원 디지털트윈연구센터 개소기념 특강 발표자료, 2021
신상희, 공간정보와 도시 디지털트윈, Digital Transformation 컨퍼런스 부산, 2022 발표자료

9
• LH 도시 디지털트윈 플랫폼

10
• LH 도시 디지털트윈 플랫폼
• 바람장 시뮬레이션

11
• Connected Deep Digital Twins
Deep Digital Twins
https://dtcc.chalmers.se/virtual‐gothenburg‐the‐citys‐digital‐twin/
Virtual Gothemburg – City Digital Twin: 05:12

12
• Mapillary : Connected with Deep Learning
Deep Digital Twins
97 classes
Traffic Sign
Person
Bicycle
Car
Trash Can
Bench
…
MS COCO:80
페이스북, 구글 스트리트뷰 경쟁사 '매필러리' 인수(20.06.20)
https://www.digitaltoday.co.kr/news/articleView.html?idxno=238489
https://www.mapillary.com/

13
• Mapillary : A Tour
Deep Digital Twins

14
• Waymo Dataset
Deep Digital Twins

15
• Waymo Simulation City : One of Metaverse
Deep Digital Twins
real world waymo simulation city

16
• 디지털국토정보(연구)
• 공간정보 실시간 변화 인식 및 갱신
디지털국토정보 기획 최종보고서 중, 2021

17
• 공간정보 실시간 변화 인식 및 갱신
디지털국토정보 기획 최종보고서 중, 2021

18
• 이동체 동적정보 수집 및 예측

19
• http://urbanAI.net
UrbanAI Network
Static Pan/Tilt CCTV(SPTC)
Moving Camera(MC)
Static CCTV(SC)
bank
bank POI/ROI
Moving Objects
(vehicle, person)
bank
bank
school
school
Park
Park
Static Objects
(traffic signs)
geotagged videos and photos
multiple video streams
sc1 sc2
sptc1
sc3
sptc2
mc1 mc2
sc1
sc2
sptc1

20
• 도시 환경 GeoAI 허브의 Break Through 포인트
GeoAI 서비스 허브
미세먼지 등
환경 센서
공공 차량 카메라
신속하고 다양한
도시미디어 정보 획득
Drone GeoAI
Model
Road GeoAI
Model
Drone GeoAI
Model
Drone GeoAI
Model
Drone GeoAI
Model
Road GeoAI
Model
Road GeoAI
Model
Road GeoAI
Model
Urban Surface
GeoAI Model
Urban Surface
GeoAI Model
Urban Surface
GeoAI Model
Urban Surface
GeoAI Model
GeoAI 디지털 허브
(미래의 LX GeoAI 디지털 허브 탐색)
One Source Multi Use
GeoAI 모델 지원
도시환경 GeoAI 허브

21
• 통합적 GeoAI 기술 개발 솔루션
• 산발적 GeoAI 기술 개발에서 통합으로
GeoAI 서비스 허브 : 필요성
Drone
persons
vehicles
Self‐drive vehicles
통합 GeoAI 서비스 서버
GeoAI Service Hub
GPS[],ACC[],GYRO[],MAG[],RPM[]

22
• GeoAI for Urban
GeoAI 서비스 허브 : 필요성
MaskRCNN
Wrapper
MaskRCNN
Wrapper
MaskRCNN
Wrapper
Yolo
Wrapper
Yolo
Wrapper
MaskRCNN 기반
드론 영상 도로 파손 탐지 모델
MaskRCNN 기반
차량 비디오 MSCOCO 객체 탐지 모델
Yolo 기반
차량 비디오 MSCOCO 객체 탐지 모델
Yolo 기반
차량 비디오 도로 파손 객체 탐지 모델
MaskRCNN 기반
드론 영상 차량 탐지 모델

23
• GeoAI 서비스 허브의 특징
• JSON 기반 GeoAI 데이터 상호 교환 인터페이스 모델
• 도시 영상 및 비디오 데이터의 통합 지원
• 카트리지식 딥 러닝 모델 허브 지원
GeoAI 서비스 허브 : 장점
드론/차량기반
도시영상/환경
취득 및 맵핑
시스템
GeoAI 기반
도시 상태 탐지
가시화
DB 기술
드론/차량
공간 영상 및
도시 환경 센서
LX 디지털 허브
통합 지향형
도시 환경
GeoAI
가시화 시스템
도시 환경
GeoAI 허브 Restful API
drone
model
dashcam
model
mscoco
model
. . .
Seamless 추가 및 업 가능한
도시 환경 GeoAI 모델 허브
지속적 GeoAI
학습 데이터 제공
도시 환경 GeoAI 서비스 허브
photo 공간 객체
Annotation 뷰어
video 공간 객체
Annotation 뷰어
공간미디어
서비스엔진
지속적
추가 및 버전
업
GeoAI
Reinforcement
Learning
json
json json
json
json
json
Yolo

24
• One Source Multi GeoAI Detection
GeoAI 서비스 허브 : How To
drone jpgs

25
• What is the‘Dynamic Generation of the Map for Road
Damage’?
Real Example : LiveMap of Road Damage
(gps,camera)
road crack

26
• 차량용 도로 영상 취득 장치
• Blackvue DR900S‐2CH
• GPS 내장형 블랙박스
• 온라인 비디오 스트리밍 기능 지원
• GPS 및 가속도 센서 데이터를 MP4 파일에 저장
Real Example : LiveMap of Road Damage

27
Real Example : Object Detection and
Mapping
t1 t2 t3 t4
o1
o2
o3
o4
o1
o2
o1
o1
o1
o3
o4
(gps,camera)

28
• 연구 범위
Real Example : GeoVision to UrabanAI
City‐wide
GeoAIVision
Local
GeoVision
Local
GeoVision
Local
GeoVision
…
video
streams
moving objects meta
‐ objects tracks
‐ object video snaps
정밀도로 지도
Map‐Network
DB
Moving Objects
Semantic Engine
Urban Digital Twin
(3D 도시 이동체
가시화)
시공간
도시 이동체
이벤트 탐지/대응
시공간
도시 이동체
검색/분석
MovingObjects
on City(Historical)
도시 이동체
저장/검색/
상황‐액션정보
 온라인/오프라인?
 테스트 데이터 셋??  Historical/Continuous?

29
• City Video Network to Local Dynamic Map
• Example : 서울 역삼역 사거리 Live Cam
https://www.youtube.com/watch?v=tP9PvaM3m4M
버스 트럭 승용차
사람

30
• Urban Video to Local Dynamic Map
• Example : Tokyo Live Cam
• Count/Speed/Action/Semantic 질의
Tokyo Live: https://www.youtube.com/watch?v=DCnpFYVeHKA
Times Square Live : https://www.youtube.com/watch?v=AdUw5RdyZxI



31
• Urban AI Queries
Traditional AI: 번 사각형 안에 있는 사람의 수?
Temporal AI : 번 사각형 안에 5명 이상 사람이 있었던 시간은?
Eventual AI : 번 사각형에 차가 진입하면 알람
Analytic AI : 번 사각형내에 사람들의 평균/중간값 속도
(with [t‐begin, t‐end])
Machine learning : 사람들의 밀도가 제곱미터당 2명 이상인곳?


Moving Objects  Map Join 질의
설명 생략
Moving Objects  Map Join 질의
설명 생략

32
• Urban AI Queries : Travelling
도쿄 신주쿠, 新宿大ガード交差点





 Traditional :  횡단보도를 건너는 사람의 총 수는?
(with temporal predicate)
Temporal :  횡단보도를 10분간 20명 이상이 건너는 시간은?
Contextual :  횡단보도를 북에서 남으로 건너는 사람의 수?
Contextual : 를 지나는 버스와 승용차의 수/속도
Contextual : 에서 나와서 로 가는 차량의 수

33
• 동적 디지털 트윈의 지원 수준
• Geographical Level
• Urban Level
• Building Level
• City Sensor Level
• Moving Objects Level
Problems : Digital Twins
검색과 분석?
데이터의 갱신 비용?
동적 표현 정보?
시뮬레이션의 수준???
활용 공공/민간?
얼마나 Twin인가?
Twin의 유통기한?

34
• 양질의 데이터와 UrbanAI
Problems : GeoAI to DT
Jia Deng, ILSVRC2016 object localisation: introduction, results. Slide 2. Available: http://image-
net.org/challenges/talks/2016/ILSVRC2016_10_09_clsloc.pdf, 2016
양질의 Geo 데이터의 양
GeoAI
모델의
성능
전통적인 머신 러닝 및
통계적 알고리즘
딥 러닝
(Deep NN)
대형 GeoAI 기관/회사
중소형 GeoAI 기관/회사
또는 비 전문 회사
GeoAI 품질의 차이

35
• Dynamic Digital Twins
• Deep Digital Twins
• 국내 Digital Twins 현황
• GeoAI to UrbanAI
Conclusion

해양디지털트윈v02.pdf

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie 해양디지털트윈v02.pdf

Ähnlich wie 해양디지털트윈v02.pdf (20)

Mehr von Kwang Woo NAM

Mehr von Kwang Woo NAM (20)

해양디지털트윈v02.pdf