A future that integrates LLMs and LAMs (Symposium)
Image 2 Torrent 발표자료
1. Image To Torrent:
이미지를 이용한 동영상 검색
소프트웨어 마에스트로 1단계 두 번째 프로젝트 | 2012.11
팀장: 이 재영 (jaeyoung@monodiary.net) 멘토: 허 종오 (mahaman95@gmail.com)
박 병진 (pbj92220@postech.ac.kr)
이 은총 (lee11326@gmail.com)
2. Image To Torrent : 이미지를 이용한 동영상 검색
Content Based Image Retrieval (CBIR)
개발 배경
현재는 수동적으로 이미지에 키워드를 할당하거나 웹 페이지에서 얻어진 키워드를 통해 검색
부정확성, 주관성, 고비용 등의 문제점
이미지의 특성을 자동으로 인식하고 그에 기반한 이미지 검색을 도모하는 것
Color, Texture, Shape, Object
이미지 콘텐츠를 통해 동영상 콘텐츠를 찾아낼 수 없을까?
이미지로부터 이를 구분할 수 있는 특징점을 추출하여, 각 이미지와 동영상의 관계를 규명해보자.
기존의 이미디오(Imedio) 서비스에 대한 호기심
토렌트 프로토콜을 이용하면 동영상 콘텐츠에 대한 저작권을 피해 새로운 콘텐츠 공유
시장을 만들 수 있지 않을까?
토렌트 파일에는 콘텐츠가 존재하지 않는다.
저작권 위반에 해당할 만한 직접적인 파일이 존재하지 않음
SW_Maestro_
3. Image To Torrent : 이미지를 이용한 동영상 검색
개발 목적 Image To Torrent 웹 브라우저 플러그인 개발
사용자가 웹 서핑 중인 페이지에 특정 동영상 내의 이미지 콘텐츠가 존재 할 경우,
그 동영상에 대한 토렌트 파일을 이용 가능해야 한다.
이미지 주변에 토렌트 파일 다운로드를 위한 버튼 생성
SW_Maestro_
4. Image To Torrent : 이미지를 이용한 동영상 검색
개발 내용 Image To Torrent의 구조
SW_Maestro_
5. Image To Torrent : 이미지를 이용한 동영상 검색
개발 내용 1. 웹 플러그인 제작
a) 현재 보고 있는 웹 페이지의 이미지 파싱
b) 특정 조건들을 이용하여 이미지 필터링
c) 필터링을 거친 이미지의 URL을 AJAX를 이용하여 API 서버로 전송
d) API 서버로부터 JSON 형식으로 결과 값 수신
e) JSON 결과를 확인하여 이미지 주변에 토렌트 다운 링크를 삽입
2. API Server & Core 구축
a) 웹 브라우저로부터 이미지 URL 수신
b) URL로부터 이미지 다운로드 및 특징점 추출 및 여과
c) 결정된 특징점 데이터를 이용하여 데이터베이스 내의 데이터들과 유사도 비교
d) 결과를 JSON 형식으로 웹 플러그인에 전달
SW_Maestro_
6. Image To Torrent : 이미지를 이용한 동영상 검색
개발 내용 3. 핵심 알고리즘 개발
- 특징점 결정
1) SIFT (Scale-Invariant Feature Transform) 알고리즘
2) SURF (Speeded Up Robust Feature) 알고리즘
3) Grid SIFT 알고리즘을 기반으로 하여 128차원의 Descriptor 벡터 추출
- 특징점 여과 특징점 결정
1) 하나의 이미지에 수 천개의 특징점 추출 => 비효율적, 계산이 느림
2) 약 200개의 중요 특징점 추출을 위한 필터링 알고리즘
- 특징 데이터 생성
1) 하나의 특징점 데이터의 크기가 128Byte => 너무 큰 용량 특징점 여과
2) 각 이미지의 Descriptor들을 클러스터의 히스토그램으로 표현
3) 128Byte에서 192Bit로 다운 스케일링 => Bag-of-words 모델
4) LSH (Locality Sensitive Hashing) 알고리즘을 이용한 군집화
특징 데이터 생성
SW_Maestro_
7. Image To Torrent : 이미지를 이용한 동영상 검색
수행 방법 개발환경 및 도구
서버 운영체제: Ubuntu Server 64bit
웹 서버: Apache
데이터베이스: MySQL
개발언어: Python, C++, PHP, Javascript
편집기: Sublime Text2, Vim Editor
프로젝트 관리: Git, Pivotal Tracker
정기적인 회의를 통한 브레인 스토밍
주기적인 회의 시간을 많이 가짐으로써, 서로 간의 빈 지식을 채워주고
문제 해결을 위한 창의적인 아이디어 발굴
SW_Maestro_
8. Image To Torrent : 이미지를 이용한 동영상 검색
팀원 간 협업 Pivotal Tracker를 이용하여 체계적인 팀 프로젝트 운영
이슈 트래커를 이용하여 팀원 간의 업무 분배, 팀의 목표 설정, 팀의 일률 상승을 경험
팀 내 Pivotal Tracker 사용을 위한 교육 세미나 진행
SW_Maestro_
9. Image To Torrent : 이미지를 이용한 동영상 검색
개발 결과물 Image To Torrent 프로젝트의 프로토 타입(Proto Type) 완성
크롬 브라우저를 통해 웹 서핑 시, 서버에 선처리 된 동영상의 이미지의 경우 토렌트 다운로드 가능하다.
현재성능 상의 문제점을 개선할 수 있는 방안이 많다.
짧은 개발기간, 영상처리에 대한 사전지식 부족
SW_Maestro_
10. Image To Torrent : 이미지를 이용한 동영상 검색
DEMO :
Image To Torrent 시연
SW_Maestro_
11. Image To Torrent : 이미지를 이용한 동영상 검색
향후 계획 Map/Reduce 기반의 Hadoop을 이용한 분산 처리 시스템 구축
현재 Image To Torrent 프로젝트의 서버 단에 적용하기에 아주 적합하다.
현재보다 좋은 인덱싱 속도를 예상
관계형 데이터베이스에서 그래프형 데이터베이스로 이전
인간적인 사고방식으로 이미지 특징점 검색 구현이 가능해지고, 각 이미지 특징점 데이터 간의 관계를 좀 더 명
확히 규명할 수 있다.
현재보다 좋은 인덱싱 속도 및 데이터 마이닝을 통한 가치 있는 데이터를 뽑아내기 용이
이미지 특징점 매칭 알고리즘 개선
적은 양의 특징점 데이터를 사용하여 더 높은 정확도 이미지 매치 결과를 얻어낼 수 있는 알고리즘이 필요하다.
실제 서비스가 가능할 정도의 성능이 필요
서비스 운영 및 여러 분야에 기술 적용
실제로 서비스를 해보고, 이미지를 통한 동영상 검색 기술을 활용하여 다양한 분야에 적용해본다.
스마트 플랫폼의 컨텐츠 다운로드 서비스, 동영상 검색 서비스, 저작권 침해 검색 등
SW_Maestro_
