원격테스트_UX1

원격 테스트
사용자경험 테스트를 망설여하는 당신이 꼭 알아야 할 툴들
UX1 | UX Design Consulting Firm
Most Distinctive & Creative UX Design Company
NOTICE: Proprietary and Confidential
This material is proprietary to UX1
It contains trade secret and confidential information which is solely the property of UX1
This material is for client’s internal use only. It shall not be used, reproduced, copied, disclosed, transmitted,
in whole or in part, without the express consent of UX1
ⓒ 2014 UX1. All rights reserved.

2This is UX Design 2nd edition / lectureⓒ 2014 UX1. All rights reserved.
원격테스트
PROS
• 쉽다. 누구나 쉽게 따라할 수 있다.
• 툴들이 알아서 해준다. 우리는 요청만 하거나
간단한 방법만 터득하면 된다.
• 다수 사용자들로부터 의견을 수렴할 수 있다.
• 출시에 앞서서 제품/서비스가 갖는 문제점을
단기간에 효과적으로 알아낼 수 있다.
• 비용이 저렴하다.
• 전문적인 지식이 (상대적으로) 필요없다.
CONS
• 랩에서 진행하는 테스트에 비해서 체계성이 부
족하다.
• 테스트 진행자(Moderator)가 배제되어 있기
때문에 테스트 진행과정에서 의도를 반영하거
나 테스트 결과를 면밀하게 분석하기가 어렵다.
• 의견이나 반응 외에 비언어적 표현 요소나 테스
트시 느껴지는 미묘한 분위기를 catch하기가
어렵다.
• 테스트 결과에 대한 신뢰성을 담보하는데 한계
가 있다.

원격 테스트
원격 테스트는 임의로 테스트 대상자들을 선발하는 게 아니라 현장에서 자연스럽게 사용자의 테스트 참여를 유도하는 방식이다. 예를 들어
Amazon.com 사용자가 책을 구매하려고 사이트에 들어왔을 때 팝업창이 뜨면서 “새로운 디자인에 대한 테스트에 참여해주세요. 소정의 상품을
드립니다”라는 메시지가 나타나서 그것을 클릭하고 들어가서 테스트에 응하게 되는 식이다. 오프라인에서도 Intercept Interview를 이용하여 제
품 이용중인 사용자를 대상으로 테스트를 진행할수 있다.
원격 테스트는 얼핏보면 비용과 시간을 줄일 수 있는 매력적인 방법으로 들리지만 현장의 생생한 목소리를 직접 얻을 수 없다는 단점과 더불어
자신이 마음대로 테스트 진행을 할 수 없기 때문에 초기에 주도면밀한 계획을 세우지 않으면 하나마나한 결과를 얻을 수도 있다. 성공적인 원격
테스트 진행을 위해서는 다음 사항들을 명심해야 한다.
• 테스트를 통해서 얻고자 하는 목표를 명확하게 세운다. 두 개 이상의 안(variable)들을 비교하게 할 것인지, 현재 운영중인 서비스에 대한 문제
점을 찾아보려는 것인지 등
• 테스트의 목표가 명확하다면 어떤 툴을 이용해서 테스트를 진행하는 게 가장 좋을 지 결정한다. 또한 우리가 직접 툴을 이용해서 진행할 것인
지, 외부의 전문 테스트 서비스 회사를 고용해서 진행할 것인지 선택한다
원격 테스트는 특성상 사용자를 직접 만나서 진행하는 게 아니라 비대면으로 (때로는 아예 누가 참여하는지조차 알 수 없는 방법으로) 진행하기
때문에 그 결과를 취합하는 데 있어서 주의를 기울여야 한다. 어떤 서비스를 이용하던지 간에 다음과 같은 결과를 반드시 받아볼 수 있어야 한다.
• 의도했던 목표 대비 테스트 결과의 신뢰도
• 참여한 테스터들의 유형 및 테스트 참여방식
• 전환율(Conversion rate), 테스크 성공율, 테스크 수행시간 등 세부적인 정량적 수치가 포함된 테스트 결과 리포트
• 테스트를 진행한 비디오나 오디오와 같은 구체적인 리포팅 결과
원격 테스트 결과에 있어서 전환율과 같은 통계 결과도 중요하지만, 개별 테스터들의 다음과 같은 결과가 더 중요한 의미를 시사할 때가 많다.
• 테스크 수행시 잠시 머뭇거리거나 무엇을 선택해야 좋을지 망설이는 행동 및 표정
• 왔던 경로를 되돌아가거나 되돌이키기(undo)를 하는 행동
• 한숨이나 투덜거림과 같이 소리를 통해 불만을 표시하는 것
• 테스크를 수행하는 데 예상했던 것보다 훨씬 긴 경로를 거치는 것
• 테스크의 완전한 실패
원격 테스트란?
Source : How Usability Testing Drastically Improved My Client's App - Joshua Gross,

원격 테스트
A/B 테스트는 가장 오래되고 전형적인 원격테스트 방법이다. 기존 제품과 신제품, 프로토타입 A와 프로토타입 B, 우리 제품과 경쟁사 제품 등 두
가지 이상의 비교 대상을 사용자에게 보여주면서 “당신이라면 이 중 어떤 것을 선택하시겠습니까? 그리고 그 이유는?” 하는 식으로 물어보는 것
이다. A/B 테스트 이외에 다양한 대안들 중에 하나를 선택하게 하는 ‘Multivariate Test’도 이 범주에 속한다.
대부분의 원격 테스트 툴들은 실제 테스트 진행보다는 화면 편집에 기능이 집중되어 있다. 이것은 A/B 테스트의 단순간결함을 설명하기도 하지
만 A/B 테스트가 갖는 한계(지나치게 단순한 테스트 방법이라는 점)을 나타내는 일이기도 하다.
최근에는 비디오 컨퍼런싱 기술이 많이 발전하여 테스트 진행자가 내리는 Task를 테스트 대상자가 원격으로 수행한 후 그 결과를 분석하는 일도
많아지고 있다.
A/B 테스트
SOURCE : The Ultimate Guide To A/B Testing By Paras Chopra
A/B 테스트에 자주 이용되는 툴들
• Google Website Optimizer
구글이 제공하는 무료 A/B 테스팅 툴이다. 고급 기능은 적지만
간단하게 A/B 테스트를 진행하기 좋다.
• A/Bingo and Vanity
Ruby on Rails(개발언어) 개발자들을 위한 A/B 테스팅 툴인데,
프로그래밍이 필요하기 때문에 진행이 까다로운 편이다.
• Visual Website Optimizer
WYSIWYG 에디터나 클릭 맵(클릭한 이동경로 추적 기능), 방
문자 분류 등을 갖춘 A/B 테스팅 툴로 쉽게 이용 가능할 뿐만 아
니라 다양한 기능들을 제공한다.
• 기타 기업 내부 시스템 테스트에 유용한 툴들 : Vertster,
SiteSpect, Webtrends Optimize, Omniture’s Test&Target

A/B 테스트 - Google Website Optimizer
Google Website Optimizer는 특정한 디자인 대상을 여러 개의 변형안(variation)으로 만든후 사용자들이 어떤 변형안을 선택하는 지
(Conversion rate)를 분석하는 툴이다. 기본적인 A/B 테스트 뿐만 아니라 다양한 변형안(Multivariate)에 대한 테스트를 진행할 수도 있다. 서로
다른 UI를 비교 테스트할 수도 있고 버튼의 위치나 형태, 카피라이트, 이미지, 네비게이션 형태 등 다양한 요소를 테스트해 볼 수 있다. A/B 테스
트는 두 개의 서로 다른 컨셉(주로 UI와 같이 이슈가 큰 경우)을 사용자로부터 검증받을 때 유리하다. 그에 비해 Multivariate 테스트는 버튼이나
이미지의 위치와 같이 이슈가 작으며 여러 개의 안을 놓고 결정하고자 할 때 자주 적용된다.
Conversion rate는 Google Website Optimizer와 같은 A/B 테스트 툴에서 가장 중요한 평가 지표이다. 기존 안(Original Version)에 비해서 새로
운 변형안(variation 1, 2, ..)이 얼마나 더 높은 Converstion rate를 보였는가를 파악하는 게 이 테스트의 핵심이기 때문이다. 그러나 테스트는 사
용자에게 테스트의 의도를 은연중에 강요하게 되므로 결과를 무조건 신뢰할 수 없다. 테스트에서 기존 안보다 10% 이상 높은 Conversion rate를
보였다면 실제로는 2~3%에 불과할 가능성이 높기 때문에 이를 염두에 두고 테스트를 진행해야 한다.
원격 테스트

A/B 테스트 - Visual Website Optimizer
Visual Website Optimizer는 Google Website Optimizer와 크게 다르지 않으나 변형안(variation)을 만드는 이용환경(Visual Designer)가 훨씬
뛰어나다는 장점이 있다. WHYWYG 환경에서 기존 안(Original version)의 크기나 위치를 변경하는 것 뿐만 아니라 이미지를 교체하는 것이나
Html 편집, CSS 변경까지 지원한다. 또한 Visual Website Optimizer는 목표(Goal)를 테스트 계획시에 미리 설정하게 되어 있어서 테스트 결과
리포트에서 목표를 달성했는 지 여부를 쉽게 파악할 수 있게 해 준다. 또한 지역이나 브라우저 종류, 쿠키값, 모바일기기 종류와 같은 다양한 변수
를 통해서 테스트 참여자를 제한시킬 수 있고 테스트 참여자들에게 질문을 던져서 그 답변으로부터 개선점을 도출할 수 있는 기능도 있다.
Visual Website Optimizer는 그 외에도 다양한 기능들을 제시하고 있지만 A/B 테스트를 제외하고는 특별히 매력적인 테스트 툴이라고 보기 어
렵다. (반대로 말하면 A/B 테스트용으로는 아주 매력적이다) 그러니 A/B 테스트가 아니라면 굳이 비용을 들여서 이 툴을 이용할 필요는 없어 보
인다.
원격 테스트

2000년대 중반 이후에 자신이 패널을 직접 운영하는 온라인 테스트 에이전시들이 나타나기 시작했다. 주로 웹사이트가 테스트의 대상이긴 하지
만 이들은 기존의 원격 테스트가 갖는 문제점을 해결하면서 우후죽순으로 늘어났다. 자체적으로 패널들을 고용하여 테스트 의뢰업체가 원하는
조건을 가진 사용자들을 대상으로 A/B 테스트 뿐만 아니라 다양한 방식으로 심도깊게 테스트를 할 수 있다는 것이 이들의 장점이다. 그 중에서
가장 유명한 Usertesting.com을 예로 들어보자면 다음과 같다.
① 테스트 의뢰업체에서 테스트 대상자에 대한 조건과 테스트 대상물을 올린다. (테스트할 웹사이트 또는 프로토타입)
② Usertesting.com에서 패널들중에서 적당한 대상자들을 선발한다.
③ 선발된 테스트 대상자들은 Usertesting.com 이 지원하는 프로그램과 웹캠이 본인의 PC에 깔려 있는데, 이 PC를 이용하여 테스트를 진행한
후 그 결과를 보내온다.
④ 테스트 결과에는 마우스 트랙킹(마우스의 이동 움직임을 파악하는 것이나 테스트시 사용자들의 목소리(Think Aloud), 테스트 영상
(Screencast)까지 받아 볼 수 있다.
⑤ Usertesting.com은 테스트 의뢰후 한 시간 이내에 이러한 결과를 받아볼 수 있다고 한다.
패널 진행형 테스트 – Usertesting.com
SOURCE : Usertesting.com
패널 진행형 테스트는 빠른 시간내에 실제 사용자들을 대상으로 테스트 결과를 받아볼 수 있다는 장점이 있지만, 테스트 대상이 웹사이트로 국한
된다는 한계와 더불어 패널이나 테스트 대상자 선별 과정에서의 신뢰성 문제가 남는다.
원격 테스트

uTest는 전세계 200여개국에 걸쳐 100,000명 이상의 테스터를 두고 있는 서비스이다. 비즈니스 모델부터가 흥미롭다. 기업에서 자사의 제품/서
비스에 대한 테스트를 uTest에 의뢰하면 uTest는 담당 매니저를 선별하여 예산에서부터 진행방법 등을 세심하게 계획해준다. 그리고 테스트가
시작되면 전세계에 흩어져 있는 수많은 테스터 중 일부가 여기에 참여하게 되는데, 이들이 해당 제품/서비스에 대한 심각한 문제점을 발견하면
그에 상응하는 비용을 고객으로부터 받아서 테스터에게 지불하는 형태이다. (물론 uTest에서도 수수료를 챙긴다). 그래서 uTest를 ‘Crowdsource
Testing tool’이라고 부른다. 워낙에 많은 지역에 걸쳐서 다양한 테스트 인프라를 구축하고 있기 때문에 uTest의 테스트 영역은 상당히 넓다. 기능
테스트부터 사용성, 보안, 지역화(localization), 속도에 이르기까지 다양한 테스트가 가능하며 웹사이트나 모바일앱 뿐만 아니라 인터넷에 연결
된 제품들은 모두 테스트가 가능하다. 가령 스마트 TV도 테스트의 대상이 될 수 있는 것이다.
패널 진행형 테스트 –uTest
원격 테스트

패널 진행형 테스트와 는 전혀 다른 형태로 ‘미션 수행형 테스트’ 업체들이 있는데 이들은 테스트 대상자 선정(리쿠르팅)에는 관여하지 않고 테스
트 대상물을 만드는 데 도움을 준다. 가장 대표적인 곳이 Usabilla이다.
• 테스트받고자 하는 프로토타입을 Usabilla 사이트에 올리고 테스트를 생성한다
• 간단한 테스트 정보와 더불어 테스트 질문들(어디에 주목이 가십니까? 다음에는 어떤 것을 클릭할 것인가요? 고치고 싶은 부분이 어딘가요?
등)을 선택한다
• 사용자의 이용환경이나 마우스 이동경로, 선호하는 콘텐츠 등이 결과로 나타난다 .
• 이와 유사한 서비스로는 fwesecondtest, navflow, clixpy, clicktale, userfly, labsmedia 등이 있다
미션 수행형 테스트 –Usabilla
원격 테스트
SOURCE : Usabilla

IA 테스트 - Navflow
Navflow는 네비게이션을 전문적으로 테스트하는 툴이다. 테스트
사이트로 사용자들을 초대한 다음, 테스트를 통해 그들이 어떻게
네비게이션을 효과적으로 이용하는 지를 다음과 같이 파악할 수 있
다.
• 사용자들이 원하는 페이지까지 잘 찾아가는 지
• 다단계로 이루어진 프로세스를 사용자들이 성공적으로 완수할
수 있는 지
• 몇 개의 페이지로 구성된 입력 과정(주문, 회원가입 등)을 사용
자들이 원활하게 이용할 수 있는 지
원격 테스트

IA 테스트 - Treejack
원격 테스트
Treejack은 정보구조만 전문적으로 테스트 할 수 있는 툴이다. 네비게이션보다는 Taxonomy에 테스트의 중점을 두고 있다.
• 미리 웹사이트나 모바일앱, 제품의 정보구조를 등록해 놓는다.
• 사용자들에게 특정한 주제어를 찾아가라는 테스크를 생성한다.
• 생성된 테스트 url로 사용자를 초대하여 사용자가 각 Task에 대해서 어떤 경로로 찾아가는지를 테스트할 수 있다. 다시 말해 의도했던 정보 설
계가 사용자들에게 올바르게 인지되고 있는지를 알아볼 수 있다.

※ 원격 테스트 사례
Elastic Path Software에서는 벤쿠버 하계 올림픽 공식 쇼핑몰의 Checkout(주문결제) 화면 디자인을 어떻게 바꾸는 것이 고객의 구매전환율을
높일 수 있을 지 궁금했다. 그래서 기존의 여러 화면으로 나뉜 주문결제 화면(Multi-Step Checkout)과 한페이지로 된 주문결제 화면(Single page
Checkout)을 가지고 A/B 테스트를 수행했다.
새로운 Single page Checkout 화면은 배송정보
입력 후에 결제정보를 입력하게 했으며, 새로운 계
정을 만들겠냐고 물어보는 옵션을 결제가 모두 완
료된 다음에 물어보는 특징을 지니고 있다.
Google Website Optimizer로 진행한 A/B 테스트
결과, 트래픽은 비슷했지만 구매전환율은 이전에
비해 21.8%가 높다는 결과가 나왔다.
이것은 새로 만든 Single page Checkout이 사용자
들에게 훨신 편리한 경험을 제공하고 있다는 결론
을 제시해 주었다.
SOURCE : Elastic Path Software

사용자 경험을 통해 혁신을 디자인하는 기업
ux1.co.kr, www.facebook.com/ux1korea
대표전화. 02-3485-4211

원격테스트_UX1

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (15)

Similar to 원격테스트_UX1

Similar to 원격테스트_UX1 (20)

More from Rightbrain UX1 Consulting group

More from Rightbrain UX1 Consulting group (10)

원격테스트_UX1