[NDC18] 나는 테스트 정책대로 살기로 했다. 테스트 정책을 수립하면서 깨달은 것들 (폰트는 기본 폰트로 교체함)

1. 넥슨네트웍스 빌드업팀
황우람
테스트 정책을 수립하면서 깨달은 것들
나는 테스트 정책대로 살기로 했다.

2. 목차
1. 서론
테스트 정책 수립의 이론/실무적
배경
2. 본론
1) 테스트 정책 수립 과정
2) 테스트 정책 세부 내용
3. 결론 및 앞으로의 계획

3. [안내 공지]
본 강연은 넥슨의 테스트 정책 자체에 초점을 맞추기 보다는
테스트 정책 수립 과정과 의의,
그리고 발표자 개인이 겪은 시행착오와 느낀 점
위주로 구성되어 있음을 밝힙니다.

4. 진행에 앞서 몸풀기용 자가진단 코너!!
http://i1.ruliweb.com/img/17/01/16/159a612c58e485474.jpg
Prolog: 테스팅 조직, 안녕들하십니까?
정답도 없고 상품도 없으니
부담과 기대는 살포시 내려놓으시고...

5. 가장 자신 없는 것은?
테스트 정책과 전략
테스트 계획
테스트 모니터링과 제어
테스트 설계와 실행
테스트 환경
다음은 *TMMi 레벨 2에
해당하는 주요 항목들이다.
*TMMi(테스트 조직 성숙도 평가 모델)
가장 자신 있는 것은?
출처: 미래창조과학부, 정보통신산업진흥원, ‘2013 지역SW융합사업 우수기업 컨설팅 사례집’
테스트 설계와 실행?
테스트 정책과 전략?

6. 왜 TMMi에서는 ‘테스트 정책’을
가장 먼저 다루고 있을까요?
그리고 넥슨은 어떻게
‘테스트 정책’을 수립했을까요?
http://cfile6.uf.tistory.com/image/22371E4C52F19BBE064B4E
본 강연의 메인 테마인
‘테스트 정책’!! A to Z
지금 시작합니다! Let’s get it!
테스트 정책과 전략
테스트 계획
테스트 모니터링과 제어
테스트 설계와 실행
테스트 환경
왜 때문이죠?

7. 발표자 소개

8. 서론
테스트 정책 수립의 이론/실무적 배경

9. - 테스트 정책?
- 테스트 전략?
- 참고 자료?
https://www.youtube.com/watch?v=AdQ4gtD9NgM
청중의(마음의) 소리

10. http://img2.ruliweb.com/img/img_link7/520/519305_6.jpg, https://www.youtube.com/watch?v=AdQ4gtD9NgM
“테스트 정책은 테스트에 대한 결정 사항을 안
내하고 합리적인 결과를 수행할 수 있게 하는
원칙이나 규율을 의미하고 있어.”(위키백과)
‘운영 정책’은 어디선가 들어본 적 있는 것 같애.
그런데 ‘테스트 정책’이란건 뭘 의미하는 걸까?
(아마, 잘 모르겠다고 하면 동굴 아저씨가 나타나서는 날 아무도
모르는 곳에 데려가서 가둬 버릴 거야. 무서워. 난 이제 다 틀렸
다...아앙..ㅠㅠ)
테스트 정책이란?

11. http://img2.ruliweb.com/img/img_link7/520/519305_6.jpg, https://www.youtube.com/watch?v=AdQ4gtD9NgM
위기는 언제든 찾아옵니다.
그리고 앞으로도 계속 잘
할 수 있을까요?
또한 정말 잘 해왔다고 확
신할 수 있을까요?
테스트 정책?
문제만 안 터지면
돼.
그런거 없어도
지금껏 잘 해왔잖아?
(응? 내가 잘못 들었나?)
품질 보증 부서가 테스터
의 감에 의존한다고?
그 때 그때 알아서
테스트 하면 되는 거
지. 감각 몰라?촉 말이
야,촉!!(때릴까?)
테스트 정책의 필요성(관리)

12. http://img2.ruliweb.com/img/img_link7/520/519305_6.jpg, https://www.youtube.com/watch?v=AdQ4gtD9NgM
테스트 정책?
그런데 말이야,
그거 꼭 써야하는거야?
안 쓰면 나~때릴꺼야?
때릴꺼야?
‘기록하지 않으면
기억되지 않는다.’ 는 말
이 있지.
기록의 중요성은 더 설명
하지 않아도 잘 알 거야.
세상에 그걸 모르는
QA가 어디 있니?
다 알고 있다구!!
혼자 똑똑한 척 그만
해!
네가 알고 있다고 전부
다 안다는 것은 착각이
야. 게다가 알고 있는 것
과 글로 쓰는 것, 실천하
는 것은 모두 어려운 일
이지.
일관된 기준(정책)이 있으면 좋겠다!! (1)
테스트 정책의 필요성(실무)

13. 테스트 정책? 그것은 매뉴얼!!
회사 단위 정책(업무 매뉴얼)의 중요성
테스트 정책? 그것은 원칙!!
준수할 수 있는 원칙을 만들고 정책으로 규정하자.
[위대한 기업은 다 어디로 갔을까]
LV2. 원칙 없는 확장은 탐욕이다.
[무인양품(無印良品, MUJI)은 90%가 구조다]
일관된 기준(정책)이 있으면 좋겠다!! (2)
테스트 정책의 필요성(경영 서적)

14. [정리] 테스트 정책 수립 배경(이론)
[Why]
지금보다 테스트를 잘하기 위해!
앞으로 다가올지도 모를 위기 예방을 위해!
테스팅 조직 전체의 전문성을 높이기 위해!
[What]
테스트 정책 수립
[When]
ASAP!!
[How]
테스트 정책을 기록하고,
테스트 조직 전체에 공유하며,
모두 실천하도록 하자!
조직 내
공감대 형성
[Who]
설마 내가?

15. http://blog.naver.com/PostView.nhn?blogId=dito_dito&logNo=220695332588, http://upload2.inven.co.kr/upload/2017/04/15/bbs/i14656379587.gif
그러다 보니 누군가 조직
이동하면...
신규 프로젝트가 생기면...
리더가 바뀌면...
비교 대상 결과 예시
테스트 기준 다름 이 정도면 Pass? 아니, 더 해야해.
테스트 유형 다름 이 팀은 비기능 테스트도 한다고?
QA 마인드 다름 자부심 강한 동료 VS 하루살이 동료
책임과 의무 다름 업무 강도는 리더에 따라 복불복?
그야말로
혼.파.망...
테스트 실무 조직의 현실(파편화)

16. http://mblogthumb2.phinf.naver.net/20151205_257/machulila_1449284064322Nqx79_GIF/tumblr_mn9h1gjuDu1r32an8o1_500.gif?type=w2, http://pds.egloos.com/pds/1/200309/19/19/a0000619_195711.gif,
https://scontent.cdninstagram.com/vp/30ef5403d5d6acb6afb40eb499817c70/5B5DF185/t51.2885-15/e35/22582493_163689720883366_7774921177004244992_n.jpg
(거의 항상)다수의 프로젝트를 동시에 진행
복잡한 구조
(계열사, 퍼블리셔, 개발사, 개발 QA, 외주 업체, 해외 등등 )
기준마저도 PC/Online game을 토대로 만들어진 것들
그냥 포기할까?
만들어봐요~만들어봐요~
어디어디 무엇이 만들어질까?
STAFF 조직의 과제(복잡다각화)
따라서 파편화/복잡다각화된 조직들을 대상으로
일관된 기준을 제시하는 것은 현실적으로 너무 어렵다.
힘들어도 꼭 만들어보려고 했었는데...

17. “최소한 이 정도는 해야 테스트 조직이지.”
일정 수준의 테스트 완성도를 보장한다는 것은
취약한 프로젝트도 성장시켜야 한다는 것!!
그래서 TMMi에서도 가장 기본적이고
중요한 작업이 바로 ‘테스트 정책’ 마련!!
결국 테스트 조직 전체의
상향 평준화를 의미!!
QA업무를 누가하던 일정 수준의 완성도를
보장해야 한다. (알겠나? 이카리 신지...)
https://pa1.narvii.com/6279/e67eb181310455eea61d9f42b8082441f7c38a76_hq.gif, http://file.instiz.net/data/file/20130726/7/8/9/789c69055406f1126a5aad92f732dbb5
그런데 과연 이걸 내가 할 수 있을까? 내가??
(조직 전체 상향?이거 실화냐?
차라리 걍 에바를 타고 말지...)
최소한의 기준에 대한 필요성(목적성)

18. [정리] 테스트 정책 수립 배경(실무)
[What]
테스트 정책 수립
[When]
ASAP!!
[Who]
ㅇㅇ내가..
조직 내
공감대 형성
[How]
알아서 잘...
[Why]
조직 단위 일정 수준의 테스트 성숙도 확보
개인역량이 아닌 프로세스 중심의 체계 마련
전체를 포괄할 수 있는 테스트 기준 필요

19. 내가 잘 하는 것 중 하나(SWAG~)
모방, 응용, 적용
뭐든지 보고 따라 하는 건 잘 함
But 창조는 불가;;ㅠㅠ
단 10분만에 수정없이 한번에 완성!!
(증인: 우리 가족)
솔직히
이건 좀 오래 걸림;;
이론을 실무에 적용하는 건 잘 함
2014 NDC: 기본 테스팅 기법 적용
2016 NDC: 리스크 기반 테스팅 기법 적용
2018 NDC: 테스트 정책 적용?!
http://file.thisisgame.com/upload/nboard/news/2016/04/27/20160427131021_9012.jpg, https://dispatch.cdnserbe.net/wp-content/uploads/2017/11/268a6c79ac3953d2b5cb90eb8ff99c3c.jpg, http://i.perezhilton.com/wp-
content/uploads/2018/03/ryan-reynolds-deadpool-2-writing-credit-screenwriter.gif
자!!용기 내서 이론을 실무에
적용해보자.

20. [참고] 나는 이론을 실무에 적용하기로 했다.
사무실과 현장은 서로 다르지 않다.
이론과 실무는 서로 다르지 않다.
정책 기획자
VS
현업 실무자
이론과 실무 = 상호보완적
실무 하다 막힐
때 있으시죠?
https://i.ytimg.com/vi/Sf5BTrdkGDk/hqdefault.jpg, http://www.readersnews.com/news/photo/201610/65247_24290_4450.jpg
(실무를 이론에 적용할 수는 없으니까...)
테스팅 이론을 꾸준히 연구하고
실무에 적용하려는 노력을 하는 이유
이 과정을 통해 이론과 실무가
모두 적용된 QA 정책을 마련!!

21. http://cfile28.uf.tistory.com/image/9976CB3C5A8FC5DE175D8F, http://mblogthumb2.phinf.naver.net/20100905_209/mysun1201_1283616346324eDl4Y_gif/100_mysun1201.gif?type=w210
[참고] 나는 정보 수집을 이렇게 하기로 했다.
QA의 생활화 1)
역순으로 해볼까요?
그렇게 해보니
잘 되던가요?
Nope! 매번 이렇게 하니,개념이 제대로 잡히지 않아
잘못된 정보나 단편적인 근거에 쉽게 현혹되는 것 같아.
1. 구글링, 기타 검색 엔진
2. 주변 친한 회사 동료
4. 멘토
3. 타사 동료나 지인
[(일반적인)정보 수집 도구 선호도]
5. 책

22. [참고] 나는 정보 수집을 이렇게 하기로 했다.
http://cfile27.uf.tistory.com/image/9947DE335A8FCA9135CCB3, http://cfile30.uf.tistory.com/image/27345833579C46781EF4A7
1. 책(전문 서적, 검증된 자료)
2. 멘토
4. 주변의 친한 회사 동료
3. 타사 동료나 지인
5. 구글링(출처 확인 필수)
[나의 정보 수집 도구 선호도]
손쉽게 얻은 지식과 정보로
큰 효과를 거두려는 발상 거 욕심이 너무
지나친거 아니오!

23. 테스트 정책 마련을 위한 로드맵
처음부터 치밀하고
완벽한 정책을 만들 수는
없으나...
(ㅇㅈㅇㅇㅈ
저건 another level;;)
https://ocealos.files.wordpress.com/2012/02/9851.jpg, https://post-http://www.dalong.net/review/mg/m111/p/m111_181.jpg , https://i2.ruliweb.com/img/5/3/7/B/537B12A63627880005
최소한의 기준(뼈대, 밑
그림)은 만들어 볼 수 있지
않을까?
(작은 것부터 요래요래~일단 시작!!)
그 뒤 이론과 실무를 조합하고
현업 전문가들의 피드백이
반영되면
비로소 완성되지 않을까??
(언젠간...)

24. 본론
1. 테스트 정책 수립 과정

25. - 실무 경력 약 10년차
http://cfile29.uf.tistory.com/image/222A623657AC911D0E7AC1
- 동료의 원서 번역 자료 참고
- STA 주관 교육 수료(16h) 및 교재 참고
- 당시 스탭 조직 10개월차!
(이 정도는)
할 수 있다!!
테스트 정책 리스트 구성(초안)

26. http://image.hankookilbo.com/i.aspx?Guid=34fea4c40d1a41d9b9dd350e6639f3f4&Month=201608&size=640
안 되잖아~~
ㅠㅠ
- 실무 관점/감각 필요
- 과도한 목표와 기준
- 피드백 및 검증 필요
테스트 정책 리스트 구성(초안) = Fail
- TF의 필요성
확인

27. [참고] 나는 이렇게 TF를 구성하기로 했다.
QA의 생활화 2)
뭣이 중헌디?(리스크 기반)
[(일반적인) TF 멤버 선정 방법]
1. 나이 또는 입사일 기준으로 구성
2. 마음에 맞는 친한 멤버끼리 구성
4. 각 조직별로 리더가 착출 ( =현실 )
3. 일단 대충 골고루 섞어보자.
Nope! 매번 이렇게 하니 다들 동기부여가 안되고
확실한 방향성도 없어서 흐지부지 되요.(feat.조별과제)
http://cfile28.uf.tistory.com/image/9976CB3C5A8FC5DE175D8F, http://mblogthumb2.phinf.naver.net/20100905_209/mysun1201_1283616346324eDl4Y_gif/100_mysun1201.gif?type=w210
그렇게 해보니
잘 되던가요?

28. [참고] 나는 이렇게 TF를 구성하기로 했다.
1. TF 구성도 리스크 기반으로!!!
2. TF는 멤버 선정이 가장 중요!!
3. TF의 리더는 과감성과 인내심이 필수
4. 스스로 동기를 부여할 수 있는 멤버
[나의 TF 멤버 선정 방법]
[TF 구성 시 참고한 서적 및 사례]
1) 오리지널스
3) 리더의 편견
2) 구글은 어떻게 일하는가
4) Good to great
멤버 선정에 공(功)을 들이지 않고
TF가 알아서 잘 되기를 바란다?
거 욕심이 너무
지나친거 아니오!
http://cfile27.uf.tistory.com/image/9947DE335A8FCA9135CCB3, http://cfile30.uf.tistory.com/image/27345833579C46781EF4A7

29. TF 멤버(어벤져스) 구성
http://www.newsinside.kr/news/photo/201804/492328_338441_3011.jpg, http://http://upload2.inven.co.kr/upload/2017/09/25/bbs/i15463256794.jpg
실무적 관점에서의 조언자들 등장!!
열정과 추진력 논리적 판단과 추론 주관과 소신 경험과 감각 그냥 뉴타입
- 현실주의자, 이상주의자, 염세주의(?)자, 포커 페이스, 천상 서포터 등등
* TF 멤버들과 위의 이미지는 아무런 관련이 없습니다. 괜히 우쭐대다가 이상한 사람 취급 받지 않길 바랍니다.
- 작성된 초안에 대한 확실한 피드백을 기대!!

30. 보란듯이 또 실패??(TF는 생각보다 강력했다!)
https://quasarzone.co.kr/data/editor/1804/9e6637a34ec65e8caacdcb653fe8b732_1523186080_5985.gif, https://i1.wp.com/issuegallery.com/wp-content/uploads/2017/11/unnamed-file-1.gif?resize=529%2C293&ssl=1
- 각자의 관점으로 초안을 융단 폭격
“정책 협의 기준부터 만들어보자!!”
- 한 명당 최소 1시간 이상 정책에 대해 이야기할 줄은...
- 너덜너덜해진 초안, 회의 때마다 매번 리셋...
“아...이대로 가다가는 정책 수립은
커녕 회의만 하다가 끝나겠는걸...”
회장님, 이제 제가 LA에 있었을 때 얘기를 해드리죠.
- 제발...(무려 4시간째)

31. 1. 사용자 중심의 정책 수립!!
각 조직의 파편화된 현실과 개선 관련 한계점을 면밀히 검토함
복수의 정책이 수립될 가능성도 사전에 염두하고 진행
협업 조직 배포를 감안하여 배포 범위에 따른 확장성, 실효성 고려
2. 수단과 목적의 혼동 주의
테스트 조직을 위한 일관된 기준을 제시
정책 수립 자체가 목적이 아니라는 것을 리마인드
합목적성(合目的性)을 항상 고민하도록 유도(질의응답 필수)
성공적인 정책 수립을 위한 넓고 얕은 대화법

32. 의도적으로 기존 방식에 의문을 품고 역행하는 개선방안을 선(先) 제시
장기적인 목표로 설정(사실 급하게 만들면 졸속행정….)
초안 완성 후 실효성 검토를 위한 실무 리더들의 피드백 수용
*정반합: 기본적인 구도는 정(테제)이 그것과 상반되는 반(안티테제)과의 갈등
을 통해 정과 반이 모두 배제되고 합(진테제)으로 초월한다는 것이다.
(위키백과)
이를 통해 기존 방식이 올바른 방법인지 스스로 검토하는 형태로 진행
3. *정반합
4. 충분한 폴리싱 과정
성공적인 정책 수립을 위한 넓고 얕은 대화법

33. 그렇게 협의다운 협의가 시작되었고...
욕심 버리고, 선입견 버리고, 취향 버리고...
정책 문서에 어울리는 형태, 단어, 표현 등을 고려
테스트 정책 수립 시
반드시 포함되어야 할 키워드!!
하지만 여전히 뭔가 부족하고 허전하다.
정책 수립의 기준이 되는 중요한게 빠진 것 같다.
벚꽃 찍으러 왔는데 카메라를 안 가져왔네.
- ...뭐?
http://mblogthumb1.phinf.naver.net/20160807_44/liberty9809_1470501982168SwaNL_GIF/tumblr_inline_o2wuieSJxl1tiaul6_500.gif?type=w800

34. 품질[quality, 品質]
테스트 정책을 만드는 본질적 이유 = 품질 향상

35. 품질의 본질??
https://upload.wikimedia.org/wikipedia/commons/thumb/f/fa/Apple_logo_black.svg/200px-Apple_logo_black.svg.png, http://adkor.ad.co.kr/ad/tv/show.do?ukey=1673498
애플이 신기능보다 안정성과 성능에 초점을 맞춰 소
프트웨어 업데이트하는 방향으로 전략을 수정했다고
블룸버그 등 외신이 12일(현지시간) 보도했다.
블룸버그에 따르면 애플은 출시 전략을 조정함으로
써 소프트웨어에서 발생하는 문제를 수정할 수 있을
것으로 판단했다. 무리한 목표 달성보다 개발자에게
좀 더 시간을 줌으로써 제품 완성도를 높인다는 전략
이다. 출처: [전자신문]
애플, 소프트웨어 전략 수정
‘속도보다 품질 우선'
40년간 가구를 만들어온 모 가구 회사
그럼에도 가구가 가장 어렵다.
만들수록 기준은 높아지니까 쉽게 만들 수 없다.
품질 보증 업무를 수년간 하고 있는 우리 조차도
품질에 대해 명확히 정의 내리는 것은 어렵다.
품질에 대한 진지한 고민과 철학을 담는 것도 쉽지 않다.

36. NDC 17 세션 리뷰 진행
‘품질 관리의 철학과 게임QA’ (비공개)
고수성님 강연 인용
품질의 본질??
절대적 가치 윤리적 관점의 대상
세션 핵심 키워드

37. 절대적 가치
품질은 협의의 영역이 아닌 ‘절대적 가치 준수’의 영역
QA조직은 품질 관점에서 객관적인 의사를 명확하게 밝혀
출시 과정 전반의 품질 균형에 기여하려는 노력을 해야 한다.

38. 윤리적 관점의 대상
경영철학에도 포함되는 핵심 가치
모든 부서, 모든 개인과 팀이 협업하여
이루어내야 할 주요 가치에 해당
‘협의된 품질 수준을 갖출 수 있도록 하는 장치 마련’은
QA조직의 역할이자 윤리적 소임의 문제!!
게임은?
즐겁고(재미) 편안(안전)한 게임을 합리적인 가격(비용)으로 고객분들께 제공
‘품질에 대한 가치 준수’ 측면에서 게임 업계 내 롤 모델은?
품질은 하나의 윤리적 관점으로 바라봐야 할 대상
불꽃놀이(또는 놀이기구)가 QA에게 주는 메시지

39. 그럼에도 불구하고...
협의된 기준을 달성하지 못한 제품에 대한 QA조직의 입장은?
올바른 가치판단 및 의사결정을 위한 객관적인 자료를 제공
(최종 판단과 결정, 그 자체는 QA조직의 역할이 아님)
고객의 관점에서 고객의 불편요소와 피해사항을 고려
“제시된 상황을 고려할 때 QA조직은
‘고객의 관점에서 품질에 대한 엄격하고
객관적인 기준을 제시’할 수 밖에 없다.”
- 상기 내용은 테스트 정책에 포함됨
고마워요~
고수성 본부장님~
http://cfile29.uf.tistory.com/image/2437294457F501A50C2127

40. 기존 게임 QA조직 절대 불변의 ‘0순위 가치’였던 ‘안정성’!!
게임 QA관점에서 품질?
게임성이 좋다? (완성도?)
갓겜이다? (소통 방식?) 혜자겜이다?
(가성비?)
고객 관점에서 품질?
http://gametoc.hankyung.com/news/articleView.html?idxno=42158
출처: [한경닷컴 게임톡]
하지만 더 이상 ‘안정성’만으로는
2018년 현재, 눈높이가 높아진 고객분들을 만족시킬 수 없다.

41. 우리 게임의 품질은 어떠한가?
품질을 기준으로 담당 프로젝트를 진단해보자.
http://db.kookje.co.kr/news2000/photo/2018/0225/L20180225.99099009449i1.jpg
왜 우리는 테스트를 하는가?
테스트란 이 얼마나 허무하고 아름다운가?
왜 우린 테스터 자체로 행복할 수 없는가?
빌드는 어디서 와 어디로 가는 중인가?
원해, 이 모든 걸 하나로 아울러 주는 답
품질에 관한
우리의 철학을 테스트 정책에 포함해보자!!
더 좋은 품질로 고객분들께 서비스할 수 있는 방안은 무엇일까?

42. 본론
2. 테스트 정책 세부 내용

43. 주요 안건
최대의 품질이란?
책임과 의무
QA프로세스 효율 향상
프로세스 개선을 위한 접근법
+α
정책 핵심 내용
테스터 마인드와 테스팅 전문성
테스트 프로세스 정의
테스팅의 핵심 가치
테스트 정책 세부 내용

44. 테스터 마인드와 테스팅 전문성
테스터 마인드
모든 QA조직의 구성원들은 *스스로 품질에 대한 철학과 자부심을 갖고 업무에 임해야 하며,
모든 테스트가 중요하고 의미 있는 활동이라는 소명 및 윤리의식이 뒷받침 되어야 한다 .
*자신의 이름을 걸고 출시할 수 있는가?
테스트 엔지니어의 역할과 자격 정의
테스트 매니저의 역할과 자격 정의
테스팅 전문성(*직무역량 매트릭스)

45. *직무 역량 매트릭스
QA 직무에 따른 필수 역량과 평가 항목 등을 나열하였으며, 미완성이라 공개해드릴 수 없는 점 양해를 부탁 드립니다.

46. 테스트 프로세스 정의
- ‘리스크 기반 테스팅’을 테스트 활동의 핵심 기조(근간) + 추가 기법적용
경제 원리(선택과 집중)
최적의 테스팅 방법론
왜 때문이죠?
http://cfile6.uf.tistory.com/image/22371E4C52F19BBE064B4E
- 리스크 기반 테스팅 전략의 적용 방식은 탄력적으로!!
도입부터 FM을 강요하는 것은 정책 수립 & 안정화에 대한 부담을 가중시킬 수 있음
이미 정착 궤도에 진입한 조직을 표준 모델 삼아 참고할 수 있도록 유도
장기적 관점에서 핵심 기조 자체는 불변, 개별 운영 방식은 유동적으로 진행 가능

47. 테스팅의 핵심 가치
결함을 발견 또는 예방함으로써 기업이 갖고 있는 유/무형의 가치 손실을
최소화하며, 고객들을 위해 더 즐겁고 안정된 게임을 만드는데 기여한다.
[참고] 글로벌 고객들에 대한 감사와 사명감
- 대만 타이베이 파크엑스포 돔(TAIPEI PARK-EXPO DOM)에서
진행된 ‘메이플스토리 기네스 신기록 이벤트’
- 1,558명이 만든 단풍잎은 '인간으로 만든 세계에서 가장 큰
단풍잎'으로 기네스북 세계 기록에 등재
출처: 메이플인벤
http://static.inven.co.kr/column/2017/06/28/news/i13872746157.jpg

48. 주요 안건
최대의 품질이란?
책임과 의무
QA프로세스 효율 향상
프로세스 개선을 위한 접근법
+α
정책 핵심 내용
테스터 마인드와 테스팅 전문성
테스트 프로세스 정의
테스팅의 핵심 가치
테스트 정책 세부 내용

49. 최대의 품질이란?
책임과 의무
QA조직의 주요 책임과 의무 사항
정밀한 테스트 설계에 대한 책임과 의무
정확한 테스트 결과에 대한 책임과 의무
개인적으로는
고객 최대 다수가 인정하는 뛰어난 품질의 게임을
QA와 함께 만들어 나가는 것(모든 QA조직의 이상향?)
잘 모르겠지만 언젠간 그렇게 될 수
있도록 계속 노력해야겠지?

50. QA프로세스 효율 향상
테스트 시간을 단축한다? = 품질 확보와는 상반된 이야기?
테스트 프로세스 개선을 위한 접근법
프로세스 진단 모델 개발(*프로세스 맵)
테스트 자동화
개발 프로세스 분석 및 연구
*미완성이라 공개가 어려운 점 양해를 부탁 드립니다.+ α
우리의 가치와 경쟁력, 새로운 지식(AI, 신규 플랫폼 등)학습
테스트 리소스를 절약할 수 있는 방안 연구/개발

51. 품질 향상을 위한
조직 단위의 프로세스 최적화 활동
주요 안건
최대의 품질이란?
책임과 의무
QA프로세스 효율 향상
프로세스 개선을 위한 접근법
+α
[정리] 테스트 정책을 종합하면...
정책 핵심 내용
테스터 마인드와 테스팅 전문성
테스트 프로세스 정의
테스팅의 핵심 가치

52. 결론 및 앞으로의 계획

53. 여러분은 지금
최적의 테스트를
수행하고 있습니까?
결론
TMMi Lv5(핵심 키워드: 최적화)를 향한 도전!!
그 시작은 ‘테스트 정책 수립’!!
테스트 정책 수립은
1. 조직 단위의 품질 향상을 위한 필수 작업
2. 조직 단위의 테스트 프로세스 최적화를 위한 필수
작업 여러분은 지금
품질 향상활동을
수행하고 있습니까?

54. [참고] 최적화가 잘 되지 않는 이유
최적화를 Fitting 에 비유
https://cdn-images-1.medium.com/max/1200/1*GPoEFrj2TrPgZd0Q71JOMw.png, https://cdn.mirror.wiki/http://upload.inven.co.kr/upload/2014/09/28/bbs/i4524258382.jpg, https://i.pinimg.com/236x/49/5c/d7/495cd735e7933b0476f8e3481666a173--good-
halloween-costumes-easy-costumes.jpg, https://www.youtube.com/watch?v=ffzltYfk-fY
수선 다이어트 괴상함 불편함

55. https://post-phinf.pstatic.net/MjAxNzA5MDdfMjMy/MDAxNTA0NzUxMTM5NjM5.8VwoqaDbPkVOvZawhao7SvmooDiVP0Sxhd02481VS_og.LXiC0OXBmCp29Rz7q9CH-UqNtLrqffp1ViEx90ARvv8g.PNG/4.png?type=w1200,
http://cfile6.uf.tistory.com/image/2230874052CD0CEF33664F, http://cfile23.uf.tistory.com/image/1830DD3E4DA2E7D326019F
1. 꾸준한 운동과 관리로 어떤 옷도 소화할 수 있는 몸짱 되기
2. 많이 입어본 후 내게 어울리고 편안한 옷을 입는 패션 피플 되기
3. 둘 다 되면 Best!!
프로세스 최적화도
마찬가지 아닐까요?
[참고] 최적화가 잘 되지 않는 이유
우선 현 상태 진단부터...그리고 그 후!!

56. 우리 모두가 각자에 어울리는 옷을 입고
편안하게 활동할 수 있을 때!!
최적의 테스트란?
비로소 주인공이 될 수 있다.
늘 새롭고 짜릿한 얼굴천재:
사실 나처럼 잘 생기고 키 크면 어떤 옷도 소화할 수 있는 것 아냐?
(‘패완얼’이라고 혹시 들어봤니?)
늘 똑같고 심심한 일반인:
응, 맞아. 어쩜 형은 그렇게 맞는 말만 할까. 참 대~~~단해.
그런데 난 다시 태어나도 불가능하다는건 알지?
그리고 그거 우리 아버지 옷이니까 이제 그만 돌려줄래?
각자의 프로젝트를 진단하고
최적의 방법론과 리소스가 활용된다면
최적의 테스트가 가능하다!!
http://img.insight.co.kr/static/2017/07/30/700/8b578ymhy77so5m037k8.jpg, http://img.asiatoday.co.kr/file/2015y/09m/12d/2015091201001363500080431.jpg

57. 테스트 정책 수립!!
모든 조직의
품질 향상과 최적화를 위한
초석이 되길!!

58. 앞으로의 계획
협업 조직의 공감과 이해를 위한 홍보 활동 진행
(NDC, NSC, NEXON Talk 등등)
‘모두의 정책’(사내 위키 활용)
테스트 정책을 바탕으로 한 실무 조직의 테스트 전략 수립 지원

59. Epilogue: QA는 OOO이다.
이처럼 QA는 전방에서 득점하는 역할은 아니지만,
팀을 승리로 이끄는 중요한 역할을 하고 있다고 볼 수 있습니다.
좋은 수비수는 때로 공격 찬스를 만들어 낼 수 있으며,
수비 실책은 상대에게 찬스를 허용하기도 합니다.
QA는 축구의 수비수(때로는 골키퍼),
야구의 포수와 같은 필수 포지션이라고 생각합니다.
http://file2.nocutnews.co.kr/newsroom/image/2015/03/20/20150320131549797190.jpg, http://image.sportsseoul.com/wyzmob/timg//l/20150612/l_2015061201000757400050481.jpg, https://steemitimages.com/0x0/http://i.imgsafe.org/3f26bb6647.gif
때로는 위기를 기회로 만들 수도 있는 든든한 파트너!
철학과 소신이 담긴 테스트 정책을 보유한 QA조직과 함께
우리 이제 꽃길만 걸어요~.

60. 참고 자료
TMMi 중심의 테스트 프로세스 구축 및 개선교육 -STA
소프트웨어 테스트 실무 가이드 -STA
오리지널스 -애덤 그랜트
리더의 편견 -미나투레이싱험, 볼프강 레마허
무인양품은 90%가 구조다 -마쓰이 타다미쓰
위대한 기업은 다 어디로 갔을까 -짐 콜린스
좋은 기업을 넘어 위대한 기업으로 -짐 콜린스
구글은 어떻게 일하는가 -에릭 슈미트, 조너선 로젠버그, 앨런 이글

61. 고맙습니다.
제작 지원: NDC 사무국, 넥슨 네트웍스
제작: TMMi TF
(강병주, 정민철, 정진수, 정해리, 이석용, 황우람)
출연: 황우람
배급: 빌드업실
투자: 해주시면 좋죠.(AGE GAG)
지원: 역시 빠방하면 더 좋구요~(AGE GAG)
Special Thanks To
고수성님, 서정린님
지금은 안 계신 문종호님
최진희님, 박예지님, 이준석님
이하 각 실/팀장님들
소프트웨어 장인의 저자 ‘산도르 만쿠소’
고등래퍼2 ‘HAON군’ 리스펙!
마지막으로 사랑하는 아내
그리고 딸
진심으로 사랑하고 고맙습니다.