[NDC 2018] 테라 콘솔 포팅기 - UE3 게임 현세대 콘솔로 이식하기

블루홀 테라본부 콘솔포팅TFT
이해찬
- UE3 게임 현세대 콘솔로 이식하기
<테라> 콘솔 포팅기

TERA
- Free-Targeting MMORPG
- 2007년 개발 시작
- 2011년 한게임 서비스 시작
- 2016년 넥슨 서비스 시작
- 현재 북미, 유럽 포함 8개 지역에서 서비스 중

- 2016년 개발 시작
- 2018년 4월 3일 정식 런칭
- PlayStation4 / XBox One 동시 런칭
- En Masse Entertainment 퍼블리싱
- 북미 / 유럽 서비스
TERA Console

테라 콘솔을 만들면서 있었던 이런저런 일들을 공유하고자 합니다.
TV로 보는 엘린짱 TERA~ (감동)

발표자 소개
• 2014.2 ~ : 블루홀 테라본부 클라이언트팀
• 2016.3 ~ : 블루홀 테라본부 콘솔포팅TFT
• haechan@bluehole.net

주요 발표 내용
콘솔포팅에 대한 전략 세우기
• 팀 빌딩, 일정 수립, 그리고 기술적 결정 사항들
• TERA 콘솔의 사례 공유
추천 청강 대상 : 리드급 엔지니어, 프로젝트 매니저
UE3엔진을 현세대기 콘솔에 이식할 때의 최적화 방법
• 콘솔 기기의 최적화 전략
• 리소스 로딩 최적화, 메인 스레드 로직 최적화
추천 청강 대상 : UE3 개발자, 콘솔 플랫폼 개발자

바로 이어서 렌더링 스레드 최적화에 대한 발표가 있습니다
연결되는 내용이니 이 발표도 많이 들어주세요~

목차
1. TERA 콘솔팀의 탄생과 시작
2. TERA 콘솔팀의 2년간 개발 기록
3. UE3 콘솔 최적화 – 리소스 로딩
4. UE3 콘솔 최적화 – 메인 스레드 병렬화
5. 마무리

• 어쩌다가 TERA를 콘솔로 포팅하게 되었는지
• 어떻게 포팅 전략을 세웠는지
5. 마무리

※과장된 표현입니다
님아 네버윈터라는 MMORPG가
XBOX ONE으로 나왔는데 너무 멋있어!
우리도 하자!
어.. 그래? 근데 포팅하는 게
쉽지는 않을 것 같은데..
걱정 ㄴㄴ 이런 거 외주하는 업체 많음.
내가 알아서 진행 하겠음
???? (그럴 리가??)
그럼 검토해 볼까?
사건의 시작 (2015년 겨울)

하지만 결국 불발됩니다.
• 해외 업체와 협업 가능한 인프라 구축의 어려움 (Feat. 폐쇄망)
• 서비스를 위한 런처, 패치 시스템, 운영툴 등은 결국 우리가 해야함
• 기획서도 다 써줘야 하고, 질의응답을 위해서라도 우리 비용 들어감
• 추후 유지보수도 어차피 우리 몫
• 너무 비쌈
• 등등등..
한 줄 요약 : 이럴 거면 외주를 왜 하지 싶을 정도로 관리 비용이 비쌌음

핵심 기술을 외주로 해결하는 게 제작의 명가가 나아갈 방향인가에 대한 정체성 고민
기왕 콘솔 서비스를 해볼거면 직접 개발 경험을 쌓는 것이 회사가 발전하는 방향이 아닐까?
(블루홀 홈페이지의 소개 내용)

2016년 3월 4일..
하.. 해찬아 테라를 콘솔로 옮기는 걸 내부에서 할까 하는데,
가능하다고 보니?
음? 별 것도 아니구먼
제가 해드림 ㄱㄱ
코.. 콜!
※과장된 표현입니다

이렇게 TFT가 발족됩니다
(바로 다음 주 월요일 발령 -_-)
관리자급 제외하면 1인 실무자 R&D 팀으로 시작
ⓒShotaro Tokuno, HOUBUNSHA/NEW GAME! Project

어떻게 포팅하지?
기존 UE3 엔진을 개조한다. TERA 엔진을 UE4로 올린다
(TERA를 UE4로 다시 만든다)
UE3 는 PS3, Xbox 360 용 게임 엔진
ⓒWarner Bros. / The Matrix

개발 조건
• 소규모 R&D 팀
• 테라본부 지원 기대하기 힘듦
• 아트 지원은 더더욱 없다
UE4로 가려면?
• UE3 아트리소스를 그대로 UE4에서 읽을 수 있게 하는 것은 정말 힘듦
• 아트팀이 노동 집약적으로 포팅하는 것이 그나마 현실적
• 아트 퀄리티가 필연적으로 달라짐 => 강한 아트 디렉팅이 필요
결론 : 테크 파워만으로 포팅하기 => UE3를 개조하자
개발 자원 고려

UE3-Unsupported의 존재
외주
개발
UE3는 2012년에 업데이트가 끝났지만 외주를 통해 현세대콘솔 지원을 합니다.
개발

TERA는 구형 UE3
<기존 PC TERA의 UE3> <UE3 Unsupported>
- UE3 2010년에서 업데이트 중지
- 32bit
- GFX 3.0
- UE3 최신 (2012년까지 업데이트)
- 64bit
- GFX 4.2
• 단순히 플랫폼 Layer의 코드만 가져와서 될 게 아니라 다른 엔진 코어까지 가져와야 하는 상황
• ‘기존 TERA를 개조’하는게 아니라 ‘UE3-Unsupported에 TERA를 다시 만드는’ 방법으로 결정
• 반대로 했다면 렌더링 되게 만드는데 까지만 몇 달은 걸렸을 것

정리
외주 vs 자체개발
• 콘솔 포팅을 전문적으로 하는 회사들이 많은 것은 사실
• 패키지게임과 달리 온라인 서비스를 지속적으로 할 거면 외주관리가 만만치 않다.
• 블루홀은 콘솔 개발/서비스 경험을 내재화 하고 싶었기에 직접 포팅을 선택
UE3 게임을 포팅할 때에는
• UE4로 가는 것은 좋은 선택이나 아트 파워가 많이 필요함
• 테크 위주의 팀에게는 UE3-Unsupported 를 활용하는 것이 현실적
• 테라는 엔진 변경점이 많아서 게임을 다시 만드는 방법을 선택

• 포팅을 할 때 어떤 일들이 필요한지
• 어떤 일이 어떠한 멤버 구성으로 얼만큼의 일정이 소요되었는지
• 테라 콘솔팀의 사례를 통해 공유
5. 마무리

주요 마일스톤
2016.3
18.3.9 1차 OBT
18.3.16 2차 OBT
18.3.27 Founders’ Pack 런칭
2017.1 2018.1
16.9 첫 알파 테스트
16.12. 첫 PS4 QA 시작
17.2 첫 XB1 QA 시작
17.9 최적화 1차 마감
17.9 PAX 시연
17.9 2차 Cert 제출
17.12 Technical Test (CBT)
4 5 6 7 8 9 10 11 12 4 5 6 7 8 9 10 11 122 3 42 3
2018.4.3 정식 오픈
17.4 첫 PS4 Cert 제출
17.4 첫 XB1 Cert 제출
16.3.7 프로젝트 시작

프로덕션 폴리싱프리 프로덕션
주요 마일스톤
2016.3
18.3.9 1차 OBT
18.3.16 2차 OBT
2017.1 2018.1
16.12. 첫 PS4 QA 시작
17.9 PAX 시연
4 5 6 7 8 9 10 11 12 4 5 6 7 8 9 10 11 122 3 42 3
2018.4.3 정식 오픈

시작하기
일단 UE3-Unsupported를 PS4 Devkit에서 먼저 돌려봐야죠
<요런 샘플 게임을> <PS4 개발킷에서>
• XB1 Devkit 배송이 늦어져서 PS4 먼저
• UE3-Unsupported의 PS4 SDK 버전이 낮아서 마이그레이션 하느라 몇 주 소요
프리프로덕션 단계
2016.3 4 5 6 7 8 9 10 11 12

프로토 타이핑
이제는 테라를 이식해야죠.
• 최소한의 것만 이식을 합니다.
• InputManager, 플레이어 이동 처리, Skeletal Mesh 로딩
• 가능성을 확인하는 단계
• 엔진 이식이 아닌 테라를 다시 만드는 접근을 취했기에 빠르게 렌더링 결과를 얻음
2016.3 4 5 6 7 8 9 10 11 12

팀원 구함
이 시점에 프로그래머를 2명 더 영입
프로그래머 A
• 기존 UI GFX 버전 올리기 및 패드 입력계 구현
프로그래머 B
• 기존 아트 리소스 로딩하기
• SkeletalMesh 뿐 아니라 StaticMesh, Particle, Terrain, Sound 등. 일단 로딩이라도 되게.
• 엔진 버전이 달라서 필요해진 초기 작업
프로그래머 C (저)
• 모든 테라 컨텐츠 코드 이식 및 PS4에 대한 네크워킹 코드 작업
• 게임이 켜지는 것을 우선. 플랫폼 특성상 구동 안되는 코드는 “#if !Console” 후 Todo 처리
2016.3 4 5 6 7 8 9 10 11 12

미국으로
그리고 갑자기 미국으로 가게 됩니다 (으잉?)
En Masse Entertainment 사무실 창 밖
시애틀 날씨 좋을 때~
2016.3 4 5 6 7 8 9 10 11 12

• UE3-Unsupported PS4 버전을 만든 그 회사
• UE3 포팅 전문이지만, 분야 가리지 않고 기술 컨설팅 해주는 회사
• 마침 시애틀에 있음. En Masse Entertainment 사무실과 가까움
• 외주가 아닌 컨설팅의 형태로 접근 -> 전문가에게 빨리 배우자
미국으로
Hardsuit Labs 로 부터 컨설팅 받기
2016.3 4 5 6 7 8 9 10 11 12

미국 팀 : PS4 개발 안정화
미국으로
두 팀으로 나눠진 거죠.
UI 개발하기
• PC TERA에서 개발용 브랜치 생성
• 숏컷, 인벤토리, 스킬, 퀘스트 저널
인원구성
• 프로그래머 1
• UI 스크립터 2
• UX 디자이너 1
• UI 디자이너 1
• QA 5
• 미국팀 작업에 대한 컨설팅
• XB1도 비슷한 수준으로 이식해 주기
한국팀 : UI 개발 Hardsuit Labs : 컨설팅
2016.3 4 5 6 7 8 9 10 11 12
PS4 개발 속도 올리기
• 각종 그래픽 버그 수정
• SpeedTree / Bink Migration
• 쿠킹 에러 다수 수정
• 텍스처 캐시 스플리팅
• 패키징 / 배포 연습
인원구성
• 프로그래머 2
• 팀장 1

2016년 7월 중간자료
2016.3 4 5 6 7 8 9 10 11 12

• 8월 중순 쯤 한국에 돌아와서 한국팀 UI 작업과 머지를 시작
• Hardsuit Labs 작업이 늦어져서 Xbox One 결과 머지는 미뤄짐
합체!
2016.3 4 5 6 7 8 9 10 11 12

9월 7일 첫 알파 테스트 버전 (PS4에서 구동한 것) 2016.3 4 5 6 7 8 9 10 11 12

프로덕션 단계 준비
이제는 프로덕션 단계로 넘어가기 위한 준비 단계
• Iteration을 위한 콘솔용 배포 프로세스
• Hardsuit Labs의 XB1 작업 머지
• 로컬라이징 (영어, 불어, 독일어) 작업 환경 만들기
• 플랫폼 서버 연동 (=계정 인증 등) 하기
엔지니어링 목표는
• 콘솔에서 게임이 어떻게든 굴러가게 만드는 것 에서
• 다른 사람들이 일을 잘 할 수 있게 만들어 주는 것으로 바뀜
2016.3 4 5 6 7 8 9 10 11 12

그 외에도..
UI 개발 가속화
• UI 스크립팅 팀 단기 외주 (3명)
• 클라이언트 프로그래머 추가 투입
2016.3 4 5 6 7 8 9 10 11 12
전투경험 개선
• 알파 테스트 후 생긴 욕심
• 전투 Focus 사내 테스트를 통한 주 단위 Iteration
엔진 버그 수정
• 끊임없는 버그의 산

12월 2차 머지
• 12월 21일 첫 PS4 QA!
(지금까지는 PC로 하고 있었음)
아 망했어요

2017년 새해가 밝았어요
이제 개발 사이클이 가능함
• 작업 -> 배포 -> 콘솔QA -> 무한 반복
• XB1은 2월 부터 가능해짐
프로그래머를 추가 영입
• 다른 프로젝트 중인 테라 출신 시니어들 에게까지 Help 요청
• UI 계속 제작
• 엔진 버그 수정 / 최적화
• 플랫폼, TRC/XR 작업
17.1 3 5 6 7 8 9 10 11 122 4
프로덕션 단계

TRC / XR
• 플랫폼 마다 마스터 패키지에 대한 Checklist가 있습니다.
• PS4 : Technical Requirement Checklist (TRC)
• XB1 : Xbox Requirement (XR)
• 모바일에서 앱 심사 같은 거죠
• 앱을 제출하여 심사를 받는 과정을 Certification이라고 합니다.
17.1 3 5 6 7 8 9 10 11 122 4
프로덕션 단계

TRC / XR
알아 두면 좋은 것
• Certification에 들어가면 두 플랫폼 모두 일주일 걸림
• Sony / MS에 테스트를 하는데 필요한 도구를 제공해야 함
• 항목 별로 면제 요청이 가능하나 절차가 오래 걸리고 통과가 쉽지 않음
• 처음 하는 회사는 보통 4~5번은 떨어진다고 함.
• 1년 걸린다고 생각하고 미리 준비할 것
• 자세한 내용은 NDA 문제로 생략
17.1 3 5 6 7 8 9 10 11 122 4
프로덕션 단계

4월 마일스톤
다음 빌드의 목표
• PS4/XB1 동시 Cert 제출
• 모든 UI 개발 완료 (중요도 낮은 일부 제외하고)
• 로딩 최적화 완료 (다음 챕터에서 자세히 다룹니다)
• 기타 중요 엔진 버그들 수정
Cert 떨어질 것을 감안해도 이 정도 계획이면 여름 쯤에 출시할 수 있겠지 (행복회로)
17.1 3 5 6 7 8 9 10 11 122 4
프로덕션 단계

마일스톤 점검
• XB1은 조금 늦어져서 4월 말에 Cert 제출
• 결과는 당연히 둘 다 FAIL
• 하지만 계속 수정 / 재제출 사이클을 돌기만 하면 된다는 자신감!
17.1 3 5 6 7 8 9 10 11 122 4
프로덕션 단계
빨간불은 다른 데서 켜짐
• 로딩 최적화를 했으나 여전히 프레임이 안 나옴
• 최적화에 총력을 다해야 겠다고 판단
• 런칭 계획은 물거품

최적화 삼매경
5월부터는 최적화에 최대한 많은 프로그래머 리소스 투입
UI팀도 UI 로직 최적화를 같이 진행
컨텐츠 개발 진도로 보면 거의 멈춰 있던 시기
17.1 3 5 6 7 8 9 10 11 122 4
프로덕션 단계

9월 최적화 중간 점검
• 최적화가 끝난 것은 아니나 가능성을 봄
• PAX에서 시연. 꽤 성공적인 반응을 얻음
• 가능성이 보이니 다시 런칭 타이머를 돌리기 시작
=> 연말 전에 CBT 하고, 내년 초에 런칭하자
17.1 3 5 6 7 8 9 10 11 122 4
프로덕션 단계

이제부터는 사실상 폴리싱
• 추가 기획은 정말 중요한 것만
• 버그수정과 최적화만 한다.
• TRC / XR 통과를 위해 최선을 다하기
• 이 이후는 별로 공유할 게 없네요.

UI 프로덕션
프로덕션 폴리싱프리 프로덕션
주요 마일스톤
2016.3
18.3.9 1차 OBT
18.3.16 2차 OBT
2017.1 2018.1
16.12. 첫 PS4 QA 시작
17.9 PAX 시연
4 5 6 7 8 9 10 11 12 4 5 6 7 8 9 10 11 122 3 42 3
2018.4.3 정식 오픈
TRC / XR
멀티스레드 최적화로딩 최적화

정리
테라 콘솔의 사례
• 시작부터 출시까지 2년
• 클라이언트 프로그래머는 1명으로 시작해서 프로덕션 단계에 9명까지 늘었다가 현재는 6명
• Hardsuit Labs에 컨설팅을 함으로써 초기 개발을 가속화
• 기존 PC 서비스 빌드를 적극 활용해 UI 개발을 빨리 시작함
• TRC / XR 준비는 정말로 1년 걸림
• 최적화는 예상치 못한 장벽, UE3를 안정적으로 멀티스레드화 하는데 반년이상 걸림

• UE3 리소스 로딩 로직이 PC와 콘솔에서 다른 점 공유
• 아트 리소스를 수정할 수 없는 제약 사항에서 TERA 콘솔팀이 해결한 방법 공유
5. 마무리

MMORPG의 적 로딩랙
MMO가 다른 게임과 다른 점 – 플레이어의 동적 데이터
어떤 플레이어가, 어떤 옷을 입고, 어떤 탈 것을 타고, 어떤 스킬을 쓸지 절대로 알 수 없다

UE3 MMORPG의 한계
앞선 이유로, 게임 플레이 중에도 뭔가를 계속 로딩하고 있음
• 모든 이펙트, 사운드 등을 메모리에 올려놓을 수 없으니까
• 간헐적으로 프레임 드랍이 유발되는 이유
UE3에서 UI 로딩의 한계
• MMORPG는 UI가 많아서 전부다 메모리에 올려 놓는 것이 불가능
• UE3는 한 번에 하나의 파일만 로딩 가능
• 다른 파일을 로딩 중에 UI 오픈을 시도하면 순간 프리징을 걸어서라도 강제 로딩이 필요
(UI를 열었으나 몇 초 씩이나 반응이 없을 수는 없으니까)
• 비동기 로딩이 제대로 동작하지 못하는 이유

UE3 리소스 패키징
예시) 테라에서 이펙트 패키지 하나
PS : UE3의 ParticleSystem 정의
MI : PS에서 쓰는 Material 정의
MAT : MI가 사용하는 MaterialTemplate (Shader)
TEX : MI/MAT이 사용하는 텍스처
하나의 파일에 여러 리소스를 묶어 놓음
=> 몇 백 개의 ParticleSystem이 하나의 패키지에 들어 있음
FX_A_0001_PS
FX_A_0001_TEX
FX_A_0001_MI
FX_A_0001_MAT
FX_A_0002_PS
…
FX_A_0297_TEX
FX_A.upk

UE3의 3가지 로딩 API
StaticLoadObject : 하나의 UObject를 동기 로딩 (FX_A_0001_PS 를 로딩할 때까지 게임이 멈춤)
LoadPackage : 하나의 패키지를 동기 로딩 (FX_A.gpk 내용을 모두 로딩할 때까지 게임이 멈춤)
LoadPackageAsync : 하나의 패키지를 비동기 로딩 (게임 실행 중에 백그라운드에서 FX_A.gpk 내용을 천천히 읽음)

하나의 UObject만 비동기로 읽고 싶으면 어떻게 해야 하나요?
1. 해당 UObject가 들어있는 Package를 LoadPackageAsync로 로딩
2. 완료되면 사용할 오브젝트를 Referencing
3. GC를 돌린다!
Epic 공식 가이드
ⓒ이병건, NAVER WEPTOON CORP / 이말년 시리즈

TERA의 Custom 로딩 API
StaticLoadObject : 하나의 UObject를 동기 로딩 (FX_A_0001_PS 를 로딩할 때까지 게임이 멈춤)
TeraLoadObjectAsync : 하나의 Uobject를 비동기 로딩 (게임 실행 중에 백그라운드에서 FX_A_0001_PS 내용을 천천히 읽음)
그나마 이 방법으로 PC 서비스에서 버티고 있음

하지만 콘솔에서는?
Seek-Free 개념의 등장
• UE3는 콘솔에서 Seek-Free 패키징을 강제

Seek-Free 예시
PC의 경우, A_0001_PS를 로딩하려고 하면 B.upk도 찾아가서 B_0001_MI를 로딩함
이 PS 가 B_0001_MI를 사용한다면?
A_0001_PS
A.upk
B_0001_MI
B.upk

Seek-Free 예시
하지만 Seek-Free로 쿠킹을 하고 나면
A_0001_PS
A.xxx
B_0001_MI
B.xxx
B_0001_MI
B_0001_MI 내용이 복사되서 들어감
용량을 희생하고 로딩속도를 올린 (SeekTime을 없앤) 전략
광학 디스크에서의 실행을 가정하고 있기 때문
DVD 판매를 고려하고 있다면 정말 중요한 포인트

Seek-Free의 진짜 문제점
StaticLoadObject : 하나의 Uobject를 동기 로딩 (FX_A_0001_PS 를 로딩할 때까지 게임이 멈춤)
TeraLoadObjectAsync : 하나의 Uobject를 비동기 로딩 (게임 실행 중에 백그라운드에서 FX_A_0001_PS 내용을 천천히 읽음)
Object 단위의 로딩이 불가능해지고 항상 풀 패키지를 읽어야 함

TERA 콘솔 Worst 시나리오
1) 다른 유저가 옆에서 스킬을 씀
2) 하필 FX_A에 들어있는 이펙트가 필요해서 로딩을 시작함 (이미 스킬은 이펙트 없이 써졌음)
3) 그 와중에 뭐라도 UI Open을 시도하면?
4) 초 단위 프리징! (개발 초기에는 10초 넘어갈 때도 있었음)

Best Practice
하나의 파일이 너무 크지 않게 잘 관리 할 것
예시)
• 엘린_메이드복.upk
• 무사_스킬이펙트모음.upk
사실 UE3에서 UObject 단위의 비동기 로딩을 지원하지 않는 이유가 이것
• 애초에 그럴 필요가 없게 패키징 할 것
• 로딩의 목적 == 파일에 들어있는 내용 이면 많은 문제가 해결
(TERA는 오른쪽이 너무 큰 상태)

TERA 콘솔의 해결법
제약조건
• 아트 리소스자체는 수정 불가 (PC 서비스와 일관성 유지)
고민
• 콘솔에서 Seek-Free를 안 하게 수정하는 것은 어려움
(Hardsuit Labs도 그건 힘들 거라고 컨설팅)
결국 우리의 Wrapper를 하나 만드는 수밖에!

FX_A_0001_PS
FX_A_0001_TEX
FX_A_0001_MI
FX_A_0001_MAT
FX_A_0002_PS
…
FX_A_0297_TEX
FX_A.upk
FX_A_0001_PS_dup
FX_A_0002_PS_dup
Redirect_001.upk
1. 쿠킹을 하기 전에 패키지를 쪼갭니다.
Redirect_002.upk

2. 쪼개진 파일로 쿠킹
• Seek-Free 라서 연관 Object가 딸려 들어감
FX_A_0001_PS
FX_A_0002_PS
Redirect_001.upk
Redirect_002.upk
FX_A_0001_PS_dup
FX_A_0002_PS_dup
Redirect_001.xxx
Redirect_002.xxx
FX_A_0001_MI
FX_A_0001_MAT
FX_A_0002_MI
FX_A_0002_MAT

3. 이걸 다시 하나의 파일로 합침
FX_A_0001_PS_dup
FX_A_0001_MI
FX_A_0001_MAT
FX_A_0002_PS_dup
FX_A_0002_MI
FX_A_0002_MAT
Composite_001.xxx
FX_A_0001_PS_dup
FX_A_0002_PS_dup
Redirect_001.xxx
Redirect_002.xxx
FX_A_0001_MI
FX_A_0001_MAT
FX_A_0002_MI
FX_A_0002_MAT

4. Mapping Table을 들고 관리
• FX_A.FX_A_0001_PS 를 로딩하려고 하면 Redirect_001.FX_A_001_PS_dup 을 로딩하도록 바꿔침
• 파일 I/O에 과정에서 Composite 파일의 일부분을 읽어 그 메모리 주소를 넘겨주도록 바꿔침
• 결과적으로 작은 파일 하나를 LoadPackageAsync 하는 것 처럼 됨
FX_A.FX_A_0001_PS Redirect_001.FX_A_0001_PS_dup Composite_001:0
FX_A.FX_A_0002_PS Redirect_002.FX_A_0002_PS_dup Composite_001:256
… … …

정리
리소스 로딩
• MMORPG는 동적 데이터가 많아서 로딩 퍼포먼스가 문제가 됨
• UE3는 콘솔에서 Seek-Free 로직을 강제함
• 애초에 아트 리소스를 너무 크지 않게 잘 관리하자
TERA 콘솔은
• PC와의 일관성 유지를 위해 아트 리소스 수정을 포기
• 별도의 패키지 Redirecting 기법을 만들어서 문제를 회피
• 대신에 쿠킹시간을 손해 보고 총 패키지 용량이 증가함

• UE3 엔진 구조에 대한 대략적인 설명
• 사이드 이펙트를 최소화 하면서 멀티 스레드 도입하기
5. 마무리

멀티스레드 최적화
현세대 콘솔의 CPU 스펙 : 1.6Ghz * 8코어
(요새 CPU 코어 클럭 수의 반토막)
UE3는 코어 2개만 바쁜 엔진
멀티 스레드로 최적화를 꾀하는 것은 선택이 아닌 필수

Unreal Engine 3 구조
Thread 1
Thread 2
Thread 3
Thread 4
흔히들 UE3는 코어를 2.5개 쓴다고들 하죠.
Render Thread Tick
Main Thread Tick
Render Thread Tick
Main Thread Tick
Render Thread Tick
Main Thread Tick
Render Command Render Command
I/O Request
PhysX Thread
I/O Request
PhysX Thread
I/O Request
PhysX Thread
1 Frame

Main Thread
ProcessInput
ProcessAsyncLoading
WorldTick
InteractionTick
RedrawViewport
Main Thread Tick Input Handle 하는 거죠
비동기 로딩 처리. 필요한 파일들을 Serialize 합니다.
5ms 넘으면 그만하고 다음 틱에 이어서..
실제로 레벨에 존재하는 모든 오브젝트 업데이트
(가장 큰 부하 = 최적화 대상)
추가로 Tick 처리가 필요한 모듈에 대한 처리.
GFX tick이 여기서 수행됨 (최적화 대상)
Scene Rendering을 위한 RenderCommand들을 생성

UE3는 Actor-Component 모델
Actor
StaticMeshComponent
SkeletalMeshComponent
CylinderComponent
ParticleSystemComponent
월드에 존재하는 모든 오브젝트는 Actor
Components
실제 행동 구현은 Component로
Attach

World Tick
PreAsync Tick
DuringAsync Tick
PostAsync Tick
PostUpdate Tick
EffectUpdate
World Tick
PostTickComponent
ProcessInput
ProcessAsyncLoading
InteractionTick
RedrawViewport
Main Thread Tick
WorldTick
세 개의 Tick Group으로 나눠 짐

World Tick
PreAsync Tick
DuringAsync Tick
PostAsync Tick
PostUpdate Tick
EffectUpdate
World Tick
PostTickComponent
ProcessInput
ProcessAsyncLoading
InteractionTick
RedrawViewport
Main Thread Tick
WorldTick
여기서 PhysX thread Start
여기서 PhysX thread Sync

World Tick
PreAsync Tick
DuringAsync Tick
PostAsync Tick
PostUpdate Tick
EffectUpdate
World Tick
PostTickComponent
ProcessInput
ProcessAsyncLoading
InteractionTick
RedrawViewport
Main Thread Tick
WorldTick
물리 시뮬레이션 전에 업데이트 해야 하는 것들
Static / Skeletal MeshComponent가 여기 해당
(최적화 대상)
물리 시뮬레이션과 동시에 실행되어도 상관 없는 것들
ParticleSystemComponent를 포함해
대부분의 Component가 여기 해당
(최적화 대상)
물리 시뮬레이션 후에 업데이트 해야 하는 것들
거의 해당하는 Component가 없음
(최적화 대상 아님)

World Tick
PreAsync Tick
DuringAsync Tick
PostAsync Tick
PostUpdate Tick
EffectUpdate
World Tick
PostTickComponent
ProcessInput
ProcessAsyncLoading
InteractionTick
RedrawViewport
Main Thread Tick
WorldTick
Add/Remove Primitive 등의
RenderCommand를 생성
(최적화 대상)
필요한 후처리들 (최적화 대상 아님)

최적화 전략
전제 조건
1) 테라 콘솔도 지속적인 라이브 서비스를 해야 한다.
2) 1)의 이유로 PC 라이브 서비스의 코드를 지속적으로 머지 해와야 한다.
3) 2) 의 이유로 기존 코드 구조를 최대한 유지할 필요가 있다.
4) 그리고 시간이 없으니 빠르게 구현할 수 있는 방법으로!
결론 : Fork and Join이 정석

Fork and Join
• 특정 구간을 병렬화로 시키고, 다 끝나야 다음 스텝으로 넘어가는 방법
• 구현이 쉽지만 CPU 사용률 100%는 불가능한 방법
• Join이 길어지지 않도록 주의해야 함
Form Wikipedia / Fork-Join Model

실제 구현 - Lambda 만세
• WorldTick 의 간략한 예시 (실제 코드와 똑같지는 않고 일부 각색했습니다)
for(ITER It(ComponentList); It; ++It)
{
It->ConditionalTick(DeltaSeconds)
}
이런 간소화된 모델로 예시를 들면
for(ITER It(ComponentList); It; ++It)
{
#if MultiThread
AsyncTaskManager->AddComponentTick([It, DeltaSeconds]{
#endif
It->ConditionalTick(DeltaSeconds)
#if MultiThread
});
#endif
}
• AsyncTaskManager는 이런 Lambda Job이 30개쯤 모이면 그때 Fork
• 이렇게 기존 코드를 보존한 채 앞뒤로 Lambda 연산을 넣는 것만으로 구현 가능
• 실제로는 매크로 등을 이용해 더 깔끔하게 코드 구현을 했음

World Tick에서 Join 하는 법
• 이렇게 Sync 하는 함수를 넣기만 하면 됨
• Sync 내부는 Task 분배한 것들이 끝나길 기다림
• 만약 아직 시작도 못 있다면 끌어와서 처
• 모든 Task가 끝났다면 모아둔 콜백 처리
TickGroup = TG_PreAsyncWork;
TickActors(this, DeltaSeconds, TickType, GDeferredList);
…
TickGroup = TG_DuringASyncWork;
TickGroup = TG_PreAsyncWork;
TickActors(this, DeltaSeconds, TickType, GDeferredList);
#if Multithread
AsyncTaskManager->Sync();
#endif
…
TickGroup = TG_DuringASyncWork;

Callback?
• 병렬화가 불가능한 로직 덩어리는 분명히 존재함
UParticleSystemComponent::Tick(FLOAT DeltaTime)
{
…
FinializeTickComponent(DeltaTime); // 내부적으로 Component 삭제 로직이 돌기 때문에 병렬화시에 문제가 있음
…
}
UParticleSystemComponent::Tick(FLOAT DeltaTime)
{
…
AddCallBack([this, DeltaTime]{
FinializeTickComponent(DeltaTime); // 내부적으로 Component 삭제 로직이 돌기 때문에 병렬화시에 문제가 있음
});
…
}

Lock으로 해결 가능하기도 함
FParticleDataManager::RemoveParticleSystemComponent(UParticleSystemComponent* InPsysComp)
{
PSysComponent.Remove(InPSysComp)
}
FParticleDataManager::RemoveParticleSystemComponent(UParticleSystemComponent* InPsysComp)
{
Fscopelock Scopedlock(lockObject)
PSysComponent.Remove(InPSysComp)
}
병렬화 전
병렬화 후

Lock을 쓰는 조건
Lock은 Contention이 적을 때만 쓰는 것
• 프레임당 락에 걸려있는 총시간을 말함 -> 직접 재 보면 된다. 마이크로 세컨드 단위일 때에만 Lock 쓰기
• Lock이 없어도 게임이 구동되고 어쩌다가 크래시가 나는 정도의 빈도일 때만 사용한다고 생각하면 됨
• 글로벌 컨테이너에 모든 Component가 접근할 때 정도가 Contention이 문제가 되는데
Thread_local 컨테이너를 만들어서 거기에 작업 수행하다가 Sync할 때 맞추는 우회적 방법 등이 있습니다.

thread_local
//UnAnimTree.cpp
UBOOL UAnimNode::bNodeSearching = FALSE;
INT AnimNode::CurrentSearching = 0;
//UnAnimTree.cpp
thread_local UBOOL UAnimNode::bNodeSearching = FALSE;
thread_local INT AnimNode::CurrentSearching = 0;
• UE3에는 이렇게 임시변수를 전역변수로 쓰는 경우가 있는데 Thread_local화 해버리면 간단.
(함수 콜마다 파라미터로 넘기기 싫어서 이렇게 한 것 처럼 보임)
• 물론 정말 임시변수인지, 글로벌하게 공유할 필요가 있는지는 코드 파악을 확실히 할 것
병렬화 전
병렬화 후

PostTickComponent 병렬화
• World Tick을 Fork and Join으로 병렬화 하는 것은 UE4에도 비슷하게 구현되어 있음
• UE4에서 PostTickComponent는 거의 병렬화를 하지 않았는데 보통 부하가 되지 않기 때문
• Transform 변동에 의한, Octree Add/Remove RenderCommand를 생성하는 부분

하지만 MMO에서는 아래와 같은 상황이 발생하죠.

• 해당 상황을 프로파일러로 찍으면 이렇습니다.
• 수백 개 Component의
PostTickComponent를 하는 중

• 똑같은 방법으로 병렬화
(RingBuffer Write에 Lock을 걸어 버림)
• Lock을 많이 썼음에도 1/3 가량으로 줄어듦
• 움직이는 오브젝트가 많은 게임에서
참고하면 좋을 듯

GFX Tick 병렬화
• Scaleform Update 도 부하의 한 축을 담당
• UI 업데이트가 꼭 World Tick 뒤에 수행되어야 할 이유가 있나? 에 대한 실험을 진행
전략
• 일단 Thread로 뺀다.
• 문제가 나올 때 마다 해결한다.
• 해결 불가능한 문제가 나온다면 포기하고 모두 롤백
• 아니라면 병렬화에 성공했다는 뜻

GFX Tick 병렬화
ProcessInput
ProcessAsyncLoading
WorldTick
InteractionTick
RedrawViewport
Main Thread Tick
SyncGFX
StartGFX
WorldTick 시작하기 전에 Thread Start
원래 수행되던 Interaction Tick 끝나고 Sync
결론 : 쉽지는 않았고, 두 달 정도 걸려서 완성함..
어쨌건 되긴 되더라! (얼렁뚱땅 결말)

최종적인 모습 - Before
1.TERA 로직 1.UE3 로직

최종적인 모습 - After
테라 게임 로직
GFX(UI) 로직
UE3 엔진 로직
렌더링 로직

정리
최적화 전략
• GFX Tick은 엔진 Tick과 분리 가능
• Fork and Join의 방식으로 최대한 기존 코드를 유지하며 빠르게 병렬화 가능
• Critical Section에 대해서는 Callback, Lock, thread_local 등으로 처리
• Lock은 Contention이 적을 때에만 쓰자
• 경우에 따라 로직 자체를 수정할 각오는 필요하며, 언리얼 엔진에 대한 높은 이해는 필수

5. 마무리
5. 마무리

TERA 콘솔은
• 콘솔 개발/서비스 경험을 내재화 하고자 자체 포팅을 시작
• 이 경험을 토대로, 블루홀 차기 프로젝트에서 콘솔 플랫폼을 고려하기 쉬워 지길 기대

UE3 게임을 현세대 콘솔에 포팅하는 것은
불가능한 일은 아니다!
• UE3-Unsupported 활용 및 전문가 컨설팅으로 빠르게 기반을 만들 수 있음
• TRC / XR은 인내심으로 대응
• 최적화 문제가 있겠지만 어떻게든 해결할 수 있음
• 시장성도 좋아요!

전달하고자 했던 것
콘솔 포팅 개발의 간접 경험
- 어떤 과정을 거쳐 UE3 MMORPG가 콘솔로 포팅 되었는지
- 만약, 콘솔 환경에서 개발하게 되면 어떤 것들을 고려해야 하는지
콘솔 환경에서의 최적화 팁
- UE3 리소스 로딩의 문제점 및 해결을 위해 필요한 지식
- 엔진을 멀티스레드 구조로 개선할 때에 참고할 만한 지식과 사례

테라 콘솔팀 모두 정말 고생 많았고, 고맙습니다

모름지기 컨퍼런스란 기승전 채용 홍보
테라 콘솔 클라이언트 프로그래머 채용 중 (신입/경력 무관)
https://www.bluehole.net/kr/recruit

리마인드, 다음 발표도 듣고 가세요~~

발표 후 Q&A 내용 정리
• Q1. 테크 리소스조차 현재 없는 상태에서 콘솔 포팅을 진행한다면, 한국의 제한된 UE3 개발 인력풀 내에서 외부 인력 채용이 현실적으로 가능할까요?
• A. 아니요. 저는 어렵다고 생각합니다. 발표장에서는 제가 말씀 못 드렸는데, 테라 콘솔팀도 프로그래머 채용을 하려고 굉장히 노력했으나 다
실패했습니다. 한국에 엔진 전문가풀 자체가 많지 않으며, 능력이 있으신 분들도 MMORPG 포팅을 불가능하다고 보시거나, 아니면 연차가 있으셔서
그런지 안정적인 프로젝트를 원하시더라구요. 그래서 테라 콘솔팀도 테라 출신 시니어가 아니라면 아예 신입으로만 채웠습니다. 국내에서 엔진
프로그래머 구하기, 그것도 포팅같은 업무에서는 더더욱 어렵다고 느꼈습니다. 저나 홍상혁님 처럼 회사 내에서 엔진 프로그래머 풀을 늘려갈 계획의
중심이 될 프로그래머가 없는 상황이라면 현실성이 없다고 생각됩니다.
제 발표에 언급된 외주 업체들을 알아보시는 게 차라리 나을 겁니다. 중국, 미국, 캐나다 등지에 정말 많습니다. 저 한테 여쭤 보셔도 몇몇 추천해 드릴 수
있지만, MS나 Sony에 문의하시는 게 확실합니다. 그들은 많은 협력 업체를 알고 있습니다. 저희가 소개받은 업체들도 다 MS와 Sony로 부터 소개받은
회사들입니다.
그리고 포팅 과정은 항상 레거시와의 싸움입니다. 기존 프로젝트에 대해 상당한 지식과 히스토리를 알고 있는 멤버가 없다면 굉장히 힘들어 집니다. 이
점을 감안하시길 추천 드립니다.

• Q2. 게임 서버는 기존 레거시를 100% 활용하는데 거의 문제가 없었나요?
• A. 네. 테라 콘솔은 서버를 거의 수정하지 않았습니다. 그렇다고 아예 일이 없었던 것은 아닙니다. MS쪽 XR에 보면 네트워크 게임의 경우 통과해야 할
보안 검수가 있는데, 테라가 이걸 탈락 했습니다. 그래서 패킷 암호화 로직을 전반적으로 수정하는 작업이 있었습니다. 그리고 TRC / XR에 의해 일부 추가
구현할 것들이 있습니다. 또한 UI를 수정하다 보니 PC에서는 팝업으로 처리하던 것을 콘솔에서는 한 화면에 정보를 모아 놓기 위해 패킷을 합쳐야 하는
경우도 있었습니다. 최적화 과정에서 중복 패킷을 줄이는 패킷 최적화도 일부 진행 했고요.
어쨌건 지금 테라 콘솔팀은 클라이언트 프로그래머 6명에 서버 프로그래머 1명입니다. 그럼에도 서버 작업이 bottleneck이 되는 경우는 없었습니다.

• Q3. 테라 피씨는 열심히 했지만 콘솔을 안해봐서 궁금한데요. 2개의 질문이 있습니다. 1. 콘솔로 포팅 하는데 UX.UI에서 가장 크게 변화 된것 2. BM은
콘솔 유저들을 고려 해서 변경을 했는지. 어떻게 하고 왜 변경 했는지요. 발표 잘 들었습니다.
• A. 먼저 UX/UI 에서 가장 크게 변화된 것은 아무래도 폰트 크기입니다. 모든 작업을 할 때에 TV에서 3m 거리를 가정하고 디자인을 했습니다. 폰트와
아이콘을 키우고, 그에 맞게 레이아웃을 수정하는게 기본입니다. 그리고 PC의 마우스 UX를 그대로 가져오면 조작 depth가 늘어납니다. Depth를 줄이기
위해서는 최대한 한 화면에 많은 정보를 보여주고, depth를 들어갈 때에도 각 버튼 별로 다른 기능을 주어서 여러 가지가 나오게 했습니다. 전투 UX에
있어서는 카메라 자동으로 따라가기, 카메라 락온, 타게팅 스킬 락온 범위 관대하게 판정하기, 스킬 발동시 Z 축 보정 일부 넣기 등이 있었고, 스킬 숏컷은
전반적으로 갈아 엎었죠. 많은 게임에서 숏컷이 가장 문제가 될 텐데 테라는 다행히 스킬이 엄청 많은 게임은 아니었습니다. 네버윈터와 디아블로를
레퍼런스로 나름의 연구를 진행한 결과이니 숏컷에 대한 건 테라 콘솔을 직접 플레이 하면서 판단해 주세요
BM에 대해서는 콘솔 유저라고 딱히 PC 유저와 다른 패턴을 보일 것이라 생각하지는 않았습니다. PC와 마찬가지로 F2P로 서비스를 했고, 치장성 아이템
및 편의성 아이템을 DLC로 판매하는 형태입니다. 그래서 실제로 콘솔유저의 구매 패턴이 PC와 다르게 나오는지는 추이를 지켜봐야 알 수 있겠네요.

• Q4. Seekfree 사용했을 때 용량차이는 어느정도였나요?
• A. PC와 엔진 버전이 다르다 보니 정확한 비교는 어려운데요. PC도 맵에 한해서는 SeekFree로 쿠킹됩니다. 맵에 배치된 static mesh 들을 하나하나 파일
찾아서 읽게 하지 않기 위해서죠. 즉 콘솔은 PC와 비교하면 메시, 이펙트, 사운드 등만 추가로 seekfree로 쿠킹 된다고 보시면 됩니다. 다행히도 이런
단일 파일들은 다른 파일의 내용을 참조하게 설계하면 애초에 그게 멍청한 설계입니다. Material Template에 한해서만 재활용 여지가 있는데,
Reference가 되는 Material Template은 특정 파일에 모아 놓는 것이 언리얼 엔진 활용에서 중요한 포인트입니다.
그리고 Seek-Free는 Serialize할 정보를 복사해오는 거라 실제 용량의 대부분의 차지하게 될 쉐이더 바이너리는 ShaderCache로, 텍스처는
TextureFileCache로 빠집니다. 그래서 Seek-Free라고 해서 파일 용량이 어마어마하게 늘지는 않습니다. 파일 dependency 관리만 잘 하면 우려할
정도는 아니다 라고 이해하시면 됩니다.
그저 Seek-Free가 되었을 때 StaticLoadObject를 못 쓰는게 문제였지요…

• Q5. 성능 프로파일링은 어떻게 하셨나요?
• A. MS에서 제공하는 PIX라는 툴을 사용했습니다. 저와 홍상혁님의 발표자료에 등장하는 모든 프로파일링 이미지는 PIX에서 캡처한 것입니다. 코드내에
Marker를 박아 놓으면, Visualize된 형태로 프로파일링을 해줍니다. 매우 유용한 툴입니다. PC에서도 DX12를 쓴다면 PIX를 쓸 수 있으니 참고하세요.
PS4에도 Razor CPU라는 비슷한 툴이 있습니다. 실제로는 PIX보다도 더 좋습니다만 Marker가 너무 많으면 약간 부하가 되더라고요. 하지만 PS4의
Razor CPU는 시간 단위로까지 녹화를 해도 무리가 없는 인터페이스입니다. MS의 PIX는 분 단위만 되어도 메모리 사용량이 너무 많아서 툴이
뻗더라구요.
참고로 PS4는 Memory Analyzer도 좋습니다. 메모리 릭 잡을 때 유용하게 사용했습니다. PIX에도 Memory Analyzer가 있지만 너무 느려서 사용하기
힘들더라구요.
아무튼 MS, Sony에서 아주 좋은 프로파일러들을 제공한다고 이해하시면 됩니다. 콘솔 개발을 하게 되시면 이 툴들의 매뉴얼 부터 읽으시면 큰 도움이 될
것입니다.

• Q6. 3d모델러 입니다. 지원방법이 궁금합니다
• A. 죄송합니다. 질문을 이해 못했습니다. 동시간대 다른 세션에도 그래픽 관련은 없어서 잘못 올리신 질문은 아닌 것 같아요.
두 가지로 해석 가능할 것 같은데, 만약 채용공고에 대한 이야기라면 저희는 프로그래머와 UX 디자이너를 채용 중입니다. 아트 직군은 채용 중이지
않습니다. 테라 콘솔팀은 아트 직군이 따로 없으며 필요한 업무가 있다면 테라 본부에 요청하는 방식으로 일합니다. 테라 본부 아트팀의 채용공고를
확인해 주세요.
혹, 채용공고가 아니라 제가 초반에 언급한 아트 지원이 없어서 UE3 개조로 갔다는 내용에 대한 질문 이신가요? UE3 게임을 UE4로 올린다고 할 때 이건
말이 마이그레이션이지 실제로는 게임을 다시 만드는 겁니다. 이 경우 아트 직군에 부탁할 일은 모든 Max 원본 파일을 가지고 UE4 에디터로 다시
import해서 아트 패키지를 만들어 주시는 겁니다. 3d 모델은 그나마 쉽구요. 배경과 이펙트가 죽어 납니다. 이 일을 실제로 했던 타 회사의 사례를 알지만
제가 함부로 언급하기는 어렵네요. 아무튼 이런 포팅 방법도 충분히 가능한 일입니다. 다만 매우 고비용이며, 발표에서도 언급 했듯이 강한 아트 리더십이
필요합니다.

• Q7. 최적화 작업에 들어가실 때 프로파일링 이후 전체 일정은 어떤 관점으로 잡으셨나요?
• A. 최적화 일정을 어떻게 산출했냐는 질문이라면, 이건 예측 가능한 영역이 아니었습니다. 아무도 안 해본 일이니까요. 제가 블루홀에서 4년간 일하면서
겪은 작업 방식은 철저한 계획 세우기와는 거리가 멉니다. 모든 기술적 난제에 대해서, 문제를 정확히 파악하고, 아이디어를 정리해 보는 것 까지는 오래
걸리는 일이 아닙니다. 특히 콘솔 최적화의 경우 멀티스레드 구현이 안 되어 있다는 명확한 문제를 인지하고 있었고 , Fork and Join은 현 상황에서 너무
당연한 접근이었죠. UE3 코드 구조도 얼추 알고 있고, 참고할 UE4 코드도 있는 상황이구요. 아마 실제 작업에 들어가면 예상치 못했던 요소들을 많이
만나겠지만 그건 예측 가능한 영역도 아니고, 어차피 다른 선택지도 없었습니다.
그래서 그냥 3개월 열심히 해보고 그 뒤에 판단하자고 정했습니다. 이게 테라 팀이 난제를 극복하는 방식입니다. 경영진 입장에서는 갑갑하겠지만,
실무자에 대한 신뢰를 기반으로 진행하는 거죠. 실무자는 설령 성공하지 못하더라도 다음 결정에 도움될 자료를 준비할 책임이 있습니다. 그래서 기간을
오래 잡지 않습니다. 실제로 제 발표내용의 엔진 Tick 분리하는 프로토타이핑은 한 달 정도 밖에 안 걸렸습니다. 이후에 생각하지 못했던 크래시 잡기, 추가
프로파일링으로 더 뺄 만한 것 찾기의 연속이었죠. 하지만 이 단계가 되면 최적화의 가능성이 충분히 증명됩니다. 만약 Fork and join 전략 자체가 안 먹힐
것이었다면 역시 비슷한 시기에 파악 가능했을 겁니다.
정리하면 ‘9월까지 최적화가 덜 끝나도 상관없으니 가능한 지 최대한 증명해 보고, 만약 어렵다면 또 대책회의를 하자’라는 느낌? 철저한 계산하에 나온
목표가 아니었습니다. 그리고 팀의 사기 관리적 측면에서 접근할 필요도 있습니다. 실무자가 최선을 다할 수 있는 환경을 만들어 주고 중간 검토하는
자리를 마련하기만 하면 됩니다. 테라 팀의 많은 업무들이 이렇게 Bottom-Up 으로 진행됩니다. 그러니까 말도 안 되는 일정에 대한 스트레스를 받을 일도
없죠. 9월에도 여전히 가능성이 안 보였다면 아마 전략 자체를 재검토 하거나, 어떤 부분에서 어려움을 겪고 있는지 분석해 보서나, 아니면 3개월 동안
얻은 정보를 토대로 다음 마일스톤을 정해 보거나 했을 것입니다. 어쨌건 실무자를 믿고 맡기는 것이 핵심입니다.

[NDC 2018] 테라 콘솔 포팅기 - UE3 게임 현세대 콘솔로 이식하기

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie [NDC 2018] 테라 콘솔 포팅기 - UE3 게임 현세대 콘솔로 이식하기

Ähnlich wie [NDC 2018] 테라 콘솔 포팅기 - UE3 게임 현세대 콘솔로 이식하기 (20)

[NDC 2018] 테라 콘솔 포팅기 - UE3 게임 현세대 콘솔로 이식하기

Hinweis der Redaktion