(PlaywithData)1day seminar_0630

2nd 파이썬 데이터분석
1 Day Seminar
2019.06.30

목차
01 / 파이썬 설치 안내 및 소개
02 / Play with Data 소개
04 / 데이터 수집/분석 미니프로젝트
Session 1 ) 주식 정보 이메일로 받고 싶어요
Session 2 ) 직장 스트레스, 복부비만, 이직률 그 관계에 대해
Session 3 ) 나의 브런치 구독자?
Session 4 ) 여름 휴가, 호텔 예약은 언제?
Session 5 ) 30대 일자리 문제
05 / 7th 크롤링 워크샵 진행 안내
06 / Q & A
03 / 파이썬 맛보기

Chapter 01 / 파이썬 설치 안내 및 소개

1. 파이썬 설치 안내 및 소개
Anaconda 설치 전 확인 사항
※Anaconda : 파이썬 + 주요 라이브러리(함수) + 툴
[설치전 사전 확인]
- 내 컴퓨터 운영체계 확인: Mac / Windows / Linux
- 운영체계 bit 확인: Mac/Linux → 64bit,
Windows* → 64bit or 32bit
※ 윈도우 탐색기 → 내PC 우클릭 → 속성 → 시스템 종류

Anaconda 다운로드 (파이썬 3.x 버전)
https://www.anaconda.com/download/
※ 파이썬 3.x 버전 설치
파이썬 2.x 버전은 유지/보수 기간이 종료되어
모두 3.x으로 전환되었거나 전환 중입니다.
※Anaconda 설치시 체크사항
- Install for :
All User(requires admin privileges)
- Advanced Options :
두 가지 모두 체크(윈도우 환경설정)
Anaconda 설치

쥬피터노트북 실행(Jupyter Notebook)
- (Linux/Mac) “jupyter notebook” 명령
- (Window) 우클릭 → 관리자모드로 쥬피터노트북 실행
- 검은 커맨드창에서 URL 부분을 (token = 부분까지 포함해서) 복사한 뒤, 브라우저 주소창에 붙여넣기
※ http://localhost:8888/?token=토큰값끝까지 복사 ※ 브라우저는 크롬 이용을 추천드립니다.
다른 방법) token = 뒷 부분의 값을 브라우저창의 입력칸에 넣으셔도 됩니다.
쥬피터노트북 실행하기

파이썬으로
무엇을 할 수 있나요?
무엇을
하고 싶으신가요?

Chapter 02 / Play with Data 소개

2. Play with Data 소개
What we want to share

2. Play with Data 소개
What we have done

Chapter 03 / 파이썬 맛보기

주피터 노트북 간편 사용법
- Command Mode (셀 선택 모드) - 파란색 외각선
- 셀을 선택 한 후 [esc] 버튼
- 셀 바깥쪽 왼쪽 영역을 클릭
- 셀 추가하기
- [a]버튼: 위로 셀이 추가됨
- [b]버튼: 아래로 셀이 추가됨
- 셀 복사/삭제하기/잘라내기/붙이기/합치기
- [c]버튼: 셀 복사
- [d],[d] 빠르게 두번: 셀이 삭제됨
- [x]버튼: 선택한 셀이 잘라짐
- [p]버튼 (Mac은 [v]버튼):
복사된 셀을 아래로 붙이기
- shift + [m]: 선택한 셀을 하나로 합친다
- Markdown/Code 셀 변환
- [m]버튼: 셀을 markdown으로 변환
- [y]버튼: 셀을 code로 변환
Edit Mode (수정 모드) - 초록색 외각선
[Enter] 버튼
입력 영역을 마우스 클릭
- 셀 실행하기
- [ctrl] + [enter]: 선택한 셀 실행
- [shift] + [enter]: 선택한 셀이 실행되고 아래
에 새로운 셀이 추가 후 포커스가 이동
- 코드 편집하기
- [ctrl] + [a] (Mac은 [Command]): 코드 전체
선택
- [ctrl] + [z] (Mac은 [Command]): undo
- [ctrl] + [y] (Mac은 [Command]): redo
- [ctrl] + [/] (Mac은 [Command]): 선택한 bloc
k을 주석처리
- 저장하기
- [ctrl] + [s] (Mac은 [Command])

# 파이썬으로 구구단
time = 2
numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9]
for i in numbers:
num = time * i
text = '{t} * {i} = {n}'.format(t=time, i=i, n=num)
print(text)
# 파이썬으로 구구단 2단부터 9단까지
for i in [2, 3, 4, 5, 6, 7, 8, 9]:
for j in [1, 2, 3, 4, 5, 6, 7, 8, 9]:
num = i * j
text = '{i} * {j} = {n}'.format(i=i, j=j, n=num)
print(text)

Chapter 04 / 파이썬 데이터 분석 살펴보기

Session 1 ) 주식 정보 이메일로 받고 싶어요
Session 2 ) 직장 스트레스, 복부비만, 이직률 그 관계에 대해
Session 3 ) 나의 브런치 구독자?
Session 4 ) 여름 휴가, 호텔 예약은 언제?
Session 5 ) 30대 일자리 문제

Chapter 4-1 / “주식정보 자동으로 메일 받기＂

[베짱이를 위한] 관심 정보를 자동으로 이메일로 받아보자!
관심 회사의 주가 정보를 크롤링해서 gmail로 받아보기

1. 네이버 주식에서 관심 회사의 주요 정보 크롤링
: 해당기업의 주식 코드를 기준으로 크롤링 / 종목명, 전일가, 현재가, 전일대비 변동율, 투자의견, 목표주가 수집

2. 원하는 형태로 가공하여 수집된 정보를 엑셀로 저장
1) 오늘의 정보를 크롤링한 후, 기존에 크롤링한 엑셀파일의 하단에 반복적으로 추가하여 저장함
기존 자료에
누적되도록 저장
※회사코드 유의
장마감 기준일이
파일명으로 자동으로
지정되도록 저장
2) 크롤링 일자가 자동으로 제목으로 지정되도록 엑셀 저장

3. 파일 첨부하여 자동으로 이메일 보내기 (feat. 보안 설정에 유의)

Chapter 4-2 / “스트레스, 음주, 이직 그 관계에 대해＂

원래 다 이래? 오늘도 술을 마시러 가지… 다들 그래?

원래 다 이래? 입사 후 한 잔, 두 잔… 그렇게 + 10kg 기본 아님?

원래 다 이래? 절이 싫으면.. 중이 뜬다!!! … 근데 다들 성공했어?

그래서…
# 직장 스트레스 # 음주율
# 이직률 # 복부비만율

그리고…
# 직장 스트레스 # 매우 느낌
# 느끼는 편임 # 쓰트레쓰!!!!!!!!

근데... 엑셀로도 가능하더이다.

서울, 어디가 제일 빡셀까?
중랑구
동작구
강남구
성북구
영등포구
서초구
강서구
마포구
중랑구
강남구
동작구
성북구
강동구
영등포구
서초구
강북구
도봉구
관악구
양천구
송파구
강서구
마포구
용산구
중구
성동구
광진구

중랑구
강남구
동작구
성북구
강동구
영등포구
서초구
강북구
도봉구
관악구
스트레스 음주율
중랑구
동작구
강남구
성북구
강동구
영등포구
서초구
강서구
마포구
송파구
금천구
동대문구
도봉구
강북구
용산구

중랑구
강남구
동작구
성북구
강동구
영등포구
서초구
강북구
도봉구
관악구
스트레스
중랑구
양천구
강남구
강북구
동대문구
서초구
강서구
복부비만
성북구
도봉구
구로구
금천구

중랑구
강남구
동작구
성북구
강동구
영등포구
서초구
강북구
도봉구
관악구
스트레스
중랑구
동작구
강남구
강북구
강동구
영등포구
서초구
양천구
마포구
이직율
성북구
도봉구
동대문구

한꺼번에 가능?
스트레스 & 음주율

Chapter 4-3 / “나의 브런치 구독자?”

데이터로 보는 나의 브런치 구독자
주제 선정 배경
나의 구독자
내가 좋아하는 (관심) 작가
“어떤 사람일까?”
“우리는 어떻게 연결되어 있을까?”

데이터 수집

데이터 수집
▶ 구독자/관심작가 리스트 데이터

데이터 수집
▶ 프로필 데이터

데이터 수집 결과
▶ 구독자 리스트 데이터
▶ 프로필 데이터

분석 및 시각화
▶ tableau를 활용한 시각적 분석, 인사이트 도출

“나의 구독자는 어떤 사람인가?”
평균 구독자 수
90명
평균 관심작가 수
135명
평균 글 수
8개
평균 매거진 수
0개
구독자가0명인사람=129명
이를제외하면평균179명
관심작가1000명 이상인사람
제외하면평균88명
글0개인사람제외하면
평균41개
매거진0개인사람
제외하면평균4개

“우리는 어떻게 연결되어 있을까?”
나의구독자중글이1개이상있는사람은48명+나

“우리 사이의 연결점”
데이터분석,기획,개발자,스타트업디자이너

“나의 구독자는 어떤 사람인가?”
▶ 나의 구독자 중 글을 쓰는 사람의 tag 분석 결과 – 워드클라우드

“나는 어떤 작가를 좋아하는가?”
▶ 내가 구독하고 있는 관심작가 중 tag 정보를 갖고 있는 작가의 tag 분석 결과 – 워드클라우드

“우리는 어떤 작가를 좋아할까?”
▶ 나와 나의 구독자가 구독하는 관심작가 중 tag 정보를 갖고 있는 작가의 tag 분석 결과 – 워드클라우드

▶ 구독자, 관심작가, tag 분석 – 워드클라우드
“나를구독하는사람” “내가구독하는사람” “우리가구독하는사람“

프로젝트 후기
어렵고 힘들게만
느껴졌던 데이터 수집
“할 수 있다“를
경험할 수 있었던
- 파이썬 미니프로젝트

Chapter 4-4 / “휴가 호텔 예약은 언제 할까?”

쿠바_바라데로
바라데로
하바나

여름 휴가.. 호텔은 언제 예약하는게 제일 저렴할까?
호텔 예약사이트 데이터수집/분석

호텔 예약 개요
• 여행 시기 : 2019년 10월 9~10일
• 여행지 카테고리 : All-inclusive 리조트 위주의 휴양지
• 특이사항 : 고립(feat.피델 카스트로), 물자 부족으로 좋은 시설의 호텔 찾기 어려움(타 휴양지 대비 가성비 기준)
❑ 관심 호텔
호텔 등급
[로얄튼 히카소스] [Melia internacional]
[블라우 바라데로] [Iberostar Bella Costa]
[스피피시 바라데로]

가정 및 데이터 수집/분석 플랜
• 예약 대상 호텔 후보 5개 선정
→ 동일한 조건의 방(스탠다드)으로 검색
• 호텔 예약 사이트(https://www.booking.com)에서 1일 1회, 3주 간 가격 크롤링
• 요일 별 가격 추이 그래프 그리기
• 상대적으로 요금이 저렴한 요일에 호텔 예약!
요일 별로
조회되는 가격이
상이 할 것이다
→ 금,토는 비쌀 것이다.
가정1
(여행시점이 얼마 남지 않은
특정 시점까지는)
여행기간이 가까워질수록
조회 주차 별
가격이 비싸질 것이다.
가정2
등급이 높은 호텔일수록
예약 요일/예약 시점 별
가격 변동 폭이
작을 것이다.
가정3가정1

가정1. 요일 별 조회 가격이 상이 할 것이다(주말은 비쌀 것이다)
동일 패턴
Melia Internacional
Iberostar Bella Costa
블라우 바라데로

▼ 원화 조회 가격
▲ $ 환율 추이

요일 별
가격이 같거나,
주말이 오히려
더 저렴!
Melia Internacional
로얄튼 히카코스[5성]
[5성]
[4성]
조회기간 : 19.6.3~19.6.22
스타피시 바라데로[3성]
금 토 일
금 토 일금 토 일
$182
$172
$275
$275
$123
블라우 바라데로[4성]
$142
$72
$66

가정2. 특정 시점까지는 여행기간이 가까워질수록 가격이 비싸질 것이다.
3주 간
변동 없음
* 여행 3개월 전
Melia Internacional
[5성]
[4성]
$182
$172
$275
$275
$123
$142
$72
$66

가정2. 특정 시점까지는 여행기간이 가까워질수록 가격이 비싸질 것이다.

5성급이
제일 변동폭 큼
Melia Internacional
[5성]
[4성]
$182
$172
$275
$275
$123
$142
$72
$66
가정3. 등급이 높은 호텔일수록 예약 요일/시점 별 가격 변동 폭이 작을 것이다.
10달라
$6

가정3. 등급이 높은 호텔일수록 예약 요일/시점 별 가격 변동 폭이 작을 것이다.

Chapter 4-5 / “30대 일자리 문제 이렇게나..”

30대 구직자는 어떤 일자리를 희망할까?
기획의도
기획의도 = ‘경제의 허리를 담당하는 30~40대 취업자 수’ 감소 추세
통계청 매월 중순에 발표하는 고용동향 근거
32살인 필자로선, 같은 30대가 어떤 일자리를 원하는지 궁금해졌음

기획의도
▲ 전처리 = WordCloud와 빈도수 Count

기획결과
1) 30대 구직자의 희망연봉은 2880만원(월 240만원), 중위값은 2800만원
→ 남자는 나이들수록 희망연봉 높아지는데, 여자는 오히려 떨어짐 (경단녀)

기획결과
2) 희망직무는 사무보조- 생산직 – 문서관리 순.

기획결과
3) 희망근무지는 서울 경기가 압도적으로 많아. 전체의 62%

기획결과
4) 평균 자격증 보유 개수는 2.8개. 여자가 3개, 남자가 2개. 운전면허증이 가장 많아

기획결과
5) 해외연수는 중국-호주-일본-미국-필리핀 순

기획결과
예외적 현상
1) 희망직무 =
1981년생 남성, 전문대 출신, 13년 경력, 데이터마이닝, SQL 희망연봉은 7400만원
1987년생 여성, 베트남어 통역, 7년 경력, 희망연봉은 3억5000만원
2) 희망근무지 및 특이자격증 =
1981년생 남성, 페루 10년 2개월 체류, 전기공사기능사 자격증, 희망근무지 남미
1984년생 여성, 양모펠트강사 자격증, 희망근무지는 서울 소재 쇼핑몰, 잡지 편집

기획의도
▲ 뒷 이야기 및 결론
1) 약 3800여페이지를 크롤링했고, 크롤링하는데 든 시간은 7시간 가량
2) 에러가 생각외로 많이 난다. 구문 짜는데 시행착오를 꽤 겪어야 한다
3) 웹 크롤링의 패턴이 비슷한만큼, 한 번 배워두면 요긴할듯 하다 (또 활용할 예정)
4) 워드클라우드를 배워놓으면 키워드 분석 때 쓸 수 있다
5) 기초만 배웠지만 응용분야는 무궁무진. 파이썬 배워보길 추천한다

http://bit.ly/PlaywithData
for.playwithdata@gmail.com

(PlaywithData)1day seminar_0630

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie (PlaywithData)1day seminar_0630

Ähnlich wie (PlaywithData)1day seminar_0630 (10)

(PlaywithData)1day seminar_0630