Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

유지보수 0원 가능하게 한 크롤링 기술

10.698 Aufrufe

Veröffentlicht am

유지보수비용을 무료로 제공 가능하게 한 크롤링 기술 4가지
- 지능형 패턴분석 알고리즘
- 지능형 패스툴 & 자동코드생성기
- 클라우드 가상화
- 머신러닝 기술

Veröffentlicht in: Technologie
  • Als Erste(r) kommentieren

유지보수 0원 가능하게 한 크롤링 기술

  1. 1. 지능형 패턴분석 알고리즘 | 지능형 패스툴 | 자동코드생성기 | 클라우드의 가상화 | 머신러닝 기술 2019.10.18 Copyrightⓒ 2019 by HASHSCRAPER Inc. All Rights Reserved Insight Report 유지보수비용 0원 가능하게 한 크롤링 기술
  2. 2. 정기적인 데이터 수집 시 관리해야할 요소 4 CRAWLING TECHNOLOGY IP차단 서버사용비 사이트 장애 사이트 업데이트 평균 업데이트 주기 : 3개월 월 평균 5백만원 발생 1백만개 데이터 수집 시 발생하는 유지보수비용 데이터 수가 많아지거나 빠른 속도를 원할 시 더 많은 비용 발생 4가지 크롤링 기술로 유지보수 0원 크롤링 기술로 별도 개발비/관리비 없이 유지보수관리 가능 번거롭고 많은 비용이 소요되는 유지보수관리를 0원으로 만드는 크롤링 기술 4가지 일반 크롤링 업체 해시스크래퍼
  3. 3. 지능형 패턴분석 알고리즘 웹을 모니터링하여 사이트 장애/업데이트를 실시간으로 관리해주는 지능형 봇 클라우드의 가상화 서로 다른 종류의 컴퓨팅 자원에 가상화기술을 적용시켜 통합관리하는 기술 HASHSCRAPER CRAWLING TECH 지능형 패스툴 & 자동코드생성기 간단한 조작으로 자동으로 코드를 생성하여 시간과 비용을 줄이는 개발 툴 머신러닝 기술 자연어처리, 이미지분석 기술 통한 데이터 분석 기술 4 CRAWLING TECHNOLOGY
  4. 4. 크롤링 기술1 : 지능형 패턴 분석 알고리즘 지능형 봇이 실시간으로 웹을 분석하고 패턴을 추출하는 지능형 패턴분석 알고리즘 웹 사이트 데이터 수집 구간 봇에 의해 분석된 사이트 구조
  5. 5. 크롤링 기술1 : 지능형 패턴 분석 알고리즘 < 지능형 패턴분석 알고리즘 작동 구조 > 모니터링/수집 실시간 모니터링 및 데이터 수집 문제점 파악 사이트 장애 발생 or 업데이트 사이트 재분석 HASHSCRSPER Server Management System 데이터 수집 요청
  6. 6. 크롤링 기술2 : 지능형 패스툴 & 자동코드생성기 지능형 패스툴 클릭&드래그 만으로 수집 대상을 자동 설정할 수 있는 지능형 툴. 간단한 조작만으로도 데이터 수집 설정이 가능하여 
 개발시간을 단축시킬 수 있다. 자동코드생성기 지능형 패스툴에 의해 개발 코드가 자동으로 생성되는개발 툴. 초급 개발자도 빠르고 쉽게 개발할 수 있으며, 높은 데이터 품질과 안정적인 수집이 가능 비용절약, 퀄리티 향상 2가지 모두를 잡게 한 지능형 패스툴 & 자동코드생성기
  7. 7. 크롤링 기술2 : 지능형 패스툴 & 자동코드생성기 ① 알고리즘 적용 전 기본 코드 ② 타겟 데이터를 클릭&드래그 하여 손 쉽게 선택 ③ ‘지능형 패스툴’이 페이지 내 동일 패 턴 데이터를 검색/설정 ④ 2,3번 작업이 소스코드로 자동 생성. 3초 만에 개발 완료 2 3 4 1 < 지능형패스툴 & 자동코드생성기 동작 순서 >
  8. 8. 크롤링 기술2 : 지능형 패스툴 & 자동코드생성기 < 지능형패스툴 & 자동코드생성기 장점 > 시간 단축 프로그램 개발 시간을 크게 단축시켜 빠르게 수집 가능 비용 절약 개발 인건비가 절약되 어 저렴한 비용에 서비스 제공 안정적인 수집 개발자에 따른 의존도를 줄여 데이터 품질은 높이 고 안정적 수집 가능 빠른 니즈 반영 고객의 추가적인 요구사 항을 빠르고 정확하게 반영/대처 가능
  9. 9. 크롤링 기술3 : 클라우드의 가상화 다양한 컴퓨팅 자원에 가상화 기술이 적용시켜 통합관리하여 효율적으로 작업 수행 HASHSCRSPER Server Management System CLOUD IDC HASHSCRAPER HW 가상화 기술 적용 클라우드, IDC, 물리적인 HW 등 서로 다른 종류의 컴퓨팅 자원이 해시스크래퍼의 서버관리시스템에 의해 가상화 기술이 적용되어 다수의 가상머신들이 수집 목적과 상황에 따라 통합관리되어 작업 수행
  10. 10. 크롤링 기술3 : 클라우드의 가상화 특정 컴퓨팅 자원의 IP가 차단되 어 수집이 불가능할 시, 프록시 서 버를 사용하여 IP차단을 해결 수집 목적과 상황, 데이터의 양에 따라 컴퓨팅 자원을 신속히 전환 하거나 동시 진행 가능 < 컴퓨팅 자원 가상화 구조 > 2 1 2 1
  11. 11. 크롤링 기술4 : 머신러닝 기술 자연어처리 통한 감성분석 : 제품에 대한 긍/부정률, 제품의 강점/특성 확인 상품 구매 댓글, SNS 댓글 분석 통해 상품/서비스에 대한 고객의 긍/부정률을 확인하고 분석하여 고객 반응 분석 통한 판매예측모델 구축 가능
  12. 12. 크롤링 기술4 : 머신러닝 기술 이미지 분석 기술 : 유사/특정 이미지 수집 수천 개 카테고리 내 이미지를 빠르게 분류하고 검색하여 유사/특정 이미지 수집 유사 스타일의 제품을 추천하거나 불쾌감을 주는 콘텐츠 검토 가능
  13. 13. Contact Info www.hashscraper.com help@hashscraper.com 010.6246.0130 010.4462.6008 Homepage E-mail 김경호 대표 김지희 이사 13 Copyrightⓒ 2019 by HASHSCRAPER Inc. All Rights Reserved 오시는 길 홍대입구역 1번 출구 400m 이내

×