|
빅데이터로 일하는 기술
- 
장동인 지음/한빛미디어 |
빅데이터, 빅데이터. 뭔가 쓰나미가 몰려올 것 같은(?) 부담감과 달리, 막연하게 어디서부터 시작해야할지 감이 잡히지 않는다. 유수의 데이터 회사와 컨설팅사를 거친 저자의 인사이트를 살짝 엿본다면, 안개가 조금은 걷히는 기분이 들 것이다. IPS(Indoor Positioning System)과 같이, 어렵게만 느껴지는 약자들을 친절하게 풀어주어 읽기 편하다.
성장하는 섹터인 빅데이터 분야에서 일하고 싶다고 막연히 생각은 했지만, 이 책을 읽고 나니 앞으로 배울 것이 산더미라는 (기분좋은) 부담감. 무엇을 모르는지 알게 된.. 어쨌든 계속 계속 공부해 나가야지. 일을 통해 배울 수 있는 일을 찾는 것도 함께 해 나가야지 :) !
< 책에서 메모해둘 개념 및 인사이트! >
- 현대의 IT 트렌드 5가지 : 소셜, 모바일, 빅데이터, 클라우드, 사물인터넷
- 데이터 분석의 목적 : 근본 원인을 찾고 미래를 예측 & 대비하기 위해
- 빅데이터의 정의(4V) by IBM
- Volume, scale of Data : 우리나라 은행의 데이터는 약 100TB 정도!
- Variety, Different forms of Data : 페이스북에서는 매달 300억 건의 기록이 공유됨!
- Velocity, Analysis of Streaming Data : 자동차에는 연료, 압력 등을 측정하는 100여개의 센서가 있음!
- Veracity, Uncertainty of Data : CEO 중 1/3은 데이터를 믿지 않음!
- 다크 데이터 분석 전, 활용에 대한 비즈니스 시나리오가 먼저 있어야!
- 이상치를 분석에 포함할지 제외할지 결정하려면 현업 담당자가 데이터 분석 능력을 키워야 한다!
- 빅데이터 전문가
- 빅데이터 IT 전문가 : 빅데이터 활용 기술 (하둡, NoSQL, 실시간 처리 기술...) 전문가
- 빅데이터 분석 전문가 : 데이터 프로세싱을 통해 과거에 일어난 일, 원인 분석, 미래 예측, 시뮬레이션까지 할 수 있는 전문가
- 빅데이터 도메인 전문가 : 특정 업종/업무에 대한 해박한 지식을 가진 전문가
- 빅데이터 전략 전문가 : 세 분야의 해박한 지식을 통해 각 분야 내용을 통합, 전체 전략 수립,
현업과 협의하여 theme 도출, 분석 결과를 실제 환경에서 적용하도록 평가하고 업무 프로세스 설계
- 데이터 사이언티스트 : 데이터 처리, 분석, 모델링, 결과 해석
( cf. 전략 전문가 : + 산업에 대한 이해, 업무 실행에 대한 이해)
- Quick Win 과제 : 기업 내 최초로 수행하는 big data 프로젝트.
임팩트가 크고 성공 가능성이 높은 것을 선정해서 본 프로젝트에 좋은 영향을 미칠 수 있도록!