[빅분기] PART4. 빅데이터 결과 해석 - 분석결과 해석 및 활용 - 분석결과 활용 (출제빈도 : 하)

                  * 본문은 이기적에서 발행한 빅데이터분석기사 수험서를 공부하면서 작성된 글입니다. 시험 대비한 공부로, 암기가 필요한 부분을 요약/정리합니다.

PART4. 빅데이터 결과 해석

2. 분석결과 해석 및 활용

2-3. 분석결과 활용

1) 분석모형 전개

* 빅데이터 분석 방법론

     출처 : https://sungks.tistory.com/129

- 데이터마이닝을 위한 방법론을 프로젝트 특성에 맞추어 적용

- 대표적인 데이터마이닝 방법론 : SCRISP-DM, SEMMA, KDD 등

- 빅데이터 분석 방법론 참조 모델(데이터산업진흥원) 5단계 

 ① 분석기획(Planning) : Biz. 이해, 분석 목표와 범위를 설정. 프로젝트 정의 및 계획수립, Risk 계획 수립 등

 ② 데이터 준비(Preparing) : 데이터의 범위와 요건 정의, 데이터 수집, 가공, 준비, 데이터 스토어 설계, 정합성 점검

 ③ 데이터 분석(Analyzing) : 분석용 데이터 준비, 텍스트 분석, EDA, 모델링, 평감 치 검증, 적용 및 운영방안 수립

 ④ 시스템 구현(Developing) : 분석 모델을 시스템에 적용하거나 프로토타입 구현할 필요가 있으면 진행

 ⑤ 평가 및 전개(Deploying) : 모델 성능 유지 및 주기적으로 개선하기 위한 계획 수립. 성과 평가 및 최종보고서

* CRISP-DM (Cross Industry Standard Process for Data Mining)

- 1996년 유럽연합의 ESPRIT 프로젝트에서 시작한 총 6단계 방법론

① 비즈니스 이해(Business Understanding)

② 데이터 이해(Data Understanding)

③ 데이터 준비(Data Preparation)

④ 모델링(Modeling)

⑤ 평가(Evaluation)

⑥ 전개(Deployment)

* SEMMA(Sampling Exploration Modification Modeling Assessment)

- SAS사의 주도로 통계적 분석에 중심을 두고 있는 총 5단계의 방법론

- ①샘플링(S) ②탐색(E) ③전처리(M) ④모델링(M) ⑤평가(A)

* KDD(Knowledge Discover in Database)

- 1996년 Fayyard가 정리한 총 5단계의 데이터마이닝 프로세스

- ①데이터 추출(Select) ②전처리(Preprocessing) ③변환(Transformation)

  ④데이터 마이닝(Data Mining) ⑤해석/평가(Interpretation/Evaluation)

* 전개(Deployment) 단계의 역할

- 개발된 모델을 적용하여 결과를 확인하고 계속적인 관리를 위한 방법 제시

- 방법론에 따라 포함되지 않는 경우도 있지만 프로젝트 성공적 완료 위해 꼭 필요한 프로세스

 ※ 개발된 모델의 성능은 실제 운영 데이터의 특성과 품질에 따라 영향을 받기 때문에 관리 필요

- 모델 전개 단계에서 주로 이루어 지는 작업 ↓

① 분석결과 활용 계획 수립 : 어떻게 업무에 반영할 것인지 액션 플랜 수립, 모니터링 방안 수립

② 분석결과 적용과 보고서 작성 : 업무 현장에 적용, 데이터베이스 시스템 일부로 포함. 성과 측정 및 개선계획 수립

③ 분석모형 모니터링 : 각 현업부서에서 분석결과 활용전 활용방안이 계획대로 잘 수행되고 있는지 모니터링

④ 분석모형 리모델링 : 모형이 업무와 데이터를 지속적 수용할 수 있도록 데이터 품질검토, 알고리즘개설, 하이퍼파라미터 최적화 등 리모델링 과정 진행

2) 분석결과 활용 계획 수립

* 분석결과 활용 계획 수립 개요

- 분석 결과를 어떻게 업무에 반영할 것인지에 대한 액션 플랜 수립

- 업무 성과 지속적 모니터링 방안 수립

- 분석 목표 설정할 때 함께 고려되지만, 결과가 어느정도 완성되면 구체화된 활용계획을 수립/적용

- 정보화 부서와 현업 부서 구성원의 빅데이터 분석/활용 이해를 제고하기 위해 교육방안 수립

- 기관간 데이터 연계, 데이터 통합, 분석 결과 활용 내용을 포함한 확산 계획 고려

* 분석결과 활용 시나리오 개발

- 분석 과제를 계획하는 단계에서 활용 방안 미리 수립. 전개 단계에서 시나리오 수준까지 구체화

- 분석 결과를 즉시 적용할 수 있는 단계 활용계획을 제시. 중장기 활용계획 수립 및 상세화

* 업무 적용 및 효과 검증

- 기대되는 성과를 조직 내에 충분히 공유 및 빅데이터 활용 분위기 조성

- 실무자들에게 분석 결과에 대한 전반적인 내용 이해시키고 도출된 결과물을 제시

- 지속적 검증 위해 빅데이터 장/단기 활용 계획이 우선적으로 수립 및 성과지표 정의 필요

- 분석 결과가 조직의 성과 향상을 위해 사용되는지, 전후로 업무가 개선되었는지 등 효과성 검증

3) 분석결과 적용과 보고서 작성

* 분석결과 적용과 성과평가

- 기대되는 성과를 조직내에 충분히 공유하고 실무자에게 이해, 실제 업무에 적용하는 방법 모색 필요

- 실무자가 어떻게 적용했는지 확인하고 개선해야할 사항이 있으면 리모델링에 반영

- 기획단계에서 설정된 기준에 따라 프로젝트 성과를 정량/정성적으로 평가하고 성과 평가서 작성

① 성과를 측정할 항목을 정하고, 항목에 따라서 측정식, 측정주체, 기간, 주기를 결정한다.

② 계획된 성과 측정 방법에 따라 성과를 측정하고 예상 성과지표와 비교한다.

③ 실제 성과가 목표치보다 부족하면 목표설정에 문제가 없는지 파악하고 없다면 개선사항을 검토한다.

④ 성과평가를 문서화하고 관련 부서 및 조직과 공유한다.

* 최종보고서 작성

- 프로젝트의 진행과정 모든 산출물 및 프로세스를 정리하고 자산화

[최종 보고서 포함 내용]

① 프로젝트 개요 : 목표, 범위, 일정, 비용 등

② 프로젝트 수행 조직

③ 프로젝트 단계별 산출물 요약

④ 성과평과 결과

⑤ 모니터링 및 개선 계획

4) 분석모형 모니터링

*  분석모형 모니터링 필요성

- 주변 환경과 데이터의 변화를 모델에 지속적으로 반영하기 위해 모니터링/리모델링 필요

- 실무에서 활용시 이전에 수립한 활용방안이 계획대로 잘 수행되고 있는지 모니터링

- 데이터 수집, 저장, 관리, 분석결과 활용 및 성과공유 등을 위한 유지관리

- 조직 담당자는 유지관리 체크리스트를 활용해 세부 유지관리 사항을 구체화 및 점검

* 분석모형 모니터링 대상

-조지은 모니터링 및 유지관리 목표를 수립하고 필요한 활동을 도출한 후 투입공수 산정 → 유지관리 예산 수립/집행

① 분석 모니터링의 주요 대상

 - 서비스 : 분석과제 발굴, 활용방안 마련, 성과관리 등

 - 분석모델 : 알고리즘 주기, 변수, 소스(데이터 원천) 등

 - 데이터 : 현 시점의 현행화 데이터 확인

② 분석 서비스 유지관리의 주요 대상

 - 정책/제도 : 조직의 정책/제도 개발 및 적용

 - 업무 : 신규 업무 반영, 기존 업무 업그레이드

 - 관련 시스템 : 관련 시스템 변경 사항 반영

 - 인력 : 업무역량, 책임과 역할, 교육훈련 등

5) 분석모형 리모델링

* 분석모형 리모델링 과정

- 지속적인 신규 데이터가 들어오고 정책과 환경이 변화 → 분석 모델 성능 하락

- 데이터 수집, 전처리, 분석방법론, 분석결과까지 과제 전반에 대해 보완하거나 새로운 사항 추가/정리

- 개선 방안을 기반으로 리모델링 계획 수립, 수립된 계획에 따라 리모델링 수행

* 분석모형 리모델링 방법

- 분석 모형이 변화된 업무와 데이터를 지속 수용할 수 있도록 ↓ 리모델링 과정 진행

① 분석목적에 기반한 가설 및 추정방법에 대한 재검토

② 분석용 데이터의 범위 및 품질 검토

③ 과대적합과 과소적합 방지를 위한 알고리즘 개선

④ 분석알고리즘과 매개 변수 최적화

⑤ 분석 모형 융합과 재결합