Riotory

ETL이란? 추출, 전환, 적재(ETL)는 다양한 소스의 데이터를 데이터 웨어하우스라고 부르는 대형 중앙 집중식 리포지토리에 결합하는 과정 * ETL은 원시 데이터를 정리 및 구성해서 스토리지, 데이터 분석, 기계 학습(ML)용으로 준비하기 위한 비즈니스 규칙 세트 이점 1. 기록 컨텍스트 조직의 데이터에 대한 심층적인 기록 컨텍스트를 제공 기업은 기존 데이터와 새로운 플랫폼 및 애플리케이션의 데이터를 결합 오래된 데이터 세트를 보다 최신 정보와 함께 볼 수 있으므로, 데이터를 장기적으로 파악 2. 통합 데이터 보기 심층 분석과 보고를 위한 통합 데이터 보기를 제공 여러 데이터 세트를 관리하려면 시간과 조율이 필요하며 비효율성과 지연이 발생 데이터베이스와 다양한 형태의 데이터를 하나의 통합된 보기로 결합..

데이터 웨어하우스(DW)란? 데이터 관리 시스템으로 여러 소스로부터 얻은 대량의 데이터를 중앙 집중화 및 통합 사용이유 다양한 대량의 소스로부터 얻은 데이터를 결합하거나, 분석에 적합한 형식인지 확인하거나, 시간이 지남에 따라 현재 및 장기적인 데이터 뷰를 모두 확보하기 위해서 특징 쿼리 및 분석을 수행하기 위한 용도로만 사용 많은 양의 데이터를 처리 가능 데이터 저장 및 관리 위한 관계형 데이터 베이스 분서용 데이터 준비 위한 ETL 솔루션 통계 분석, 보고 및 데이터 마이닝 가능 데이터 시각화, 비즈니스 사용자에게 제공하기 위한 클라이언트 분석 도구 정교한 분석으로 다양한 종류의 데이터 분석을 가능케 하는 공간 분석 기능 설계 분석 계층 (상위 계층) : 보고, 분석 및 데이터 마이닝 도구를 통해 결..

ETL : DW 구축 시 데이터를 운영시스템에서 추출하여 가공한 후 DW에 적재하는 과정 Extract(추출) 하나 또는 그 이상의 데이터를 원천들로 부터 데이터 “추출” Transform(변환) 추출한 데이터를 요구사항에 맞게 “변경”하는 작업 Load(적재) 변형 단계의 처리가 완료된 데이터를 특정 목표 시스템에 “저장” 특정요소 순서 : E(추출) → T(변환) → L(적재) 데이터 스테이징 단계가 소스와 DW 사이 위치 DW 로드하기 전, 중요 보안 데이터를 처리하여 개인정보 보호 규정을 준수 지원 가능 정교한 데이터 변환 수행 가능 특징 워크플로우가 잘 정의되어 있어야 하며 연속적이고 지속적인 프로세스를 가진다 : ETL은 동종 또는 이종의 데이터 소스에서 데이터를 추출하여, 스테이징 영역에 임..