[DW]ETL의 간단한 개념

 

ETL

: DW 구축 시 데이터를 운영시스템에서 추출하여 가공한 후 DW에 적재하는 과정

 

 

Extract(추출)

하나 또는 그 이상의 데이터를 원천들로 부터 데이터 “추출”

 

Transform(변환)

추출한 데이터를 요구사항에 맞게 “변경”하는 작업

 

Load(적재)

변형 단계의 처리가 완료된 데이터를 특정 목표 시스템에 “저장”

 

---

특정요소

• 순서 : E(추출) → T(변환) →  L(적재)
• 데이터 스테이징 단계가 소스와 DW 사이 위치
• DW 로드하기 전, 중요 보안 데이터를 처리하여 개인정보 보호 규정을 준수 지원 가능
• 정교한 데이터 변환 수행 가능

 

특징

• 워크플로우가 잘 정의되어 있어야 하며 연속적이고 지속적인 프로세스를 가진다 : ETL은 동종 또는 이종의 데이터 소스에서 데이터를 추출하여, 스테이징 영역에 임시 보관한다. 그 영역에서 데이터는 필터링, Reshaping 등의 프로세스를 거치고 마지막으로 데이터 웨어 하우스에 저장된다.
• 데이터 엔지니어 및 개발자의 상세 계획, 감독 및 코딩이 필요하다 : 데이터 웨어하우스에서 ETL을 손으로 코딩하는 구식 방법은 엄청난 시간이 소요된다. 프로세스를 설계한 후에도 새로운 정보로 데이터 웨어하우스를 업데이트할 때 각 단계를 거치는데 시간이 걸린다.
• 최신 ETL 솔루션은 쉽고 빠르다 : 특히 클라우드 기반 데이터 웨어하우스 및 클라우드 기반 SaaS 플랫폼의 경우 ETL이 훨씬 더 빠르게 실행된다. Xplentity와 같은 클라우드 기반 ETL 솔루션을 사용하면 프로그래밍 전문 지식이 없어도 다양한 소스에서 데이터를 즉시 추출, 변환, 적재할 수 있다.

 

장점

• 효율적이고 안정적인 데이터 분석
• DW에 넣기 전에 변환하여, 보안 규정 위반 위험성을 줄여준다
• 잘 개발된 도구와 플랫폼이 많다

 

 

출처

https://dining-developer.tistory.com/50 ETL/ELT

https://m.blog.naver.com/obzen/221669060933