BI/DW

[DW] 데이터 웨어하우스(Data Warehouse) 란?

리오토리 2023. 1. 18. 13:47

데이터 웨어하우스(Data Warehouse)

데이터 창고

즉, 대규모의 데이터를 처리(사용)할때 단일(작은) 데이터베이스로는 충분하지 않아 사용하는 데이터 창고 개념이다.

 

비즈니스 인텔리전스의 핵심 구성 요소

: 정교한 분석과 의사결정 지원을 위해 다양한 소스의 데이터를 단일 데이터 저장소에서 운영하게 한다.

데이터 웨어하우스 (출처: dremio)

그림자료 간단한 설명

1. 각종 데이터 소스에서 데이터를 수집하고 ELT로 받아 정재 과정 후  DW안으로 자료가 넘어간다.

2. DW안에서는 연관성없는 데이터들을 연관성있고 더 정밀하게 통합(재구조화)시켜준다.

3. 모인 자료들은 OLAP를 통해 시각화자료로 변환되어 필요한 곳에 전달된다.

 

ELT

소스시스템으로부터 필요한 데이터를 추출, 변환하여 목적지 데이터베이스 환경으로 전달

 

 

데이터 웨어하우스가 하는일

  • 서로 다른 소스의 데이터들을 하나의 데이터 저장소로 집계하는 시스템 = 분석하고 데이터를 시각화 시켜준다.
  • 일반적인 데이터베이스가 할 수 없는 방대한 양의 데이터(페타 바이트 수준)에 대한 파워풀한 분석을 수행하게 도와준다.

 

요약 Table과 집합화(Aggregation)

 

1.요약된 데이터란?

  • 미리 정의된  fact date를 누적
  • 직접적이고 쉽게 접근할 수 있도록  data를 집합화

 

2. 왜 요약된 데이터를 갖는가

  • 질의 응답시간을 개선하기 위해
  • 자원의 활용도를 최적화 하기 위해
  • 분석 처리를 강화하기 위해

 

3. 집합화 된 data(Aggregation)

  • DW내의 SUM, MAX, MIN, COUNT등으로 미리 계산되고 요약된 data
  • 일반적으로 요약된 fact table에 저장

 

 

 

참고

http://blog.ecore.asia/?p=716 DW

https://ysiksik.github.io/study/kt-development-consortium/database-modeling/2022-06-25-DW-Data-Modeling/ 요약된 데이터개념과 스키마