본문 바로가기
카테고리 없음

데이터 인프라

by duck9667 2021. 5. 17.

우연히 발견한 데이터 인프라 관련 유투브 동영상. 설명을 너무 잘하신다. 크게 6단계로 데이터 인프라에 대해 알아보자.

Reference - https://www.youtube.com/watch?v=g_c742vW8dQ&list=PLL-_zEJctPoJ92HmbGxFv1Pv_ugsggGD2

 

들어가기 전에

데이터 인프란?

데이터 인프라의 목적은 비즈니스 리더들의 의사결정 및 서비스 향상 서포트

그러나 Production systems로 데이터가 흩어져 있어 통합된 분석 보고서 작성을 위해 데이터 웨어하우스 필요한 추세

 

ETL에서 ELT

ETL은 추출/변환/적재를 말하며 데이터 업무의 기본이라고 보면 된다. 자세히 말하자면 Production systems에서 데이터를 추출하여 dimensional schema로 변환하고 Data warehouse에 적재하는 것이다. ETL의 큰 문제는 추출과 변환이 자동화 될 수 없고 회사마다 다름. 따라서 요즘 방식은 ELT방식, 추출과 적재를 먼저 자동화하고 한 곳에 적재된 데이터를 대상으로 변환한다.

 

1. Source

- OLTP Databases via CDC :

흔히 OLTP란 계좌 이체를 예시로 설명한다. 특정 계좌에서 출금하여 다른 계좌로 이체하는 것을 하나의 트렌잭션으로 보고 이러한 것들을 처리하는 것을 OLTP 데이터 베이스라고 한다. 따라서 수많은 트랜잭션과 정규화된 데이터를 다룬다. 수 많은 데이터를

- OLAP : 데이터 많고 정규화되지 않은 데이터를 말하며 복잡한 분석 쿼리를

 

 

데이터 인프라 Cheet sheet

 

댓글0