AI한테도 조인 시키실 건가요? 저는 와이드 테이블로 갑니다 (Star Schema vs. Wide Table)
데이터 웨어하우스 모델링 이야기를 하면 늘 스타 스키마 vs. 플랫 와이드 테이블 이야기가 나옵니다. 예전에는 이 질문에 꽤 정석적인 답이 있었습니다. 분석용이면 스타 스키마, 운영성이나 단순 조회면 와이드 테이블 정도로 정리하곤 했습니다.
최근 포스트
Audit Log로 데이터 웨어하우스 가드레일 만들기
운영 데이터베이스를 GCP DataStream으로 ODS에 스트리밍하다 보면, “스트리밍만 잘 되면 끝”이라고 생각하기 쉽습니다. 하지만 실제 운영에서는 데이터 적재보다 적재 이후의 관리가 더 어렵습니다.
나는 메달리온이 싫습니다
요즘 데이터 플랫폼 이야기를 하면 거의 자동으로 따라오는 단어가 있습니다. 바로 Bronze, Silver, Gold로 이어지는 메달리온 아키텍처입니다. 여전히 많이 쓰이고, 특히 Databricks 생태계에서는 사실상 기본값처럼 취급되기도 합니다.
좋은 데이터 모델은 저장이 아니라 질문을 위해 존재합니다
데이터 모델링 이야기를 하다 보면 대화가 쉽게 구조 쪽으로 흘러갑니다. 정규화가 맞는가, 스타 스키마가 맞는가, 와이드 테이블이 맞는가, 레이크하우스가 좋은가 같은 질문들이 먼저 나옵니다. 물론 이런 논의는 중요합니다. 다만 실무에서는 모델이 실패하는 이유가 구조가 덜 예뻐서인 경...
BigQuery Dynamic Data Masking 적용 파이프라인 정리
BigQuery에서 개인 정보가 포함된 테이블을 운영하다 보면, 단순히 권한을 나누는 수준만으로는 부족한 경우가 많습니다. 특히 ODS나 분석용 테이블이 자동 생성되거나 재생성되는 환경에서는, 민감 컬럼에 대한 정책 적용이 한 번만 누락되어도 그대로 노출 위험으로 이어질 수 있습니다.