이 블로그에 대하여

데이터 엔지니어링 실무에서 겪은 운영 문제와 모델링 판단을 정리해 두는 한국어 기술 블로그입니다. 트러블슈팅 메모와 설계 판단을 한 곳에 모아 두고, 나중에 같은 문제를 다시 만났을 때 근거로 쓸 수 있게 남기는 것이 목적입니다. 결론만 적기보다 왜 그렇게 판단했는지, 어떤 조건에서 다시 뒤집힐 수 있는지를 함께 적습니다.

  • Airflow · MWAA 운영 — deferrable operator, worker 수와 동시성, Secrets Manager 연동, 실패 전파 판단
  • BigQuery · 데이터 거버넌스 — DDM 파이프라인, 감사 로그 기반 가드레일, SQL 파이프 구문 검토
  • 데이터 웨어하우스 모델링 — 상태 스냅샷, transition·interval table, wide table vs star schema
  • AI 시대의 데이터 모델링 — semantic layer, schema-aware reasoning, text-to-SQL

전체 글은 글 목록에서, 주제별 묶음은 태그와 카테고리에서 볼 수 있습니다. 사이트 소개와 댓글 정책은 소개 페이지에 정리해 두었고, 오탈자나 반대 의견은 각 글 아래 댓글로 남겨 주셔도 됩니다.

최근 포스트

Audit Log로 데이터 웨어하우스 가드레일 만들기

5 분 소요

운영 데이터베이스를 GCP DataStream으로 ODS에 스트리밍하다 보면, “스트리밍만 잘 되면 끝”이라고 생각하기 쉽습니다. 하지만 실제 운영에서는 데이터 적재보다 적재 이후의 관리가 더 어렵습니다.

나는 메달리온이 싫습니다

4 분 소요

요즘 데이터 플랫폼 이야기를 하면 거의 자동으로 따라오는 단어가 있습니다. 바로 Bronze, Silver, Gold로 이어지는 메달리온 아키텍처입니다. 여전히 많이 쓰이고, 특히 Databricks 생태계에서는 사실상 기본값처럼 취급되기도 합니다.

좋은 데이터 모델은 저장이 아니라 질문을 위해 존재합니다

6 분 소요

데이터 모델링 이야기를 하다 보면 대화가 쉽게 구조 쪽으로 흘러갑니다. 정규화가 맞는가, 스타 스키마가 맞는가, 와이드 테이블이 맞는가, 레이크하우스가 좋은가 같은 질문들이 먼저 나옵니다. 물론 이런 논의는 중요합니다. 다만 실무에서는 모델이 실패하는 이유가 구조가 덜 예뻐서인 경...

BigQuery Dynamic Data Masking 적용 파이프라인 정리

7 분 소요

BigQuery에서 개인 정보가 포함된 테이블을 운영하다 보면, 단순히 권한을 나누는 수준만으로는 부족한 경우가 많습니다. 특히 ODS나 분석용 테이블이 자동 생성되거나 재생성되는 환경에서는, 민감 컬럼에 대한 정책 적용이 한 번만 누락되어도 그대로 노출 위험으로 이어질 수 있습니다.