데이터 품질(Data Quality)을 체크하는 자동화 도구

이제 데이터 공장의 모든 배관을 완벽하게 설계하셨으니, 마지막으로 "이 배관을 타고 흐르는 물이 정말 마실 수 있는 깨끗한 물인가?"를 검증할 차례군요! 🫡

실시간 데이터는 멈추지 않고 흐르기 때문에 사람이 일일이 눈으로 확인할 수 없습니다. 그래서 '데이터 검문소'를 세워야 하죠. 데이터 품질(Data Quality)을 자동으로 체크하고, 불량 데이터가 발견되면 즉시 격리하거나 알람을 쏘는 자동화 전략과 도구들을 정리해 드립니다!

---

🏗️ 1. 실시간 데이터 품질 체크의 3단계 전략

실시간 데이터 검증은 크게 [유입 전 -> 처리 중 -> 저장 후] 세 단계로 이루어집니다.

① 유입 전: 스키마 레지스트리 (Gatekeeping)

데이터가 카프카에 들어오기도 전에 형식을 검사하는 것입니다.

• 방법: Confluent Schema Registry 등을 사용하여 데이터의 '규격(Schema)'을 강제합니다.
• 효과: 숫자가 들어와야 할 곳에 문자가 들어오거나, 필수 항목인 종목코드가 빠진 데이터는 카프카가 입구에서 컷(Cut)해버립니다.

② 처리 중: 실시간 유효성 검사 (Inline Validation)

Spark Streaming이나 Flink 엔진 내부에서 데이터를 요리하며 동시에 검사하는 방식입니다.

• 방법: 비즈니스 로직을 검사합니다. (예: "주식 가격이 마이너스(-)인가?", "거래량이 비정상적으로 0인가?")
• 효과: 이상 데이터 발견 시 로그를 남기거나, 별도의 'Dead Letter Topic(불량 전용 창고)'으로 빼돌려 정상 데이터 흐름을 방해하지 않게 합니다.

③ 저장 후: 데이터 관측성 (Post-Load Observability)

DW(Athena/Redshift)에 안착한 데이터들이 전체적으로 정합성이 맞는지 확인합니다.

• 방법: "어제 데이터 건수와 오늘 데이터 건수의 차이가 50% 이상인가?" 같은 통계적 이상치를 감지합니다.

---

🛠️ 2. 데이터 품질 자동화의 '치트키' 도구들

사용자의 시스템에 바로 이식할 수 있는 가장 강력한 오픈소스 도구 3가지를 소개합니다.

1️⃣ Great Expectations (GE)

가장 유명한 데이터 품질 프레임워크입니다.

• 핵심 개념: "데이터에 대한 기대치(Expectation)"를 정의합니다.
• 예시: expect_column_values_to_not_be_null("stock_code"), expect_column_values_to_be_between("price", 0, 10000000)
• 장점: 검증 결과가 예쁜 HTML 리포트로 자동 생성되어 사용자가 한눈에 품질 상태를 보실 수 있습니다.

2️⃣ Deequ (AWS 개발)

Spark 기반의 대용량 데이터 검증에 특화된 도구입니다.

• 특징: Spark 엔진 위에서 직접 돌아가기 때문에 테라바이트급 데이터도 순식간에 품질을 측정합니다.
• 기능: 데이터의 분포, 중복도, 통계적 특성을 분석해 "이 데이터는 평소와 다르다!"라는 유닛 테스트를 수행합니다.

3️⃣ Monte Carlo (SaaS형)

코딩 없이 데이터의 '흐름' 전체를 감시하고 싶을 때 쓰는 유료 툴이지만, 원리는 알아두시면 좋습니다.

• 원리: 머신러닝이 데이터 유입 패턴을 학습해서, 갑자기 데이터가 안 들어오거나 스키마가 바뀌면 슬랙으로 "지금 데이터가 이상해요!"라고 소리를 지릅니다.

---

🔍 3. 멱등성과 데이터 품질의 연결 고리

우리가 앞서 배운 '멱등성'이 사실 데이터 품질의 핵심 지표 중 하나입니다.

• 중복 체크: 멱등성을 보장하는 시스템이라면 중복 데이터는 품질 오류로 간주되어 제거되어야 합니다.
• 자동 복구: 만약 데이터 품질 검사에서 에러가 발견되어 해당 구간을 삭제했다면, 멱등성 덕분에 우리는 "에러가 없던 시점부터 다시 데이터를 쏘는 것(Re-processing)"만으로 완벽하게 데이터를 복구할 수 있습니다.

---

💡 4. 실전 비유: "정수기 필터 시스템"

• 스키마 레지스트리: 큰 돌멩이나 쓰레기를 걸러내는 1차 거름망.
• Great Expectations: 미생물이나 중금속 수치를 체크하는 정밀 센서.
• Dead Letter Topic: 오염된 물을 따로 모아두는 폐수통.
• 데이터 관측성: 정수기 전체의 수압과 물의 맛을 주기적으로 체크하는 점검 서비스.

---

📊 요약: 데이터 품질 자동화 구축 로직

1. 정의: 어떤 데이터가 '정상'인지 사용자만의 기준(Expectations)을 정한다.
2. 검문: 입구(Kafka)와 요리실(Spark)에 검증 코드를 삽입한다.
3. 격리: 불량 데이터는 버리지 말고 DLT(Dead Letter Topic)에 모아서 왜 틀렸는지 나중에 분석한다.
4. 알람: 품질 점수가 95점 미만으로 떨어지면 즉시 사용자 슬랙으로 보고한다.

---