RabbitMQ 에 대한 모든것

쿠버네티스라는 거대한 요새를 완벽하게 구축하셨으니, 이제 그 요새 안에서 움직이는 수많은 파드(Pod)들이 서로 '대화'하는 방식 중 가장 신뢰할 수 있는 베테랑 메신저, RabbitMQ를 정복할 시간입니다! 🫡

주식 시스템에서 실시간 시세 데이터가 폭주할 때, 분석 파드가 바쁘다고 데이터를 놓쳐버리면 절대 안 되겠죠? 이때 데이터를 안전하게 보관했다가 순서대로 전달해 주는 '중간 관리자'가 바로 Message Broker인 RabbitMQ입니다.

RabbitMQ의 모든 것을 파헤쳐 보겠습니다!

---

🐇 1. RabbitMQ란 무엇인가? "똑똑한 우체국"

RabbitMQ는 AMQP(Advanced Message Queuing Protocol)를 구현한 오플소스 메시지 브로커입니다.

• 핵심 역할: 송신자(Producer)로부터 메시지를 받아 수신자(Consumer)에게 전달합니다.
• 차별점: 단순히 던지는 게 아니라, 사용자가 정한 '복잡한 규칙'에 따라 메시지를 분류하고, 수신자가 죽어있다면 살아날 때까지 안전하게 보관합니다.
• 비유: 단순히 편지를 배달하는 집배원이 아니라, 편지 내용에 따라 분류해서 적절한 부서로 전달하고 수취인이 부재중이면 보관함에 넣어두는 '지능형 우체국'과 같습니다.

---

🏗️ 2. RabbitMQ의 4대 구성 요소와 작동 원리

이 구조를 이해하는 것이 RabbitMQ 마스터의 시작입니다.

① Producer (발행자)

• 메시지를 만들어 보내는 주체입니다. 사용자의 '시세 수집 파드'가 여기에 해당하겠죠.
• 중요한 점은 Producer는 큐(Queue)에 직접 메시지를 넣지 않습니다! 오직 Exchange에게만 전달합니다.

② Exchange (교환기/분류기)

• RabbitMQ의 핵심 두뇌입니다. 들어온 메시지를 어떤 큐로 보낼지 결정하는 라우팅(Routing) 역할을 합니다.
• Direct: 메시지의 태그(Routing Key)가 정확히 일치하는 큐로 전달.
• Fanout: 연결된 모든 큐에 메시지를 복사해서 전달. (브로드캐스트)
• Topic: 패턴 매칭(예: stock.*)을 통해 관련 있는 큐들로 전달.

③ Queue (메시지 저장소)

• 메시지가 소비자에게 전달되기 전까지 대기하는 물리적인 버퍼입니다.
• 쿠버네티스의 PV를 연결해두면 RabbitMQ가 재시작되어도 큐에 쌓인 데이터는 사라지지 않습니다.

④ Consumer (소비자)

• 메시지를 받아 처리하는 주체입니다. 사용자의 'A그룹/B그룹 분석 파드'들이 여기에 해당합니다.

---

🛠️ 3. RabbitMQ의 3대 필살기 (신뢰성 보장)

RabbitMQ를 선택해야 하는 이유는 바로 이 강력한 '안전장치'들 때문입니다.

① Acknowledgement (Ack/Nack)

• 소비자가 메시지를 받았다고 끝이 아닙니다. "나 이거 처리 완료했어!"라고 RabbitMQ에게 확인 신호(Ack)를 보내야만 RabbitMQ가 큐에서 메시지를 지웁니다.
• 만약 분석 파드가 처리 중에 죽으면? RabbitMQ는 Ack를 받지 못했으므로 해당 메시지를 다시 큐에 넣거나 다른 파드에게 보냅니다. 데이터 유실 제로!

② Message Durability (지속성)

• 메시지를 메모리가 아닌 디스크에 저장하도록 설정할 수 있습니다. 서버 전원이 나가도 사용자의 주식 데이터는 안전합니다.

③ Dead Letter Exchange (DLX/쓰레기통)

• 처리에 실패하거나 유효기간이 지난 메시지들을 따로 모으는 전용 Exchange입니다. 왜 에러가 났는지 나중에 분석할 수 있는 '블랙박스' 역할을 합니다.

---

⚖️ 4. RabbitMQ vs Kafka: "무엇이 다른가?"

가장 많이 고민하실 부분입니다. 둘 다 메시지를 다루지만 성격이 완전히 다릅니다.

항목	RabbitMQ (Smart Broker)	Kafka (Dumb Broker, Smart Consumer)
철학	메시지의 정교한 라우팅과 배달	대용량 로그의 빠른 저장과 재생
메시지 삭제	소비자가 읽고 Ack를 주면 즉시 삭제	보관 주기 동안 유지 (다시 읽기 가능)
우선순위	큐 내 메시지 우선순위 설정 가능	지원하지 않음 (순차 처리)
사례	금융 트랜잭션, 정교한 작업 큐	실시간 로그 수집, 빅데이터 스트리밍

사용자를 위한 가이드: "데이터가 하나라도 빠지면 안 되고 복잡한 처리가 필요하다면 RabbitMQ, 일단 엄청난 속도로 데이터를 쌓아두고 나중에 분석하겠다면 Kafka입니다!"

---

💡 5. 실전 비유: "주문 제작 식당"

• Producer: 음식을 주문하는 손님입니다.
• Exchange: 주문을 받아 주방(Queue)으로 전달하는 홀 매니저입니다. "스테이크는 양식 주방으로, 초밥은 일식 주방으로 보내!"라고 판단하죠.
• Queue: 요리사가 요리하기 전까지 주문서가 걸려있는 홀더입니다.
• Consumer: 요리를 만드는 요리사입니다. 요리를 다 만들면(Ack), 주문서를 찢어서 버립니다. 만약 요리사가 도중에 쓰러지면, 주문서는 홀더에 그대로 남아 다른 요리사가 처리합니다.

---

📊 6. 요약: RabbitMQ 도입 시 얻는 이점

1. 애플리케이션 결합도 분리 (Decoupling): 수집 파드와 분석 파드가 직접 연결될 필요가 없습니다. 서로의 존재를 몰라도 RabbitMQ만 통하면 됩니다.
2. 트래픽 서지 방어 (Smoothing): 갑자기 시세 데이터가 몰려도 큐에 쌓아두면 되므로 분석 파드가 과부하로 죽지 않습니다.
3. 유연한 확장: 분석 파드(Consumer)만 여러 개 띄우면 작업 속도를 자유자재로 조절할 수 있습니다.

---

🚀 꼬리 질문

이제 메시지가 어떻게 흐르는지 완벽하게 이해하셨습니다! 🫡 그런데 RabbitMQ 자체도 하나의 서버(파드)죠? 만약 RabbitMQ 파드가 있는 노드가 죽어버리면 전체 시스템의 대화가 단절됩니다. 이를 방지하기 위해 여러 개의 RabbitMQ를 묶어 하나처럼 동작하게 만들어야 합니다.

"그럼 RabbitMQ의 고가용성(HA)을 위해 여러 노드에 데이터를 복제하는 'Clustering'과 'Quorum Queues'는 어떤 원리로 작동하고, 쿠버네티스에서 어떻게 구성해?"