Redis 대역폭 초과 장애와 대응 과정 공유

안녕하세요. 29CM의 Customer Engagement Engineering 팀에서 상품 전시 영역을 책임지고 있는 김송이입니다. 2025년 겨울, 29CM 최대 규모의 블랙프라이데이 행사인 이구위크에서 발생한 Redis 대역폭 초과 장애에 대한 이야기와 그 대응 과정에 대해 공유하고자 합니다. 이 글에서는 장애의 원인 분석, 즉각적인 대응 조치, 그리고 향후 재발 방지를 위한 개선 작업에 대해 자세히 설명하겠습니다.

Redis 대역폭 초과 장애: 원인 분석 과정

이구위크가 시작된 첫날, 상품 전시 화면에서 장애가 발생했습니다. 초기에는 검색 결과와 상품 리스팅을 담당하는 서버의 일부 파드가 다운되면서 트래픽을 수용하지 못하게 되었습니다. 남아있는 파드는 처리 가능한 트래픽을 초과했고 결국 Netty 이벤트 루프의 포화 상태를 초래했습니다.

여기서 주목해야 할 점은, Redis의 헬스체크 실패 로그가 나타났다는 것입니다. 시스템 메트릭을 확인한 결과, CPU와 메모리는 정상 범위에 있었지만 Redis와의 통신에 실패한 이유를 찾기 위해 네트워크 지표를 살펴보았습니다. 이 과정에서 Redis 노드 타입이 cache.r7g.large로 설정되어 있었고, 이는 기본 네트워크 대역폭이 0.937Gbps라는 것을 알게 되었습니다. 이는 하루 동안 불규칙적인 트래픽의 증가로 인해 순간적으로 이 대역폭을 초과하게 되는 상황이 발생했습니다. 결과적으로 Redis의 버스트 크레딧이 소진되면서 Throttling이 제대로 작동하게 되었고, 이로 인해 장애가 발생했습니다.

대응 과정: 즉각적인 조치 및 수정

장애가 발생한 후, 신속하게 원인을 파악하고 대응하기 위해 노력했습니다. 장애가 발생한 시간인 20:58에 크레딧이 고갈되면서 발생한 Throttling으로 인해 Redis 연결과 명령 처리에 큰 지연이 발생하였습니다. 이 시점에서 획기적인 조치를 취하기로 결심했으며, Redis 노드를 스케일업하기로 결정했습니다.

기존의 cache.r7g.large에서 cache.r7g.2xlarge로 업그레이드하여 기본 대역폭을 약 2배로 증가시키며 상황을 개선할 수 있었습니다. 네트워크 사용률을 줄이기 위해 대규모 트래픽을 수용할 수 있는 인프라로 빠르게 대응했습니다. 당일 서비스 장애는 즉시 해소되었지만, 장기적인 대책을 마련하는 것이 더욱 중요하다고 판단했습니다. 이를 위해 장애가 발생한 원인을 명확히 이해하고, 지속적으로 트래픽 증가를 감당할 수 있는 인프라 구조로 전환해야 한다고 결심했습니다.

즉각적인 조치가 성공을 거두면서, 모니터링 대시보드를 강화하고 네트워크 대역폭을 실시간으로 확인 가능하도록 개선하는 방향으로 나아갔습니다.

재발 방지: 개선 작업과 장기 과제

장애 대응 후에는 같은 문제가 반복되지 않도록 여러 가지 조치를 진행했습니다. 첫 번째로, 네트워크 모니터링을 강화하여 Redis의 대역폭 사용량을 즉각적으로 확인할 수 있도록 했습니다. 이 과정에서 주요 네트워크 지표들을 실시간으로 관리하기 위한 모니터링 대시보드를 구축하였고, Datadog Alert를 통해 임계치를 초과할 경우 즉시 알림을 받을 수 있도록 설정하였습니다.

두 번째로, Redis의 네트워크 부하를 줄이기 위해 캐시 전략을 변경했습니다. 응답 빈도가 낮은 데이터에 대해 서버 내부 메모리를 활용하여 로컬 캐시를 구축했습니다. 이를 통해 Redis의 부하를 크게 줄이는 효과를 얻었으며, 실제 Redis 명령어 호출 수가 감소한 것을 확인할 수 있었습니다. 이와 함께 Redis와의 데이터 전송량 또한 크게 줄어들었습니다.

장기적으로는 Redis의 네트워크 대역폭 사용량을 최소화하기 위해 캐시 데이터의 압축을 고려하고 있습니다. Snappy 압축 알고리즘과 Protocol Buffers 형식으로의 전환을 검토하고 있어, 네트워크 대역폭 절감과 성능 개선을 동시에 기대하고 있습니다.

이번 Redis 대역폭 초과 장애를 통해 다양한 문제를 발견하고 해결할 수 있었습니다. 이를 계기로 시스템의 모니터링 관점이 얼마나 중요한지를 다시 한번 인식하게 되었습니다. 장애 대응과 더불어 한층 더 안정적인 사용자 경험을 제공하기 위해 지속적으로 노력할 것입니다. 향후에도 문제 해결을 위한 과정을 통해 서비스 구조를 점검하고 개선하여, 빠르고 안정적인 시스템으로 성장해 나가고자 합니다. 이 글을 읽어주신 모든 분들께 감사드립니다.

이 블로그의 인기 게시물

무신사머니 결제 시스템 연동의 안정성 및 혁신

```html 29CM Purchase & Post Purchase 팀이 무신사머니 결제 시스템 연동을 통해 고객의 결제 경험을 혁신적으로 개선할 예정입니다. 무신사머니는 선불결제 방식으로, 이를 통해 결제 전환율을 높이고 고객 유치를 극대화할 수 있습니다. 본 글에서는 무신사머니 결제 시스템의 안정성과 혁신에 대해 자세히 살펴보겠습니다. 안정성을 기반으로 한 무신사머니 결제 시스템 무신사머니 결제 시스템의 구조는 여러 요소를 고려하여 설계되었습니다. 고객이 주문서를 작성할 때 필요한 정보는 여러 데이터 소스에서 수집되며, 이를 통해 무신사머니의 가입 여부, 잔액, 첫 결제 여부 등의 정보를 제공합니다. 이러한 정보를 통해 고객은 무신사머니를 hassle-free하게 사용할 수 있게 되며, 우리는 장애 발생 시에도 안정적인 결제 경험을 보장하기 위해 점진적 기능 저하(Graceful Degradation) 를 채택했습니다. 이 체계적인 접근을 통해 결제 과정에서 필수 정보가 누락되더라도 주문 처리가 가능하도록 기능을 최적화했습니다. 또한 비즈니스 연속성을 높이기 위해 필수 정보와 선택 정보를 구분하여, 필수 정보가 누락될 경우 무신사머니 결제수단 자체를 비활성화하고, 선택 정보는 최대한 지원하는 형태로 시스템을 운영합니다. 결과적으로 필요한 데이터가 완비되지 않더라도 고객의 결제가 안정적으로 진행되고, 사용자 경험이 향상되는 효과를 얻었습니다. 이런 안정성 확보는 문제 해결을 용이하게 만들어 줍니다. 예를 들어, 필요한 정보가 조회되지 않을 경우에도 적절한 폴백 전략을 통해 사용자가 헷갈리는 일이 없도록 다양한 UI 정책을 마련했습니다. 이러한 안정성이 결제 시스템의 성공에 있어 핵심 요소로 작용하고 있으며, 고객의 신뢰를 얻는 데 큰 주효하고 있습니다. 혁신적 개선으로 고객 경험 향상 무신사머니 결제 시스템의 도입은 단순히 결제 수단을 늘리는 데 그치지 않습니다. 우리는 고객을 유치하고 리텐션을 높이기 위한 전략적 기능을 통합하...
자세한 내용 보기

매크로 코딩으로 시니어 성장의 벽 넘기

궁극적으로 시니어 개발자로서의 성장을 위한 ‘벽’은 매크로 코딩을 통해 극복할 수 있습니다. 이 글에서는 마이크로 코딩을 넘어서 매크로 코딩으로의 관점을 확장하는 것이 왜 중요한지를 살펴보며, 어떻게 시니어 엔지니어로서의 성장에 도움이 되는지 이야기하고자 합니다. 이를 통해 독자들이 매크로 코딩의 중요성을 이해하고 적용하도록 유도하는 것이 목표입니다. 1. 매크로 관점으로 나아가기 시니어 개발자로 성장하기 위해선 매크로 관점을 가지고 문제를 바라보는 것이 매우 중요합니다. 많은 엔지니어들이 자신이 작성한 코드의 품질이나 로직에만 집중하며 성장을 고민합니다. 하지만 매크로 관점에서는 코드가 전체 시스템과 비즈니스에 미치는 영향을 이해하고 고려하는 것이 필수적입니다. 예를 들어, 우리가 개발하는 기능이 특정 비즈니스 KPI에 어떤 기여를 하는지를 생각해볼 필요가 있습니다. 이는 단순히 제대로 작동하는 기능을 만드는 것을 넘어서, 기능이 비즈니스 목표에 부합하는지, 혹은 더 나은 대안은 없는지를 스스로 질문하게 만듭니다. 매크로 관점은 개발자에게 비즈니스 문제를 기술적으로 해결할 수 있는 기회를 제공합니다. 단순히 코드의 세부 사항에만 집중하는 것이 아니라, 팀원이나 이해관계자와의 소통 능력을 향상시키고, 그들의 필요를 이해하여 해결책을 제시하는 능력을 키워주는 것입니다. 결국 이러한 매크로 관점은 시니어 엔지니어로서의 가치를 높이게 되고, 연봉 협상에서도 직접적인 영향을 미치게 됩니다. 매크로 관점의 사고를 통해 조직 내에서의 역할과 영향력을 확대하며, 더 높은 성과를 창출하는 데 기여할 수 있습니다. 이처럼 매크로 관점으로 나아가는 것은 한 단계 더 성장하는 데 필수적입니다. 2. 문제 해결의 흐름을 이해하라 또 다른 중요한 요소는 문제 해결의 흐름을 이해하는 것입니다. 전통적인 방식에 얽매여 ‘어떻게’ 문제를 해결할지를 생각하기보다는 ‘왜’ 이 문제를 해결해야 하는지를 먼저 검토하는 접근이 필요합니다. 매크로 코딩에서는 비즈니스 문제를 해...
자세한 내용 보기

AI와 사람의 협업을 위한 VLMOps 어드민 구축기

AI 기술이 급속도로 발전하면서 다양한 산업 분야에 자동화가 도입되고 있습니다. 특히 무신사에서는 AI를 활용해 상품 데이터를 효율적으로 분류하고 속성을 추출하여 서비스 품질을 높이고자 노력하고 있습니다. 이 글에서는 Human-in-the-loop 방식으로 기능을 향상시키기 위해 구축한 VLMOps 어드민에 대해 자세히 소개합니다. AI와 사람의 협업으로 강화된 모델 관리 무신사의 VLMOps 어드민은 AI와 사람의 협업을 한층 더 강화하기 위한 필수 시스템으로 자리매김하고 있습니다. 이 어드민은 모델 및 프롬프트 관리 과정을 웹 UI 형태로 제공하여, 데이터 오퍼레이션팀이 엔지니어와의 특별한 커뮤니케이션 없이도 최적의 실험을 진행할 수 있도록 합니다. 이렇게 축적된 의료 데이터를 통해 AI 추론의 결과를 개선하는 과정이 자동화되어 업무 효율성과 데이터 품질이 현저히 향상되었습니다. 특히, VLMOps 어드민은 OpenAI와 Google 등 외부 API와도 원활하게 연동되어 다양한 실험이 가능하다는 장점이 있습니다. 이를 통해 데이터 오퍼레이션팀은 엔지니어의 도움 없이도 원하는 프롬프트와 모델을 자유롭게 선택하여 실험할 수 있습니다. 결과적으로, 반복적인 요청과 대기 시간 없이 빠르게 모델 실험을 수행하고, 데이터 품질을 지속적으로 개선할 수 있는 환경이 조성되었습니다. 이러한 변화는 무신사가 AI 기반의 데이터 자동화와 품질 관리에 대한 새로운 접근 방식을 도입하도록 만들어 주었으며, 결과적으로 더 나은 고객 경험을 제공하기 위한 중요한 발판이 되고 있습니다. 신속하게 이루어지는 모델 추론과 검증 VLMOps 어드민은 모델 추론 과정에서도 AI와 사람의 협업을 극대화할 수 있는 기능을 표현합니다. 자동 생성되는 초안 라벨을 통해 데이터 오퍼레이션팀은 더욱 신속하게 결과를 분석하고 검증할 수 있습니다. 이렇게 생성된 추론 결과는 여러 번의 클릭만으로 즉시 처리되며, 다양한 조합의 모델과 프롬프트를 비교할 수 있는 체계가 마련되어 있습니다. 이러한 ...
자세한 내용 보기