AI와 사람의 협업을 위한 VLMOps 어드민 구축기
AI 기술이 급속도로 발전하면서 다양한 산업 분야에 자동화가 도입되고 있습니다. 특히 무신사에서는 AI를 활용해 상품 데이터를 효율적으로 분류하고 속성을 추출하여 서비스 품질을 높이고자 노력하고 있습니다. 이 글에서는 Human-in-the-loop 방식으로 기능을 향상시키기 위해 구축한 VLMOps 어드민에 대해 자세히 소개합니다.
AI와 사람의 협업으로 강화된 모델 관리
무신사의 VLMOps 어드민은 AI와 사람의 협업을 한층 더 강화하기 위한 필수 시스템으로 자리매김하고 있습니다. 이 어드민은 모델 및 프롬프트 관리 과정을 웹 UI 형태로 제공하여, 데이터 오퍼레이션팀이 엔지니어와의 특별한 커뮤니케이션 없이도 최적의 실험을 진행할 수 있도록 합니다. 이렇게 축적된 의료 데이터를 통해 AI 추론의 결과를 개선하는 과정이 자동화되어 업무 효율성과 데이터 품질이 현저히 향상되었습니다.
특히, VLMOps 어드민은 OpenAI와 Google 등 외부 API와도 원활하게 연동되어 다양한 실험이 가능하다는 장점이 있습니다. 이를 통해 데이터 오퍼레이션팀은 엔지니어의 도움 없이도 원하는 프롬프트와 모델을 자유롭게 선택하여 실험할 수 있습니다. 결과적으로, 반복적인 요청과 대기 시간 없이 빠르게 모델 실험을 수행하고, 데이터 품질을 지속적으로 개선할 수 있는 환경이 조성되었습니다.
이러한 변화는 무신사가 AI 기반의 데이터 자동화와 품질 관리에 대한 새로운 접근 방식을 도입하도록 만들어 주었으며, 결과적으로 더 나은 고객 경험을 제공하기 위한 중요한 발판이 되고 있습니다.
신속하게 이루어지는 모델 추론과 검증
VLMOps 어드민은 모델 추론 과정에서도 AI와 사람의 협업을 극대화할 수 있는 기능을 표현합니다. 자동 생성되는 초안 라벨을 통해 데이터 오퍼레이션팀은 더욱 신속하게 결과를 분석하고 검증할 수 있습니다. 이렇게 생성된 추론 결과는 여러 번의 클릭만으로 즉시 처리되며, 다양한 조합의 모델과 프롬프트를 비교할 수 있는 체계가 마련되어 있습니다.
이러한 시스템은 작업의 효율성을 높이며, 각 사용자가 자신의 역할에 맞춰 수만 건의 데이터를 동시에 검토할 수 있게 해 줍니다. 검증 작업에서는 데이터 현황을 실시간으로 확인하여 빠른 소통과 피드백이 가능해졌습니다. 따라서, 검증 과정에서의 질적인 향상뿐 아니라 시간 소모도 대폭 줄일 수 있게 되었습니다.
결과적으로, AI가 자동으로 생성한 데이터를 사람이 검토하고 수정하는 과정은 데이터의 신뢰성을 높이고, 실시간으로 발생 가능한 오류를 조기에 발견하여 수정할 수 있는 환경이 형성됩니다. 이러한 실시간 협업 체계는 데이터 품질 관리 및 실험 결과 검증에서도 큰 장점을 제공합니다. 이처럼 VLMOps 어드민은 AI와 사람의 공동 작업을 최우선으로 하여 효율적인 데이터 오퍼레이션 프로세스를 마련하고 있습니다.
효율적인 정답셋 관리와 모델 평가
VLMOps 어드민은 정답셋 관리와 모델 평가 과정에서도 사람과 AI의 힘을 결합하여 운영 효율성을 극대화하고 있습니다. 검수 및 검증을 통해 도출된 데이터는 자동으로 골든셋으로 지정되어 재사용될 수 있는 귀중한 자산이 됩니다. 이러한 골든셋은 다양한 프로젝트에서 활용될 수 있으며, 중복 검증의 비용을 막아줍니다.
뿐만 아니라, VLMOps 어드민은 이러한 데이터를 활용해 모델 성능을 빠르게 평가하고 비교할 수 있는 기능도 제공합니다. 각 카테고리 별로 정확도, 정밀도, 재현율, f1 score 등을 평가하는 과정은 어드민 내에서 자동으로 이루어지며, 이를 통해 데이터 오퍼레이션팀은 일관된 기준으로 모델 성능을 쉽게 평가할 수 있습니다.
앞으로 무신사는 이러한 정답셋 관리와 평가 시스템을 기반으로 더욱 정교한 데이터 운영 시스템을 구축해 나갈 계획입니다. AI와 사람이 함께 성장하는 협업 시스템의 중심으로 자리잡은 VLMOps 어드민은, 지속적 개선과 최적의 의사결정을 지원하는 중요한 도구로 자리할 것입니다.
무신사의 VLMOps 어드민 도입을 통해 모델 평가 속도와 업무 효율이 개선되었음을 확인할 수 있었습니다. AI와 사람이 협력하여 지속적으로 발전하는 시스템을 통해, 데이터 검증에 필요한 시간은 54%가량 단축되었습니다. 앞으로 무신사는 VLMOps 어드민을 통해 AI 중심의 다양한 과제를 확장하고, 협업 시스템 최적화를 통해 경쟁력을 더욱 강화할 예정입니다.