🔍

Research Team

옴니어스 연구팀은?

옴니어스 AI 연구팀은 머신러닝 분야의 cutting-edge 기술들을 패션 도메인이 가진 특성에 맞는 적합한 형태로 변형/적용하며 문제를 풀어나가고 있습니다. 패션 이미지를 제대로 해석하기 위해서는 아이템, 형태 등과 같은 객관적인 속성 부터 스타일, 감성키워드와 같은 정성적인 속성 그리고 성별, 사람의 자세, 옷의 겹침 등 속성의 높은 복잡도와 이미지의 비정형성을 극복해야 합니다. 그렇기 때문에 패션을 해석하기 위한 머신러닝 모델을 개발하는 것은 단순히 딥러닝 모델을 블랙박스처럼 활용하는 것 이상의 많은 노력을 필요로 합니다.

옴니어스는 글로벌 수준의 패션 AI 기술을 개발하기 위해, 지난 6년간 자체 개발한 데이터 수집 툴을 통해 패션 전문가 그룹과 머신러닝 전문가가 협업을 하여 OMNIOUS Fashion 데이터셋을 구축해왔습니다. 또한 지난 3년간 상용화된 머신러닝 서비스를 운영하면서 고객사의 피드백이 지속적으로 반영되어 더욱 real world에 근접한 데이터셋으로 진화하고 있습니다. 옴니어스 AI 연구팀은 이러한 학습데이터를 활용해 패션을 이해하는 머신러닝 연구와 시장의 문제를 지속적으로 해결하고 있습니다. 최근에는 수요 예측을 통한 재고 관리 최적화를 시작으로 패션을 넘어 다양한 리테일 영역으로의 확장을 진행중에 있습니다.

옴니어스 연구팀은 어떤 연구를 하나요?

Computer vision

Fashion object detection and fine-grained classification
  • 작은 물체나 서로 겹친 물체가 있는 다양한 소스의 패션 이미지들에 대해서도 잘 작동하는 detector 모델을 연구/개발합니다.
  • 클래스 간 유사도가 높고, 클래스 내 다양성이 큰 패션 아이템들이 포함된 이미지에서의 fine-grained 물체 분류를 위한 classifier 모델을 연구/개발합니다.
Multi-label attributes detection and multi-task learning
  • 프린트 패턴, 소재감, 길이, 핏, 패션 아이템의 디테일한 구성요소 등 다양한 종류의 속성을 detection 하고, 그러한 속성들 간의 관계를 활용한 multi-task learning 모델을 연구/개발 합니다.
Robust fashion image retrieval
  • 패션 아이템의 색상, 소재, 패턴, 소매, 넥라인, 핏 등 다양한 속성들을 고려한, 유사한 스타일의 상품을 실시간으로 찾아주는 embedding 모델을 연구/개발 합니다. 제한된 환경에서 제작된 상업용 이미지 뿐만이 아닌 다양한 디바이스와 빛 조건에서 촬영된 사용자의 이미지들에서도 robust한 모델을 개발합니다.
Noisy label classification
  • 학습된 모델의 confidence를 활용하여 학습 데이터 내의 오분류된 데이터를 찾는 알고리즘을 연구/개발 합니다. Noisy label을 제외하고 학습하여 모델의 성능을 개선하거나 해당 데이터에 대해 검수 우선순위를 부여하여 옴니어스 데이터 플랫폼을 활용한 빠르고 효율적인 cleansing 작업이 가능하도록 합니다.
Semi-supervised / Self-supervised learning
  • 옴니어스는 지난 6년간 서비스를 하며 자체 확보한 3천만장 이상의 Unlabeled 데이터를 보유하고 있으며, 그 수량은 빠르게 증가하고 있습니다. 정답이 없는 이미지 데이터를 활용한 semi-supervised 및 self-supervised learning을 통해 classifier, detector, embedding model 등 다양한 모델에 활용되는 backbone representation을 고도화 하는 연구를 진행합니다. 최근에는 SwinTransformer 기반 EsViT 모델을 학습 중에 있습니다.
Style keyword generation
  • 이커머스, SNS의 이미지와 실제 사용자들이 많이 활용하는 키워드의 pair 데이터셋을 활용해, '가을나들이룩', '데일리룩', '하객룩' 등과 같이 단순한 속성들의 조합으로 표현되지 않는 패션 이미지들의 특성을 표현하는 다양한 스타일 키워드를 생성하는 모델을 연구/개발합니다.
Near duplicate image detection
  • 옴니어스는 약 9000여개의 브랜드 상품들 및 약 3만여 명의 패션 인플루언서로 부터 수많은 패션 관련 이미지들을 실시간으로 수집하고 있습니다. 판매를 위한 상품이나 패션 인플루언서의 SNS 포스트 이미지들이 같은 아이템을 촬영한 이미지인 경우에도 촬영 각도나 환경에 따라 약간의 변형만 생겨도 다른 이미지로 분류되기 때문에, 중복 상품에 대한 판별을 하는 것은 매우 중요한 문제입니다. 동일한 상품이지만 변형이 있는 경우를 동일 상품으로 인식하는 embedding 모델을 연구/개발 합니다.

Recommendation

Similar fashion item recommendation
  • 패션 아이템의 색상, 소재, 패턴, 소매, 넥라인, 핏 등 다양한 속성들을 고려한, 유사한 스타일의 상품을 실시간으로 찾아주는 embedding 모델을 연구/개발 합니다. 제한된 환경에서 제작된 상업용 이미지 뿐만이 아닌 다양한 디바이스와 빛 조건에서 촬영된 사용자의 이미지들에서도 robust한 모델을 개발합니다.
Compatible fashion outfit recommendation
  • 기존의 코디된 상의, 하의, 신발, 가방 등의 조합 데이터셋을 학습하여, 새로운 패션 아이템이 주어졌을때 함께 착용시 어울릴 만한 코디 아이템을 추천하는 모델을 개발합니다. 아이템의 종류, 색상, 패턴, 소재 등 각종 속성을 복합적으로 고려하여 사람이 스타일링한 것과 같은 룩을 완성하는 코디 추천 모델을 개발합니다.
Personalized recommendation
  • 사용자, 상품에 관한 정보 및 사용자의 행동 정보를 기반으로 개인화 된 추천시스템을 개발합니다. 연동 목적에 따라 클릭률 (CTR; Click-through rate) 혹은 구매 전환율 (CVR; Conversion rate) 을 최적화하는 방향으로 학습하며, 사용자의 행동 정보가 부족한 경우에도 추천이 가능한 모델을 개발합니다. 더 나아가 옴니어스 태거로 분석되는 다양한 패션 속성 정보 및 외부 요인들을 활용하는 방향의 연구를 수행합니다.

Trend analysis

Fashion trend forecasting
  • 일단위로 축적되는 이커머스 패션 상품 정보 (상품 이미지 및 가격, 품절 여부 등 메타 정보), SNS 인플루언서 포스팅을 분석해 패션 트렌드를 분석하고 예측합니다. 색상, 소재, 핏, 등 다양한 패션 속성들의 변화량을 예측하고 관심 상품의 인기도를 예측하는 모델을 개발합니다.
Demand forecasting
  • 일단위로 축적되는 이커머스 패션 상품의 수요를 추정하는 모델을 연구/개발 합니다. 실제 판매량 데이터는 알기 어렵기 때문에, 상품의 판매량을 추정할 수 있는 간접 정보 (상품의 인기 랭킹 정보, 브랜드 인기 랭킹 정보, 검색어 랭킹 정보, 상품의 반응도 등) 를 활용하여 실제 상품의 수요를 예측하는 모델을 개발합니다.
Social network analysis
  • 옴니어스는 지난 수년간 Trend 서비스를 하며 패션 인플루언서의 pool을 지속적으로 확장하고 있습니다. 일 단위로 수집되는 인플루언서들의 포스트 이미지 및 메타 데이터를 활용하여 인플루언서의 영향력 순위에 따른 랭킹을 추정하는 모델을 만들고, 각 포스트의 영향력을 평가하는 모델을 개발합니다.

그 밖의 연구 주제들

ML Ops
  • 머신러닝 모델을 상용화하기 위한 수준의 모델, 알고리즘, 코드 최적화를 수행합니다.
  • 모델 학습을 위한 데이터 export 부터 모델 학습, 모델 성능 평가, 모델 배포에 이르는 모든 파이프라인을 최적화하는 업무를 수행합니다.
Model compression / knowledge distillation
  • 실시간 Inference에 최적화된 모델을 만들기 위한 모델 경량화 연구를 진행합니다.
Out-of-distribution detection / model calibration
  • 모델이 학습되지 않은 데이터에 대한 검출 및 서비스 신뢰도 향상을 위한 Calibration 을 수행합니다.

우리팀은 이렇게 일합니다.

기본적으로 Agile 방식의 Sprint 를 팀별로 커스터마이즈 하여 업무를 진행합니다. 아무래도 연구팀의 특성 상 서비스 별 Sprint와는 독립적으로 진행되어야 하는 부분들도 있기 때문에, 정해진 기간 동안 풀어야할 task를 정한다기 보다 업무의 자율성과 효율성을 높이기 위해 4주 정도의 term을 두고 Sprint review 및 planning 미팅을 하고 있습니다. 그 외에도 최신 연구 동향을 파악하기 위한 주 1회의 논문 리뷰 미팅, 그리고 각자 연구 결과에 대한 discussion을 위한 리뷰 미팅 등을 통해 연구를 진행합니다.

이 툴을 쓰고 있어요.

모델 배포 문서 관리, 팀 업무 Convention은 Confluence를 통해 진행하고, 이슈 관리는 Trello를 사용하고 있어요. 프로젝트 Documentation 뿐만 아니라, 최신 논문 리뷰, 연구 미팅 자료 등 정기적인 미팅 발표 준비는 Notion을 통해 진행합니다.

우리 팀은 이런 사람을 원해요.

  • 호기심이 많고 도전을 즐기시는 분
  • 주도적으로 문제를 찾고 그를 연구주제로 formalize 하여 해결하는 과정을 즐기는 분
  • 자기 분야에 전문성을 추구하시는 분
  • 실패를 두려워하지 않고 배우는 자세로 일하시는 분
  • 좋은 팀 플레이어

우리팀에 와야 하는 이유, 딱 말해드립니다.

옴니어스는 지난 2015년 설립된 이래로 약 3000만장 이상, 1000여가지 이상의 디테일한 패션 속성이 담긴 학습용 데이터 셋을 자체 구축 및 지속적으로 확장하고 있습니다. 이 데이터로 해볼 수 있는 연구가 많다는 것이 옴니어스 연구팀의 가장 큰 장점입니다. 양질의 데이터 외에도 회사 내부에 패션 도메인 전문가로 이루어진 패션 데이터 팀이 있기 때문에 끊임없이 최적의 AI 모델 학습을 위한 고민을 함께 하고 있습니다. 또한, 회사 내부 서비스인 데이터 랩을 통해 지속적인 학습 데이터 검수는 물론 연구팀의 필요에 따라 자동으로 export가 가능한 파이프라인도 구축이 되어 있습니다.

업무 외적으로도 회사는 빠르게 성장하고 있습니다. 지금까지 옴니어스 연구팀은 패션 서비스 상용화와 관련된 연구들에 집중했다면, 앞으로는 회사의 기술력을 확보하여 기술 장벽을 쌓고, 옴니어스의 기술력을 널리 알리는 것이 연구팀의 가장 큰 목표입니다. 옴니어스 연구팀에서 회사와 함께 성장할 수 있는 분이라면 언제나 환영입니다.

팀 리더로써 이건 보장합니다.

회사이기 때문에, 스타트업이기 때문에, 하고 싶은 연구와는 다른 업무를 어쩔 수 없이 하게 되는 일들이 생깁니다. 제가 연구팀 리더로써 가장 크게 신경쓰는 부분이 바로 이 부분입니다. 연구팀원들이 각자 하고 있는 연구에 집중할 수 있도록, 회사의 서비스 방향이 연구의 방향과 잘 align이 되어 시너지가 날 수 있도록, 그리고 개인의 성장이 회사의 성장으로 이어질 수 있도록 팀 문화를 만들어 나가고 있습니다.