研究背景 近年、ファッションECを中心に、服を購入する前に「自分がその服を着たらどのように見えるか」を画像で確認できるバーチャル試着技術が普及しています。しかし、バーチャル試着画像では、服の形が崩れたり、体に合わなかったり、細部が不自然になったりする品質上の問題が発生することがあります。そのため、ユーザーの誤った購買意思決定を防ぐためには、バーチャル試着画像の品質を自動的に評価できる指標が不可欠です。 ファッションECでの活用を想定する場合、バーチャル試着画像の評価指標には、以下の3つの要件が求められます。 見本となる正解画像が存在しない状況でも評価できること 個々のバーチャル試着画像に対して品質を判定できること 評価実行時に人手を必要としないこと しかし、既存の評価指標では、これらの要件をすべて同時に満たすものが十分に確立されていませんでした。 論文内容 本研究では、これらの課題を解決するため、様々なバーチャル試着画像に対する人間の品質評価を収集した大規模データセット「VTON-QBench」を構築しました。さらに、このデータセットを基盤として、見本となる正解画像が存在しない個別のバーチャル試着画像に対し、人間の感覚に近い形で品質を評価できるAIモデル「VTON-IQA」を提案しました。 VTON-QBenchは、人間の視覚的な品質評価を学習させるためのデータセットです。企業や研究機関で広く活用されている代表的な14種類のバーチャル試着AIに約6万枚の画像を生成させ、その一枚ごとの「自然さ」を約1万3,000人に評価してもらうことで、43万件を超える大規模な品質評価データが収集されました。品質の低い回答などを排除する厳密なプロセスを設けることで、データの信頼性も確保されています。 VTON-IQAが人間の感覚に近い評価を実現できるのは、このデータセットに加え、「服が忠実に再現されているか」と「着用者や背景などの変えるべきでない部分が保たれているか」を、生成画像と元の画像とを直接照らし合わせて判断する独自の仕組みを備えているためです。 検証の結果、VTON-IQAは人間の評価との一致度が高く、特に生成された2枚の画像のどちらが優れているかを見分ける精度では人間に匹敵する水準に達しました。従来の指標とは異なり、着用者のポーズの変化や画角の変化があっても、人間の感覚に近い判断を保てる点が特徴です。さらに、VTON-IQAを用いて既存のバーチャル試着AIを統一的な基準で評価し、モデル間の性能を公平かつ再現性高く比較できるベンチマークが構築されました。 今後の展望 本研究は、バーチャル試着画像の品質を、人間の感覚に合わせて評価する手法を提案するものです。現在は、スタジオで撮影されたような整った2Dの静止画を主な対象としていますが、今後は、複雑な背景やポーズを含む日常的な環境の画像や、動画・3Dのバーチャル試着へと対応範囲を広げる予定です。また、品質評価は現在1つのスコアで示すにとどまり、評価理由や根拠を出力することができないため、「袖の長さ」「シルエット」「細かなデザイン」などの不自然な箇所を言語化する機能の実装にも取り組んでいくとのことです。こうした評価技術の高度化を通じて、ECにおける試着体験の精度向上に貢献し、より多くの人がファッションを楽しめる世界の実現を目指しています。 論文の概要 タイトル：Reference-Free Image Quality Assessment for Virtual Try-On via Human Feedback（邦題：人間の評価に基づくバーチャル試着画像の品質評価モデル） 著者：株式会社ZOZO NEXT/平川 優伎、株式会社ZOZO NEXT/和田 崇史、株式会社ZOZO NEXT/清水 良太郎、株式会社ZOZO NEXT/古澤 拓也、株式会社ZOZO NEXT/斎藤 侑輝、株式会社ZOZO/荒木 諒介、株式会社ZOZO NEXT/陳 天偉、株式会社ZOZO NEXT/莫 凡、慶應義塾大学/青木 義満教授 論文URL： 「VTON-QBench」（データセット）および「VTON-IQA」ソースコード： 「VTON-IQA」デモ： ZOZO研究所について ZOZO研究所は、「ファッションを数値化する」をミッションに掲げるZOZOグループの研究機関です。ZOZOグループが保有するファッションに関する膨大な情報資産を基に、ファッションを科学的に解明するための研究開発をおこなっています。 所名：ZOZO研究所（ZOZO Research） 設立：2018年1月31日 URL：…