作者：2017級本科生 陳華玉 自動化系
指導老師：劉燁斌 自動化系
關鍵詞：虛擬換裝 視頻 自動化
摘要
虛擬換裝問題是計算機視覺領域的一個子問題，也是該領域公認的難題。在此，我們提出一種自動化的、基于三維人體模型和對抗生成網(wǎng)絡的視頻級別虛擬換裝系統(tǒng)。給定模特在深度相機前拍攝的普通視頻以及對應的深度視頻流，我們的系統(tǒng)可以將該模特的服裝替換為指定的另一件服裝，并輸出同一位模特具有相同動作的對應換裝后視頻。我們的解決方案包括以下步驟：（1）人體與服裝模型的三維重建與融合。（2）三維融合模型到二維的投影與基于對抗生成網(wǎng)絡的優(yōu)化。
圖1 動態(tài)換裝效果對比
系統(tǒng)功能
我們的虛擬換裝系統(tǒng)有兩個功能：1. 對穿在人身上的服裝進行三維建模并解耦合出來。2. 給用戶進行虛擬換裝。
為了完成功能一： 比如我們想收集一件衣服的三維信息，我們只需要讓一個模特穿著這件衣服，在我們的采集系統(tǒng)前轉一圈然后做一些常見的動作，拍攝1-2min的視頻。僅僅從這樣的一個深度視頻中，我們就可以解析出該服裝的相關信息和特性。
為了完成功能二： 比如我們已經(jīng)收集到了上述服裝的信息。那么下面來一個顧客，只需要在我們的相機前做一些動作，拍攝一個小視頻（時長不限）輸入，那么我們的系統(tǒng)就會輸出一個對應的視頻：輸出視頻就像是輸入視頻的鏡像一樣，除了顧客的服裝改變以外，其余的背景，動作，表情等都一模一樣。
系統(tǒng)接口
一般而言，一架深度相機是唯一必備的硬件設備。
我們在該任務中僅使用了一架 Kinect 相機和一個搭載常見顯卡的計算平臺。
系統(tǒng)的輸入僅僅是一個深度相機拍攝的視頻，而輸出則是rgb視頻。
創(chuàng)新點
據(jù)我們所知，我們做了在虛擬換裝（Virtual Try-on）研究領域第一次從圖形層面（非物理仿真）考慮服裝動態(tài)特性的嘗試。我們將傳統(tǒng)三維重建算法與機器學習算法結合起來，一定程度上降低了系統(tǒng)成本。
