作者：2017級(jí)本科生 陳華玉 自動(dòng)化系
指導(dǎo)老師：劉燁斌 自動(dòng)化系
關(guān)鍵詞：虛擬換裝 視頻 自動(dòng)化
摘要
虛擬換裝問題是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)子問題，也是該領(lǐng)域公認(rèn)的難題。在此，我們提出一種自動(dòng)化的、基于三維人體模型和對(duì)抗生成網(wǎng)絡(luò)的視頻級(jí)別虛擬換裝系統(tǒng)。給定模特在深度相機(jī)前拍攝的普通視頻以及對(duì)應(yīng)的深度視頻流，我們的系統(tǒng)可以將該模特的服裝替換為指定的另一件服裝，并輸出同一位模特具有相同動(dòng)作的對(duì)應(yīng)換裝后視頻。我們的解決方案包括以下步驟：（1）人體與服裝模型的三維重建與融合。（2）三維融合模型到二維的投影與基于對(duì)抗生成網(wǎng)絡(luò)的優(yōu)化。
圖1 動(dòng)態(tài)換裝效果對(duì)比
系統(tǒng)功能
我們的虛擬換裝系統(tǒng)有兩個(gè)功能：1. 對(duì)穿在人身上的服裝進(jìn)行三維建模并解耦合出來。2. 給用戶進(jìn)行虛擬換裝。
為了完成功能一： 比如我們想收集一件衣服的三維信息，我們只需要讓一個(gè)模特穿著這件衣服，在我們的采集系統(tǒng)前轉(zhuǎn)一圈然后做一些常見的動(dòng)作，拍攝1-2min的視頻。僅僅從這樣的一個(gè)深度視頻中，我們就可以解析出該服裝的相關(guān)信息和特性。
為了完成功能二： 比如我們已經(jīng)收集到了上述服裝的信息。那么下面來一個(gè)顧客，只需要在我們的相機(jī)前做一些動(dòng)作，拍攝一個(gè)小視頻（時(shí)長(zhǎng)不限）輸入，那么我們的系統(tǒng)就會(huì)輸出一個(gè)對(duì)應(yīng)的視頻：輸出視頻就像是輸入視頻的鏡像一樣，除了顧客的服裝改變以外，其余的背景，動(dòng)作，表情等都一模一樣。
系統(tǒng)接口
一般而言，一架深度相機(jī)是唯一必備的硬件設(shè)備。
我們?cè)谠撊蝿?wù)中僅使用了一架 Kinect 相機(jī)和一個(gè)搭載常見顯卡的計(jì)算平臺(tái)。
系統(tǒng)的輸入僅僅是一個(gè)深度相機(jī)拍攝的視頻，而輸出則是rgb視頻。
創(chuàng)新點(diǎn)
據(jù)我們所知，我們做了在虛擬換裝（Virtual Try-on）研究領(lǐng)域第一次從圖形層面（非物理仿真）考慮服裝動(dòng)態(tài)特性的嘗試。我們將傳統(tǒng)三維重建算法與機(jī)器學(xué)習(xí)算法結(jié)合起來，一定程度上降低了系統(tǒng)成本。
