1、給定兩幀的關(guān)節(jié)點位置信息,學習到類似光流的轉(zhuǎn)換,應(yīng)用到第一幀的圖像上,生成下一幀?
2、身份信息并沒有保留?
生成過程:通過合理地表示生成的意圖控制生成過程。
條件圖像生成框架:相關(guān)工作,條件一個推薦圖像和指定人臉的視角,生成該視角的人臉。(圖像旋轉(zhuǎn))
失敗案例:(生成圖片有人工痕跡,用圖像梯度loss會不會好一些。很明顯不再是一個id)
1、輸入圖像紋理過于豐富
2、姿態(tài)變化很大
可挖掘的地方:
1、pose mask 用于構(gòu)建前景和背景
2、生成圖像時條件圖像的姿態(tài)信息沒有挖掘。
3、模型沒有對姿態(tài)變化顯示建模,沒有體現(xiàn)變化這個特征。
可改進的地方:
模型G1的encoder可以改進。
姿態(tài)作為條件改為3D body 作為條件。