2019年12月17日

Few shot vid2vidで独自モデルの学習方法

このエントリーをはてなブックマークに追加
follow us in feedly
使いたいと思っていた、  https://github.com/NVlabs/few-shot-vid2vid
Code Coming Soon だったんですが、使えるようになっていたので、その方法です。

git clone https://github.com/NVlabs/few-shot-vid2vid
おそらく最低限必要な事は、これだけだと思います。
pip install dominate requests
test.pyを実行すれば、画像変換が可能なはずですが、

After training, you can run inference by using the following scripts. The test results will be saved in: ./results/. Due to privacy concerns, the pretrained models are not released.
だそうです。

学習コマンドは、こうですが
python train.py --name pose --dataset_mode fewshot_pose --adaptive_spade --warp_ref --spade_combine --remove_face_labels --add_face_D --niter_single 100 --niter 200 --batchSize 2
--batchSize については、GPUの数に合わせて増やせ、と言う事です。


If you plan to train with pose datasets, please install DensePose and/or OpenPose.
and/or と曖昧です。




データセットは、 scripts/download_datasets.py でサンプルをダウンロード出来ます。
datasets ディレクトリの下に、 face  pose  street があります。 これは、名前の通りです。

poseの下にはさらに、 train_densepose train_openpose train_images があり、
その下にはシーン別のディレクトリがあります。


openpose の学習データは keypoints.json
densepose の学習データは IUV.png 
であり、train_images はそれらの元画像です。

train.py を実行する時、やっぱりこうなるかもしれません。
RuntimeError: CUDA out of memory. Tried to allocate 2.00 MiB (GPU 0; 7.43 GiB total capacity; 6.02 GiB already allocated; 2.94 MiB free; 900.14 MiB cached)


上手く行けば、こうなると思います。
CustomDatasetDataLoader
2 sequences
dataset [PoseDataset] was created
create web directory ./checkpoints/pose/web...
100% 548M/548M [00:05<00:00, 104MB/s]
---------- Networks initialized -------------
---------- Optimizers initialized -------------
model [Vid2VidModel] was created
(epoch: 1, iters: 100, time: 1.076) G_GAN: 0.864 G_GAN_Feat: 5.453 G_VGG: 5.259 Gf_GAN: 10.910 Gf_GAN_feat: 75.265 F_Flow: 1.739 F_Warp: 0.481 W: 4.164 D_real: 0.863 D_fake: 1.110 Df_real: 10.493 Df_fake: 9.784
(epoch: 1, iters: 200, time: 0.903) G_GAN: 0.860 G_GAN_Feat: 2.725 G_VGG: 5.049 Gf_GAN: 9.744 Gf_GAN_feat: 46.494 F_Flow: 1.106 F_Warp: 1.570 W: 4.893 D_real: 0.832 D_fake: 1.145 Df_real: 9.731 Df_fake: 10.266



モデルファイルは、 checkpoints/pose に、
latest_net_G.pth
latest_net_D.pth
latest_net_Df.pth
のような名前で出力されると思います。


モデルが有ればtest.pyが実行できます。
...結果ファイルは多分 
results/pose/test_latest_finetune などに出力されるでしょうか?



tak_tak0 at 23:43コメント(0)サーバ   この記事をクリップ!

コメントする

名前:
URL:
  情報を記憶: 評価:  顔   星
 
 
 
サイト内検索
にほんブログ村 科学ブログへ
にほんブログ村
adsense
Archives
amazon
blogchart
QRコード
QRコード
Recent Comments