2020年08月05日
Council GAN画像変換の詳細解説
| Tweet |
|
Breaking the cycle-Colleagues are all you need画像から画像への新変換"Council GAN"メガネ除去,自撮りからアニメキャラ,男から女https://t.co/X37iAI3dC2ペアでないドメイン間で画像変換.生成器1つ識別器2つ,識別器が真偽判定しさらに自分or他の生成器で生成された画像か判別.このセットを複数用意し複数間で学習Our video https://t.co/BGakLPKX2v pic.twitter.com/24CSEymGdp
— Seamless (@shiropen2) June 26, 2020
Ori Nizan, Ayellet Tal Technion
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.
提案手法はサイクルの制約には頼らず、様々なGANのコラボレーションを利用して、サイクル整合性制約を置き換えます。 これによりmulti modal な手法が得られます。
既存手法に比べて大きな利点として、メガネの様な大きな付属物も取り除くことが出来る、生成画像に入力の痕跡が残らない、大規模な形状変更が可能になると言った点があります。
...手法を考える限り、別に顔以外でもどんな画像でも変換出来るのではないでしょうか？
3 Model提案モデルはcouncilと呼ばれるセットで構成されます。
councilの各メンバーには、一つのgenerator(Gi) と2つのdiscriminators（Di と ^Di）が含まれます。
Diは通常のGANと同じく、generatorの画像と実際の教師データを区別するよう学習されます。
^DiはGiの出力とcouncilの他のgeneratorが生成した画像を区別するよう学習します。
このdiscriminatorがモデルの中枢であり、これこそが他のGANと提案手法の違いです。
これによりgeneratorは、全てのcouncilメンバー（discriminator）が承認する画像（ソースドメインの共同特性を持つ画像）に焦点を合わせるようになります。
Diの損失関数は、古典的な敵対的損失です。
次に、多様性を維持しながら、様々なジェネレータの出力に共通の特性を共有させる^Diの損失関数に焦点を当てます。
^Diは全てのgeneratorから、（input、output）の入力ペアとして取得されます。出力と入力の各ペアは、ソース画像の特徴と生成された画像の特徴との間の接続を確立するために重要です。
^Diは本物と偽物を区別するのではなく、my-generatorの結果と他のgeneratorの結果を区別します。
これによって学習中、Giはgeneratorの出力間の距離を最小化しようとします。
^Diはgeneratorの入力も受け取ります。これは、ターゲットドメイン画像に見える物だけではなく、入力画像との類似性のない画像を生成させるためです。
Focus map.場合によっては、画像の特定の領域のみを変更し、残りの画像はそのままにして置きたい場合があります。これには、アーキテクチャを変更することなく、一般的なスキームに簡単に対応できます。
generator に画像だけでなく、フォーカスマップも生成させ、学習したオブジェクトを背景から切り分ける事で、必要なのは、4番目のチャネルを追加する事です。
...提案モデルの機能実現には、以下のような課題を乗り越えなければなりません。
・データには事前に定義された対応はありません。
・ドメインAとドメインBのデータは多対多対応します。
・色やテクスチャの変更を超える変換が必要です。
4 Experiments●CelebA
4.1 Experiment setup
202599画像 から、
男性 68261 (眼鏡有10521)
女性 94509 (眼鏡無152249)
●selfie2anime
3400 ずつ、自撮り画像とアニメ画像
selfie2animeは画像が少ないので、グレースケール化、回転、ランダム変換とdistortion scaleによってデータを増量しました。
...眼鏡を外す変換画像は、眼鏡の痕跡がかなり少なくなります。 これは、サイクルの制約が無いためと考えられます。
メガネを外すと、顔も女性らしくなるのですが、これはデータセットの比率が原因です。データの比や変換の不均衡を解消することは、将来の興味深い課題です。
