f-VAEGAN-D2: A Feature Generating Framework for Any-Shot Learning
https://arxiv.org/abs/1903.10132
f-VAEGAN-D2: A Feature Generating Framework for Any-Shot Learning
When labeled training data is scarce, a promising data augmentation approach is to generate visual features of unknown classes using their attributes. To learn the class conditional distribution of CNN features, these models rely on pairs of image features
arxiv.org
few, zero shot learning에서 unseen에 대한 sample을 생성하는 모델이다. unseen의 sample을 생성한 후 seen의 샘플과 합쳐서 일반적인 분류문제로 다루는 generative based zero shot learning.
VAE와 GAN을 결합하고 2개의 discriminator를 사용한다.
입력 이미지로부터 feature extrator로 추출한 특징을 encoder로 전달해 latent feature z를 추출하고 이를 class embedding과 concat하여 decoder로 전달한다
decoder는 원래 특징을 복원하고, generator는 가짜 feature를 생성해 discriminator1이 진짠지 가짠지 판별.
또, generator는 unseen에 대한 feature를 생성하여 discriminator2로 전달해 unseen feature이 진짜인지 가짜인지 판별한다