Diskriminace minibatchů

1. Co je diskriminace Minibatch?
2. Jak zabráníte zhroucení režimu GAN?
3. Jak mohu zlepšit svůj trénink GAN?
4. Proč je GAN nestabilní?

Co je diskriminace Minibatch?

Minibatch Diskriminace je diskriminační technika pro generativní kontradiktorní sítě, kde rozlišujeme spíše mezi celými minibatchi vzorků než mezi jednotlivými vzorky. Toto má zabránit zhroucení generátoru.

Jak zabráníte zhroucení režimu GAN?

Pečlivě vyladěná rychlost učení může zmírnit některé závažné problémy GAN, jako je zhroucení režimu. Konkrétně snižte rychlost učení a opakujte trénink, když dojde ke kolapsu režimu. Můžeme také experimentovat s různými rychlostmi učení pro generátor a diskriminátor.

Jak mohu zlepšit svůj trénink GAN?

Další tipy a triky

1. Shoda funkcí. Vytvořte GAN pomocí semi-supervizovaného učení.
2. Diskriminace minibatchů. Vyvíjejte funkce pro více vzorků v minibatchi.
3. Historické zprůměrování. Aktualizujte funkci ztráty tak, aby zahrnovala historii.
4. Jednostranné vyhlazování štítků. ...
5. Normalizace virtuální dávky.

Proč je GAN nestabilní?

Skutečnost, že GAN jsou složeny ze dvou sítí a každá z nich má svou ztrátovou funkci, má za následek, že GAN jsou ve své podstatě nestabilní- ponoří se trochu hlouběji do problému, ztráta generátoru (G) může vést k nestabilitě GAN , což může být příčinou problému mizejícího gradientu, když ...