Image generation model

#machine-learning/gnerative-model #machine-learning/image-processing/image-synthesis #Hung-yi-Lee

Image synthesis

【生成式 AI】速覽圖像生成常見模型 - YouTube

Info

  1. Image synthesis 需要大量脑补。01:05

  2. 文字生成 Autoregressive，将输出作为输入持续输出。or non-autoregressive.04:05

  3. 影像版 GPT。太耗费时间，大部分均为 non-autoregressive，即一次到位。05:45

  4. 影像生成是一个分布，在分布之内都是正确答案。07:37

  5. 现在方法均为 文字 + distribution to sample noise vector 的方法作为输入。即对应到不同的影响。例如，Diffusion Process。

  6. Flow-based 限制 encoder 是 invertible 的，可输出 normal distribution，可以反过来作为 decoder 用，所以结构有所限制。16:59

  7. Diffusion Model, Noise-Denoise. 20:34

  8. GAN. 22:44

  9. 24:48 Pasted image 20230325112747.png

  10. VAE, Flow, Diffusion 和 GAN 的区别。GAN 可以作为一个 plugin。26:13 Pasted image 20230325115846.png