用户:Benlisquare/Sandbox

/jp/主题曲2

WebM格式文件

  • 视频:VP8
  • 声音:Vorbis

原文件来自4chan上的/jp/(日本御宅族文化)贴图版,采用Creative Commons Attribution 3.0许可协议授权。内容包含日文,英文歌词。

 
扩散模型所用的去噪过程。

终端用户微调训练

编辑
 
演示Stable Diffusion的“超网络”(英:"Hypernetwork")功能。

为了纠正模型初始训练的局限性,终端用户可以选择实施额外的训练,以微调生成输出以匹配更具体的使用情况。有三种方法可以让用户对Stable Diffusion模型权重存档点进行微调:

“嵌入”(Embedding)可以从用户提供的一些图像被训练出来,并允许模型在提示词​中使用嵌入的名称时生成视觉上相似的图像。嵌入是基于2022年台拉维夫大学的研究人员在英伟达的支持下开发的“文本倒置”(Textual Inversion)概念,其中模型的文本编码器使用的特定标记的矢量表示与新的伪词相关联。嵌入可以用来减少原始模型中的偏差,或模仿风格。

“超网络”(Hypernetwork)是土耳其软件开发员Kurumuz在2021年创造的一种技术,最初用于调节文本生成的Transformer模型,它能让Stable Diffusion衍生的文生图模型​模仿各种特定艺术家的风格,无论原始模型​能否识别此艺术家,通过在较大的神经网络中的不同点应用一个预训练的小神经网络。超网络将文生图或图生图结果导向特定方向,例如加上艺术风格,当与一个较大的神经网络结合使用时。它通过寻找重要的关键区域来处理图像(例:眼睛,头发),然后在二级潜在空间中修补这些区域。超网络的一个缺点是它们的准确性相对较低,也有时会产生不可预知的结果。因此,超网络适用于加上视觉风格或清理人体瑕疵。

DreamBooth是一个深度学习模型,由Google Research波士顿大学的研究人员于2022年开发,可以微调模型以产生与指定主题相关的输出图像。