电商

2024必备赚钱技能:微调Flux LoRA

Key Takeaway

  • 微调Flux Lora是一项有价值的技能,能让AI生成指定长相的人物或产品,并可叠加使用多个Lora。
  • Flux模型生成图片的真实度高,ComfyUI解决了图像生成的可控性问题,Lora解决了模型经验问题。
  • 制作Lora需要准备素材图片(20张起步),并通过微调工具(如Replicate上的项目)进行训练。
  • 训练好的Lora可在云端或本地使用,并可叠加多个Lora以实现更复杂的效果。
  • 文章强调了AI图像生成在电商、IP运营等领域的商业应用潜力。

Full Content

想搞钱,这个技能你最好学一下:微调Flux Lora。

一旦掌握之后,你就能让AI生成你指定长相的人或者产品。甚至,你还可以把两个Lora叠加起来使用。比如,让你的虚拟模特拿着某个特定的产品。

如果你是做电商,或者是运营IP,一定深有体会:人物和产品的实拍有多麻烦。通过微调Flux Lora,你能省下一大笔钱、一堆时间。

哈喽各位好,欢迎来到我的频道。我是国内少有的、能把AI的Why和How讲明白的博主。记得点一波关注。如果想链接我,就来newtype社群。

在上一期视频,我介绍了Flux模型加上ComfyUI工作流是怎么玩的,也演示了网红Lora的效果。还没看的小伙伴,一定去我主页找来看看。看完你就有概念了。我这边可以简单粗暴地总结一下:

关于Flux模型,你就记住,它生成图片的真实程度,比DALLE、SD都高。只有解决了真实性的问题,才有可能商用。

关于ComfyUI,你就记住,它解决了控制的问题,让模型按照你设定的步骤、在你圈定的范围内去生成。只有解决了可控性的问题,才有可能大规模商用。

关于咱们今天要重点讨论的Lora,你就记住,它解决了模型经验的问题。

举个例子,模型知道美女长什么样,但它不知道网红美女长什么样。但是,我们又不能从头训练过模型——成本太高,不现实。所以我们给模型加个技能包,告诉它:网红美女就长这样。以后有人提需求,你就按照这个去生成。

这个技能包,就是Lora。要制作这个技能包很简单。跟微调大模型比起来,简直就是“有手就行”的简单。我快速演示一下。

大家现在看到的这位小姐姐,是我特别喜欢的一位老师,就以她为例。比如,我希望AI能够按照她的长相生成图片。该怎么做呢?

首先,当然是准备学习资料,也就是老师各个角度和表情的图片。这样AI才能照着生成,对吧?这些图片不用太多,20张起步。我这边准备了25张。

接着,我们需要一个微调工具。国内外有很多平台都提供现成的。我这边用的是Replicate上边的项目。

进入Replicate网站。搜索这一串关键词。然后找到这个项目。

这边有两步是一定要操作的:

第一,上传ZIP格式的压缩包。我试了一下,RAR格式好像不行。大家记得用ZIP格式压缩。

第二,新建一个模型。这样训练好之后,就会以模型的方式存在平台上。

其它的设置都是可调可不调。比如,如果你希望把训练的结果同步到Hugging Face上的话,就填上你的ID和Token。

当这些都配置要之后,就可以开始训练了。因为GPU用的是H100,所以非常快,大概20分钟就搞定了。

训练好的Lora,可以在Replicate上直接使用,也可以下载下来。

我们直接在Replicate上测试一下效果。记住,Prompt里一定要带上前边设定好的触发关键词。

这个结果我还是挺满意的。如果有更多照片,表情和角度更加丰富,训练出来的效果肯定会更好。

想在本地跑也可以。把下载下来的文件放到loras文件夹。然后进入ComfyUI,在Lora加载器里选中。默认的强度是0.8,不同的数值,结果会不太一样。我测试了几种情况,给大家看看。

前边提到,可以把多个Lora叠加起来使用。所以我又训练了一个产品的Lora,用的是雷朋眼镜的图片。我想测试一下,虚拟模特使用特定产品是否可行。因为植入或者带货都会用到。

要叠加多个Lora很简单:按住Alt键复制一个Lora加载器,然后把线连上、把文件选中。在Prompt里一定要把触发关键词都带上。

这边我就不调强度这个数值了,咱们直接生成。

这个叠加还是挺成功。咱们老师成功戴上了雷朋眼镜。所以,大家可以打开想象:虚拟模特加产品,或者虚拟模特A加虚拟模特B,应该都可以。如果你有做生意的感觉,就会明白,这里边的空间有多大。

OK以上就是本期内容。想进一步探讨的话,来newtype社群。咱们下期见!

Flux + ComfyUI = 量产网红美女

Key Takeaway

  • Flux模型结合ComfyUI工作流和网红Lora,能生成高度逼真的AI图片,甚至可以以假乱真。
  • Flux模型由Stable Diffusion核心团队开发,生成图片真实度高,且能实现精准控制。
  • ComfyUI通过节点式工作流,解决了传统AI图像生成难以精准控制的问题,实现了精细化产出。
  • Lora作为“技能包”,能让模型按照特定风格生成图片,并可叠加使用。
  • AI图像生成已进入落地期,在电商等领域具有商业应用潜力,且ComfyUI工作流可分享。

Full Content

喜欢在小红书上看美女的小伙伴们请注意:

你们现在看到的,很有可能都是AI生成的。

别说什么平台会识别,你们是不知道,最新技术做出来的图片有多逼真。

比如这张图,你觉得是真的还是假的?

其实啊,这张图是我用AI生成的。准确来说,用的是Flux模型,加上一个简单的ComfyUI工作流。这里边有两个关键点:

第一,Prompt部分,也就是图片的文字描述,我是让Claude生成的。我给了它一张现成的图片,让它用英文详细描述,然后拿过来用。

第二,之所以图片上的小姐姐大家看着这么习惯,那是因为我加上了网红Lora。你可以简单理解为就是一个小插件,让模型按照特定风格去生成。

用这样一个简单的方法就能以假乱真。其实如果你更狠一点,完全可以直接图生图。比如,去小红书找一张符合大家口味的图片,然后让AI照着这个生成。很容易就可以做到姿势、身材、背景都基本一样,但是脸不一样。

以前的模型在局部做得不好,比如手指经常会多了一根。但是今天的模型已经进步非常多了。国内这些平台没法识别。所以有人做号、卖号,靠的就是我刚才演示里用的Flux模型,加上ComfyUI。

先来说说Flux模型。

最近一个多月,这款模型在圈内特别火。很多公司和团队已经实打实用上了,比如在电商领域。

那么,这么牛逼的模型是从哪冒出来的?

大家肯定听说过Stable Diffusion。Flux就是SD的核心团队出来做的。他们成立了一家新公司,叫黑森林实验室。

8月1日,黑森林实验室正式发布Flux模型,包含三个版本:schnell,就是快速版本,配置要求低一些;dev版,质量更高,但配置要求也更高,最好是4090显卡;Pro版,闭源版本,只能通过API调用。

官方版本出来之后,整个社区也是大力支持。比如推出了GGUF版,方便那些显存不够的用户使用Flux。

有了模型之后,下一个问题就是怎么运行。目前最好的方法,就是通过ComfyUI。

传统的AI图像生成,都是通过输入一大串的Prompt,俗称“咒语”。这会带来一个很头大的问题:

没法精准控制AI的生成。

一串文字给过去之后,后边的流程你完全不知道AI是怎么处理的。而且,如果对结果不满意的话,也只能在文字层面修修改改。很多时候,这种做法精确度不够,效率也很低。

于是,ComfyUI来了。它通过一个个节点组成一套工作流。这种节点式界面让用户很清楚了解AI究竟是怎么生成图像的,以及如果有问题的话,又是卡在了哪里。用户可以很精细地控制产出。

举个简单例子。你是做电商的,没钱雇那么多模特帮你拍照,那就换脸呗。你或者你手下的小姑娘先穿样衣拍好照片,然后放到ComfyUI工作流里边,专门针对脸的位置做一个遮罩。这样一来,AI就只针对脸部做生成。它会按照这个轮廓生成一张新的脸,然后再放回原来的位置。

通过这种方法,你就有了一个虚拟模特。是不是有一种画皮的感觉。这么想想还挺吓人的。

如果你觉得生成的图片AI感太强了,看起来太油、太完美了,可以加个Lora。比如,有大佬做了模拟业余摄影的,让图片看着像个外行拍的,这样就真实多了。我刚才演示里用的网红风格的Lora,也是别的大佬做的。我下载下来之后,放到特定的文件夹里,就可以在工作流里选择了。

所以你看,有了ComfyUI,原本一大坨的工作被拆解成了一个个步骤和节点,简单许多,清晰许多,可控性也高了许多。

更爽的是,这些工作流还可以分享。拿到工作流这个JSON文件后,拖到画布里就自动加载了。于是,不管是国内还是国外,有很多人在制作特别专业的工作流。这已经是现成的生意了。

大家在短视频平台上肯定有看到过这样的内容:先给你炫一下生成的图片有多牛,然后展示他搭建的极其复杂的工作流,最后跟你说,想要的话就来加微信。

如果你的机子跑不动也没关系。几乎所有的算力租赁平台都跟创作者有合作,为用户提供现成的镜像,可以直接用。

我就买了别人做的整合包,一共花了一千五。人家全都打包好了,一百多G下载下来,都不需要安装,省了我非常多的时间。

花钱买成品的好处是,很多基础的东西不需要再折腾一遍,理解一下就好了。比如,除了模型之外,Clip是干嘛的,VAE又是干嘛的;几个关键的文件夹都是放什么文件的。

实践和拆解才是重点。把别人的东西吃透了,最后造出自己的东西来。这就是我的天赋,我很清楚。所以这钱该花钱就花,而且绝对能翻倍赚回来。

Flux这一波预示着AI图像生成已经进入落地期了。动作快的人已经开始摘果子了。这也是为什么我等了一年多,到现在才开始研究。我建议大家不管想不想拿这个技术做点生意,最好都了解一下。你想想,当眼见不一定为实的时候,我们的生活会有多大变化。

OK,以上就是本期内容。想找我就来newtype社群。那咱们下期见!