电商
Key Takeaway
- 微调Flux Lora是一项有价值的技能,能让AI生成指定长相的人物或产品,并可叠加使用多个Lora。
- Flux模型生成图片的真实度高,ComfyUI解决了图像生成的可控性问题,Lora解决了模型经验问题。
- 制作Lora需要准备素材图片(20张起步),并通过微调工具(如Replicate上的项目)进行训练。
- 训练好的Lora可在云端或本地使用,并可叠加多个Lora以实现更复杂的效果。
- 文章强调了AI图像生成在电商、IP运营等领域的商业应用潜力。
Full Content
想搞钱,这个技能你最好学一下:微调Flux Lora。
一旦掌握之后,你就能让AI生成你指定长相的人或者产品。甚至,你还可以把两个Lora叠加起来使用。比如,让你的虚拟模特拿着某个特定的产品。
如果你是做电商,或者是运营IP,一定深有体会:人物和产品的实拍有多麻烦。通过微调Flux Lora,你能省下一大笔钱、一堆时间。
哈喽各位好,欢迎来到我的频道。我是国内少有的、能把AI的Why和How讲明白的博主。记得点一波关注。如果想链接我,就来newtype社群。
在上一期视频,我介绍了Flux模型加上ComfyUI工作流是怎么玩的,也演示了网红Lora的效果。还没看的小伙伴,一定去我主页找来看看。看完你就有概念了。我这边可以简单粗暴地总结一下:
关于Flux模型,你就记住,它生成图片的真实程度,比DALLE、SD都高。只有解决了真实性的问题,才有可能商用。
关于ComfyUI,你就记住,它解决了控制的问题,让模型按照你设定的步骤、在你圈定的范围内去生成。只有解决了可控性的问题,才有可能大规模商用。
关于咱们今天要重点讨论的Lora,你就记住,它解决了模型经验的问题。
举个例子,模型知道美女长什么样,但它不知道网红美女长什么样。但是,我们又不能从头训练过模型——成本太高,不现实。所以我们给模型加个技能包,告诉它:网红美女就长这样。以后有人提需求,你就按照这个去生成。
这个技能包,就是Lora。要制作这个技能包很简单。跟微调大模型比起来,简直就是“有手就行”的简单。我快速演示一下。
大家现在看到的这位小姐姐,是我特别喜欢的一位老师,就以她为例。比如,我希望AI能够按照她的长相生成图片。该怎么做呢?
首先,当然是准备学习资料,也就是老师各个角度和表情的图片。这样AI才能照着生成,对吧?这些图片不用太多,20张起步。我这边准备了25张。
接着,我们需要一个微调工具。国内外有很多平台都提供现成的。我这边用的是Replicate上边的项目。
进入Replicate网站。搜索这一串关键词。然后找到这个项目。
这边有两步是一定要操作的:
第一,上传ZIP格式的压缩包。我试了一下,RAR格式好像不行。大家记得用ZIP格式压缩。
第二,新建一个模型。这样训练好之后,就会以模型的方式存在平台上。
其它的设置都是可调可不调。比如,如果你希望把训练的结果同步到Hugging Face上的话,就填上你的ID和Token。
当这些都配置要之后,就可以开始训练了。因为GPU用的是H100,所以非常快,大概20分钟就搞定了。
训练好的Lora,可以在Replicate上直接使用,也可以下载下来。
我们直接在Replicate上测试一下效果。记住,Prompt里一定要带上前边设定好的触发关键词。
这个结果我还是挺满意的。如果有更多照片,表情和角度更加丰富,训练出来的效果肯定会更好。
想在本地跑也可以。把下载下来的文件放到loras文件夹。然后进入ComfyUI,在Lora加载器里选中。默认的强度是0.8,不同的数值,结果会不太一样。我测试了几种情况,给大家看看。
前边提到,可以把多个Lora叠加起来使用。所以我又训练了一个产品的Lora,用的是雷朋眼镜的图片。我想测试一下,虚拟模特使用特定产品是否可行。因为植入或者带货都会用到。
要叠加多个Lora很简单:按住Alt键复制一个Lora加载器,然后把线连上、把文件选中。在Prompt里一定要把触发关键词都带上。
这边我就不调强度这个数值了,咱们直接生成。
这个叠加还是挺成功。咱们老师成功戴上了雷朋眼镜。所以,大家可以打开想象:虚拟模特加产品,或者虚拟模特A加虚拟模特B,应该都可以。如果你有做生意的感觉,就会明白,这里边的空间有多大。
OK以上就是本期内容。想进一步探讨的话,来newtype社群。咱们下期见!
Key Takeaway
- Flux模型结合ComfyUI工作流和网红Lora,能生成高度逼真的AI图片,甚至可以以假乱真。
- Flux模型由Stable Diffusion核心团队开发,生成图片真实度高,且能实现精准控制。
- ComfyUI通过节点式工作流,解决了传统AI图像生成难以精准控制的问题,实现了精细化产出。
- Lora作为“技能包”,能让模型按照特定风格生成图片,并可叠加使用。
- AI图像生成已进入落地期,在电商等领域具有商业应用潜力,且ComfyUI工作流可分享。
Full Content
喜欢在小红书上看美女的小伙伴们请注意:
你们现在看到的,很有可能都是AI生成的。
别说什么平台会识别,你们是不知道,最新技术做出来的图片有多逼真。
比如这张图,你觉得是真的还是假的?
其实啊,这张图是我用AI生成的。准确来说,用的是Flux模型,加上一个简单的ComfyUI工作流。这里边有两个关键点:
第一,Prompt部分,也就是图片的文字描述,我是让Claude生成的。我给了它一张现成的图片,让它用英文详细描述,然后拿过来用。
第二,之所以图片上的小姐姐大家看着这么习惯,那是因为我加上了网红Lora。你可以简单理解为就是一个小插件,让模型按照特定风格去生成。
用这样一个简单的方法就能以假乱真。其实如果你更狠一点,完全可以直接图生图。比如,去小红书找一张符合大家口味的图片,然后让AI照着这个生成。很容易就可以做到姿势、身材、背景都基本一样,但是脸不一样。
以前的模型在局部做得不好,比如手指经常会多了一根。但是今天的模型已经进步非常多了。国内这些平台没法识别。所以有人做号、卖号,靠的就是我刚才演示里用的Flux模型,加上ComfyUI。
先来说说Flux模型。
最近一个多月,这款模型在圈内特别火。很多公司和团队已经实打实用上了,比如在电商领域。
那么,这么牛逼的模型是从哪冒出来的?
大家肯定听说过Stable Diffusion。Flux就是SD的核心团队出来做的。他们成立了一家新公司,叫黑森林实验室。
8月1日,黑森林实验室正式发布Flux模型,包含三个版本:schnell,就是快速版本,配置要求低一些;dev版,质量更高,但配置要求也更高,最好是4090显卡;Pro版,闭源版本,只能通过API调用。
官方版本出来之后,整个社区也是大力支持。比如推出了GGUF版,方便那些显存不够的用户使用Flux。
有了模型之后,下一个问题就是怎么运行。目前最好的方法,就是通过ComfyUI。
传统的AI图像生成,都是通过输入一大串的Prompt,俗称“咒语”。这会带来一个很头大的问题:
没法精准控制AI的生成。
一串文字给过去之后,后边的流程你完全不知道AI是怎么处理的。而且,如果对结果不满意的话,也只能在文字层面修修改改。很多时候,这种做法精确度不够,效率也很低。
于是,ComfyUI来了。它通过一个个节点组成一套工作流。这种节点式界面让用户很清楚了解AI究竟是怎么生成图像的,以及如果有问题的话,又是卡在了哪里。用户可以很精细地控制产出。
举个简单例子。你是做电商的,没钱雇那么多模特帮你拍照,那就换脸呗。你或者你手下的小姑娘先穿样衣拍好照片,然后放到ComfyUI工作流里边,专门针对脸的位置做一个遮罩。这样一来,AI就只针对脸部做生成。它会按照这个轮廓生成一张新的脸,然后再放回原来的位置。
通过这种方法,你就有了一个虚拟模特。是不是有一种画皮的感觉。这么想想还挺吓人的。
如果你觉得生成的图片AI感太强了,看起来太油、太完美了,可以加个Lora。比如,有大佬做了模拟业余摄影的,让图片看着像个外行拍的,这样就真实多了。我刚才演示里用的网红风格的Lora,也是别的大佬做的。我下载下来之后,放到特定的文件夹里,就可以在工作流里选择了。
所以你看,有了ComfyUI,原本一大坨的工作被拆解成了一个个步骤和节点,简单许多,清晰许多,可控性也高了许多。
更爽的是,这些工作流还可以分享。拿到工作流这个JSON文件后,拖到画布里就自动加载了。于是,不管是国内还是国外,有很多人在制作特别专业的工作流。这已经是现成的生意了。
大家在短视频平台上肯定有看到过这样的内容:先给你炫一下生成的图片有多牛,然后展示他搭建的极其复杂的工作流,最后跟你说,想要的话就来加微信。
如果你的机子跑不动也没关系。几乎所有的算力租赁平台都跟创作者有合作,为用户提供现成的镜像,可以直接用。
我就买了别人做的整合包,一共花了一千五。人家全都打包好了,一百多G下载下来,都不需要安装,省了我非常多的时间。
花钱买成品的好处是,很多基础的东西不需要再折腾一遍,理解一下就好了。比如,除了模型之外,Clip是干嘛的,VAE又是干嘛的;几个关键的文件夹都是放什么文件的。
实践和拆解才是重点。把别人的东西吃透了,最后造出自己的东西来。这就是我的天赋,我很清楚。所以这钱该花钱就花,而且绝对能翻倍赚回来。
Flux这一波预示着AI图像生成已经进入落地期了。动作快的人已经开始摘果子了。这也是为什么我等了一年多,到现在才开始研究。我建议大家不管想不想拿这个技术做点生意,最好都了解一下。你想想,当眼见不一定为实的时候,我们的生活会有多大变化。
OK,以上就是本期内容。想找我就来newtype社群。那咱们下期见!