Jev决策模型火了,让业务后训练又活过来了
其实最近关于Jev的讨论两级分化也挺严重的,
你会发现,很多觉得就那样的,是在大模型火之前做过NLP或者搜广推的人, 因为Jev这种分类模型,不不不现在叫策略模型,之前bert时代,我们在业务上就一直在使用, 经历过人工智障时代的人,知道分类题做成演示不难,放进复杂业务里长期高精度、稳定地做对很难。
另外一部分,觉得很强,system1, 在与LLM进行组合使用的时候,很多高频场景,决策场景可以大量节省token的消化。 R1之后,我们越来越习惯靠更长的思考换取能力,但很多业务问题确实被过度think了, 把高频决策交给快模型,把少数疑难样本交给LLM,时延和token成本都有下降空间。
现在各种decision模型层出不穷,当然有蹭热度的部分, 但是也确实说明,时代是一个轮回,Jev找到了一个好的生态位,决策。
今天我想说的是,Jev两个特点,快、泛化, 但在真实业务场景,其实通用的Jev类型的决策模型根本达不到业务所要的准确率指标, 因为业务是千奇百怪的,当然我们可以把规则塞到Prompt中, LLM通过Inference-Time Scaling来增强模型智能,但Jev决策模型,只能依赖的是模型本身的能力。
不吹不黑,之前在给很多企业做落地的时候,因为有并非、时延的要求,就是利用选择题的方式来解决高频业务问题的, 在不训练的情况下,Jev类型模型很难达到可用的指标, 这也是为什么,我前面说大火的Jev模型让业务后训练又活了。
当然,已经有很多老板在咨询Jev决策模型要怎么去做了, 我把3年前的那套理论有搬过来了,只不过底层从Bert变成了以Qwen为底座, 从原来512的长度限制,变成了可以接受更长的上下文。
但不同的是,Jev把一个明确问题提出来了,我们需要RLCD(面向校准决策的强化学习), 其实做搜索、推荐的同学们,应该比较了解,核心就是如何有真实soft标签来进行对齐, 我们之前会用对比学习,改造loss的方式,现在也有一些开源方案,在尝试用评分规则约束概率,
Jev的方案并没有公开, 我觉得这一部分才是正在的护城河,也许是一套方法论,可以让输出的概率,跟真实的概率分布更一致。
最后,真是一个轮回, Jev类型决策模型因为并非、速度要求,大概率会是小参数量模型(100B以下), 难道说微调的需求真的又回来了?