AI客服
Key Takeaway
- AI分身和AI客服的普及是AI技术落地和应用爆发的重要代表,云厂商的加入加速了这一进程。
- 腾讯云大模型知识引擎通过提供精调知识大模型、灵活的知识库设置(如语义切块)和搜索增强功能,驱动AI分身和AI客服。
- 知识库设置支持文档和问答集,并强调评测和效果调优的重要性。
- 腾讯云知识引擎的“工作流管理”功能,能将复杂流程转化为AI可执行的任务,实现高度定制化。
- 知识库和工作流是智能体的核心能力,分别对应知识和经验。
- 腾讯云知识引擎还提供多轮改写、Embedding、Rerank和文档解析等原子能力,方便开发者集成。
Full Content
每个IP都需要AI分身,每家企业都需要AI客服。大家可以记住我这句话,半年之后来考古。
我很确信,这一轮AI技术落地、AI应用爆发,一个代表就是AI分身、AI客服的普及。前者对应超级个体,后者对应超级组织。这个进程正在加速,因为云厂商已经加入进来了。市场格局肯定会变,不再是模型厂商占主导的局面。
你看,我就给自己的公众号加了个AI分身。这个智能体应用的背后,是腾讯云大模型知识引擎在驱动。
我记得一年前刚开始做视频介绍AI的时候,市面上的RAG工具特别稀少,而且还得靠自己各种组合、调试,才能实现一些定制需求。我甚至一度都想自己手搓一套系统了。
你再对比现在就会发现,这一年的发展实在太快了,出现了RAG as Service,出现了一大堆开箱即用的产品。就拿我刚才提到的智能体应用来说吧:
大模型我用的是“精调知识大模型高级版”,打开了“上下文改写”,把记忆轮数加到10轮。这个模型你可以理解为就是专门为RAG特训过的模型。当然,如果你觉得上下文长度不够的话,可以选别的,比如256K长文本版的混元大模型,这长度绝对够用了。
看这一串的列表你就知道,为什么大厂都要搞基础模型研发了。那么多的业务场景等着特定的大模型开锅呢。这种战略主动权不抓自己手里,脑子真就坏掉了。
在知识库设置方面,我选的是“文档”,因为都是现成的视频脚本。如果你本来就有人工客服,想转成AI客服,那肯定会有QA,对吧?这时就可以选择“问答”。
一般来说,问答类型的资料,对提升检索的精确度会更有帮助。之后我也会慢慢积累一批关于AI的问答,根据我的知识储备、我对AI的理解来调整。目的是让这个AI分身尽可能接近我的认知。
召回设置方面,一个是召回数量,也就是召回多少个切块给到模型;另一个是检索匹配度,也就是相似度达到一定数值之后才会被纳入。
至于切块的大小,并不需要用户设置。腾讯云知识引擎会根据语义、根据整篇文章的意思,自己决定该从哪里切割,这样才不会把上下文的意思给硬生生截断。这一点我特别喜欢。如果你之前有用过RAG工具的话,就知道要决定切块大小有多麻烦了。
最后,我把“搜索增强”打开了。也就是说,模型在回答的时候,除了会参考我给的知识库,还会去调用微信搜一搜和搜狗搜索的能力,从微信生态内,比如海量的公众号文章,补充更多信息进来。
之所以打开“搜索增强”,主要是因为我不想要一个只会鹦鹉学舌的AI分身。如果你的需求是AI客服的话,那可以不打开,这样更可控、更保险一些。
当这些基本设置都搞定之后,大家别着急上线,记得做评测。
先导入样本集,然后去创建评测任务。评测的目的是看看模型回答的准确率能到多少。如果准确率不达标,要么回去改设置,要么去改资料。
说实话,我之前见过太多人搞了RAG之后大骂没效果、AI胡说八道了。其实绝大多数都是因为想当然地认为,把资料全喂进去就可以。在真实世界里,现有的技术还没到这么傻瓜的程度,还是需要你做评测、做调试的。
不仅如此,正式上线之后,还会遇到用户对回答不满意的情况。这时就会用到“效果调优”。在这个页面,我们会看到所有用户不满意的回答。
刚才说的评测只是模拟情况,而这边是实际业务场景。两个加起来,才能把这个AI分身、AI客服调到最佳状态。腾讯云能想到这一点,并且把它产品化,真的是功德无量。
哈喽大家好,欢迎来到我的频道。谦虚地说,我是国内少数几个能把关于AI的Why和How讲明白的博主。我提供的东西比教程更值钱。记得点一波关注。如果想链接我,就来newtype社群。已经有600多位小伙伴付费加入啦!
回到今天的主题:腾讯云大模型知识引擎。
很多人都在关注C端市场的AI应用。我其实更多是在看B端,两个原因:
第一,现阶段的AI能力距离市场的期待还挺有距离的,C端很难出现现象级的、能解决大问题的产品。
第二,B端对AI有明确需求,赛道非常清晰,回报也很可观。所以这边更有可能出现好东西。
对我这种“个体户”来说,用上企业级的产品,那就是降维打击。这是我看上云厂商产品的原因,也是我推荐给大家的原因。
腾讯云大模型知识引擎是一款PaaS产品。刚才我介绍的只是RAG的基础功能。如果你理解原理的话,那这部分的操作应该非常容易。快的话,十分钟搞定。
更进一步,如果你想对这个智能体应用有更清晰的指导,如果想把你的SOP教给AI,那一定要试试工作流管理功能。
举个典型的例子:图书馆客服服务。用户找图书馆一般会需要三种服务:要么借书,要么还书,要么咨询相关规则。于是,在这个画布上,大家可以看到三条路径,对应三种服务。
在工作流的开端,AI会先根据用户的询问做一个条件判断,决定是要进入哪条路径。我以借书为例。整个过程,AI会主动引导用户提供相应的信息。
首先是要借什么书,以及借多久。因为涉及到时间,很多用户表述会很不一致,比如两周、一个月等等,所以需要做个参数归一,把所有表述都统一成天数。
接着,AI会根据书名和要借的时长去调用接口、查询能不能借。
如果能借,那就走上边的分支,要求用户提供账号ID。如果不能借,那就走下边的分支,问用户要不要换一本书。
我在调试页面演示一下对话的效果,大家感受一下。
任何涉及到流程的交互,都可以变成工作流。比如很多人问我怎么学AI,如果用我的AI分身来处理的话,就可以把工作流给用上。根据我本人的回复和理解,设计一系列的条件判断、各种分支路径,然后全部教给AI。所以大家一定要把思路打开,别觉得这一大套东西只能用到客服上边。
另外,一个智能体应用可以挂上N个工作流。也就是说,你可以设想多种场景,创建多个工作流。AI会根据对话内容,自主判断需要进入哪一个工作流。这一点非常有用,可玩性太高了!
知识库加工作流,就是目前智能体的所有能力。前者对应知识,后者对应经验。腾讯云知识引擎把这些都打包好了。所以,用户只需要把精力放在设计、调试和调用上。
设计和调试刚才都介绍过了。那么在调用方面,这个知识引擎以API为主,毕竟是PaaS。如果你有比较强的开发能力和需求,只需要引擎的其中一部分能力的话,可以选择“原子能力”,包括:
多轮改写,其实就是针对用户可能提问不完整的情况。模型会结合上下文语义去完整还原。这个挺有用的。
Embedding和Rerank,一个是把文本进行向量化,一个是把召回的切块进行重排序,都是RAG必备能力。
文档解析,很基础、很重要,也很容易被大家忽略。好的解析是一切RAG的出发点。腾讯云在这方面很有优势。市面上很多知名的AI产品都在调用他们的文档解析技术。他们可以把各种文档转成Markdown格式。而且还可以解析表格、图片,以及页眉、页脚、标题等等内容元素。这个真就帮了大忙了,省去了我们大量处理文档的时间。
这四个“原子能力”的调用,腾讯云知识引擎都有很详细的文档介绍,我这边就不演示了。
我这个频道算是介绍RAG起家的。从本地大模型的使用,到RAG引擎的部署,过去一年我分享了好多这方面的内容。到了年底,终于有厂商推出开箱即用的综合型产品了。大家看完视频记得去试试腾讯云知识引擎。
OK,以上就是本期内容。想讨论AI,来我们newtype社群。那咱们下期见!
Key Takeaway
- 秘塔AI搜索的专题功能是其核心更新,提供了知识库功能,支持多人协作和API调用。
- 知识库的创建和分享加速了知识的流动,实现了“RAG as Service”。
- AI要变得有用,需补充领域知识和领域经验,秘塔通过专题和工作流来解决。
- 专题功能通过整合搜索结果、文档、网址和文章,强化了AI的输入能力。
- 秘塔通过概念图、术语表等功能强化了AI的输出,提升了知识库的可用性。
- 问答引擎的未来形态将是更精细化的知识流动和用户与AI的深度协作。
Full Content
我给自己的博客加了一个AI客服。现在,你有任何关于AI相关的问题都可以问它。比如,什么是过度拟合?大模型是如何预测下一个Token的?或者,大模型能像人类一样思考吗?
在这个AI客服的背后,是一个超大的知识库,有将近2000篇专业论文和文章。而知识库的后边,是秘塔的RAG技术。
前些天秘塔AI搜索上线了专题功能,其实就是大家非常需要的知识库功能。
用户可以把文档、网页、文章,甚至秘塔的搜索结果全都保存进知识库。秘塔会对这些资料做数据清洗、解析等等。然后大模型再根据资料回答用户的问题。
秘塔的这次更新,我个人最最喜欢的,是分享和API两大功能。
在专题分享设置中,如果你把“可编辑”权限打开,那么被分享的人也可以上传资料到专题的知识库当中。这意味着可以多人运营同一个专题。
比如,办公场景,团队里的每个人都可以及时更新专题知识库,让AI跟上你们的业务进度。在学术场景,一起搞研究的小伙伴,不管是谁发现了有价值的论文,都可以上传,特别方便且有用。
至于API功能,它让专题内沉淀的大量宝贵资料可以被应用到更多地方。比如,我开头说的那个包含2000篇专业论文的专题,就是秘塔官方做的。我拿到API信息之后,在Cursor的帮助下,没写一行代码,就是纯对话,不到半小时就把AI客服给做出来了。
这个其实就是国外特别火的RAG as Service。如果你只是一些轻量化的需求,那真的没必要去本地部署那些消耗特别大、调试起来特别复杂的RAG,性价比太低太低了。真的,我自己折腾过之后发现,用人家现成的就挺好。
回过头来再看专题这个功能:创建知识库是把知识引入——Input;分享和API是让知识流出——Output。整个加起来,秘塔其实在做一件事:加速知识的流动。
哈喽大家好,欢迎来到我的频道。谦虚地说,我是国内少数几个能把关于AI的Why和How讲明白的博主。我提供的东西比教程更值钱。记得点一波关注。如果想链接我,就来newtype社群。已经有600位小伙伴付费加入啦!
回到今天的主题:秘塔AI搜索的专题功能。
秘塔是一款问答引擎产品。但是我觉得,它应该不会止步于问答引擎,或者说,问答引擎不应该是它的终极形态。
我之前在社群专属视频里说过,AI要变得有用起来,一定要补上两点:领域知识,和领域经验。
很多知识是非公开的,只在特定领域内流通 ,AI获取不到。或者,它虽然公开,虽然也上网了,但是网上压根搜不着。如果AI接触不到这些领域知识,那么,它就无法在知识层面、信息层面上跟用户同步和对齐,这就没法协作了。
所以,AI需要RAG,需要知识库,把领域知识补上。
再来看领域经验。经验是比知识更加非标准化、私密化的东西。比如你是开足疗店的或者开美容院的,从客户一进门的问候,到引导他选择套餐,所有环节加起来得有几十项的经验,这些都装在老板的脑子里,是最佳处理方式。如果AI接触不到领域经验,那它就只能以一个新人身份、硬着头皮往上顶了。
所以,AI需要Prompt,需要Agent Workflow去对接SOP,把领域经验补上。
从知识和经验的视角看问答引擎,我们会发现,在输出方面,问答引擎已经做得很好了——它给你的不是网页,而是答案。但是在输入端,互联网上的信息只是补充和更新了它原本就具备的通用知识。领域知识和领域经验还是欠缺的。
所以,秘塔做了两件事:
在搜索范围之外,秘塔增加工作流。比如市场营销分析、股票分析等等。这个就是把领域经验传授给AI的初级方式。后续还有很大的迭代空间。
另一个就是最近上线的专题功能。它给AI添加了一个外挂知识库。这个知识库包含四种内容。
一是搜索结果。直接点击问题右边的加号按钮就可以保存进专题。这样一来,很多我们觉得有用的搜索结果就可以分类存起来,以文章的形式进入知识库。这一点秘塔做得很赞。
二是文档。比如PDF、Word。我最经常做法是,先大致扫一遍论文,有个初步的概念,不然都不知道该问啥、聊啥。然后再给到AI,做进一步交流。
三是网址。比如,一些公司的官网上有大量的新闻稿和产品信息。这时候就可以让AI爬取里边的内容作为参考。这算是一种强指向型的指令——让AI别到处瞎搜索了,就看这个网站。
四是文章。通过新建文章,我们可以直接贴文本进去。省去了还得创建一个文档,然后再把文档上传的麻烦。
通过包含这四种内容的外挂知识库,秘塔给AI补充了它原本不具备的领域知识或者说是来自私域的信息,以及需要AI重点关注的来自公域的信息。
上面这些都属于强化输入。而在强化输出方面,秘塔解决了一个头大的问题:
当知识库里的信息越来越多之后、时间久了之后,我们可能会有点懵,拿不准里边都有什么、该问什么。这个时候,概念图、术语表、学习建议、内容概要、建议问题这五个东西就很重要了。
只要你知识库里的资料超过5份,秘塔就会自动帮你生成这些。
它会读取所有资料,把作者和对应的主题建立关联,以概念图的形式呈现。这个对于论文之类的内容特别有用。
如果你有很强的学习需求的话,那么术语表、学习建议和内容概要肯定能帮到你。知识库的体量越大,效果越显著。
如果说原本的搜索加AI是问答引擎1.0形态的话,那么,强化了输入和输出之后的专题就是问答引擎2.0形态。从原来那个更大、更泛的漏斗进阶到了一个更小、更精的漏斗。
那么,问答引擎3.0形态会是什么样子呢?我建议秘塔可以考虑把Perplexity的Page功能加到专题里边。
因为从1.0到2.0,里边的信息经过用户的主动提纯,更加接近生产需求。用户在专题里边进行多轮对话、进行思考的动力会更强。这时候,像Page这种工具就非常适合,因为它是把是把我们习惯的边搜索、边构思的过程具像化了、产品化了。
在类似Page功能的帮助下,用户和AI互相配合,又对信息或者说知识做了一道提纯,形成新的、下一层级的漏斗。这是我觉得问答引擎3.0形态该有的样子,以及背后的逻辑。
从1.0、2.0到3.0,我有一个感觉:知识的流动就像水流一样,从主干分成无数的支流,最终又汇总回主干,完成循环。在这个流动的过程中,像秘塔这样的产品,它们的价值就在于疏导和加速。
OK,以上就是本期视频。大家看完了记得去试试产品。那咱们下期见!