huangyihe@newtype.pro ~ $

搜索引擎

Gemini + Grok：最被忽视的AI生产力工具

Key Takeaway

  • Gemini和Grok是两个被低估的顶级AI应用，它们在不同方面展现出强大的生产力。
  • Gemini提供多功能体验，包括快速回答（Flash）、文章创作（Canvas）和深度报告（Deep Research），并能与Google文档和NotebookLM无缝集成，支持深度学习。
  • Grok在模型回答上更具“人味”，产品设计简洁，并拥有独特的Twitter数据源，使其在获取用户真实反馈方面具有优势。
  • 结合使用Gemini（获取主流媒体信息）和Grok（获取社交媒体信息）可以获得更全面和真实的洞察。

Full Content

有两个顶级AI应用还在被国人忽视。一个是Gemini，一个是Grok。

Gemini我已经推荐得足够多了。你看，过去半年，我在社群内真的是苦口婆心、反复强调。我从1.5的模型开始，用到了2.0、2.5，真的是越用越喜欢。不说那些复杂的，就说日常使用，就像我这个帖子说的：

如果你只想要个快速回答，那直接问Gemini 2.0 Flash。它速度快，推理强，运行还稳定。

如果你想要稍微深入一点，那就把Canvas打开。Gemini 2.0 Flash会按照写文章的标准来回答你。

如果你想要详尽的报告，那把Deep Research打开。Gemini 2.0 Flash会按照报告的标准来输出。

我直接给你们来个演示吧。

比如，我问Gemini：什么是Reasoning model？它很快给出一个简要的回答。

我把Canvas也就是画布打开。再问它同样的问题。这个时候，回答速度稍微慢一些，但是详细程度会高得多。在Canvas里边，你可以对文本进行排版、编辑，也可以选中一段进行提问。也就是说，用这个功能，你可以跟Gemini配合起来完成一篇文章的创作。

如果我把Deep Research打开呢？还是同样的问题——什么是Reasoning model。Gemini会帮我拆解议题，然后查找上百个网页，最终完成深度报告的输出。

你看，就这么简单的三个功能——直接对话、Canvas和Deep Research，覆盖了我们日常使用AI的主要场景。

更进一步，如果你觉得这些回答有价值，还可以把它们保存到Google文档里。

刚才介绍的三个功能，后两个都可以导出到Google文档。然后，就像我前一个视频里介绍的，打开NotebookLM，把Google文档里的相关内容全部导入，然后就可以进行深度学习了。

Gemini还有别的功能，比如画图什么的，我就不多说了。光是刚才我介绍的那些，就足以值回票价。

而且，Google还在不断更新。就在昨天，他们推出了首个混合推理模型——Gemini 2.5 Flash。你可以自主选择要不要打开思考模式，甚至还可以设定要投入多少资源进行思考。这个模型的出现，更加强化我要继续拥抱Gemini的信心。

那么，既然Gemini这么牛逼，还要Grok干嘛呢？三个原因：

第一，从模型回答的感觉上看，Grok 3要比Gemini 2.0好得多。

Gemini 2.0还是有一种生硬感、机械感，这可能就是Google独有的味道吧。而Grok 3的回答就比较有“人味”，所以我会逐渐倾向于多跟它交流。

第二，从产品角度来看，Grok最完整。

就像之前我在社群里说的，Grok没搞那么长的模型列表让用户选择，就两个按钮：深度思考，和深度搜索。没有模型之分，只有模式之分，甚至再到后边连模式都不需要选择了，AI会自主判断。这个才是正道。像OpenAI那种，有点丧心病狂了。

另外，前两天的更新，给Grok补上了Canvas和Workspace功能。Canvas和别家差不多，就是标准的画布。而Workspace，就类似知识库的功能，特别好用。

现在，Grok已经集齐目前的主流功能。产品层面已经相当成熟了。

第三，从数据源角度来看，Grok拥有别家都没有的Twitter数据。

Twitter现在是最有影响力的社交媒体，它的数据对于AI来说很重要。如果能把Twitter所代表的社交媒体数据，和Google那边掌握的主流媒体数据合并起来，那对提升AI的回答质量肯定有帮助。具体怎么做呢？我再演示一下。

其实这个方法我在社群内也分享过。很简单，Grok的Workspace功能除了支持本地文档上传之外，还支持从Google Drive里导入——这个就是关键功能。

我会先用Gemini做一轮Deep Research，把报告导入Google文档。然后，到Grok里添加这些Google文档，并且在Prompt里强调：附件信息只是参考，你要有自己的搜索和判断。另外，Twitter上用户都有哪些反馈？重点看看。

注意看Grok的分析过程。从主流媒体的信息搜集来看，它确实不如Gemini能搜到那么多。其实不只是它，OpenAI的搜索范围也有限。但是，Grok能搜集Twitter上的数据，包括帖子和评论，这个就是它的独有价值。

我之前在公关营销行业干了十几年，非常清楚只有你预算够，绝大部分主流媒体的内容都可以买，或者都可以影响。相比之下，用户的实际使用反馈就相对真实得多。所以，当我想了解的议题涉及到用户口碑的话，我肯定会通过Grok去搜集，并且跟Gemini那边的主流媒体信息进行合并。

刚才介绍的这两款AI工具的使用经验，看起来确实平平无奇，不像很多AI自媒体介绍的那些玩法那么酷炫，但这些都是能帮到你的真东西。如果你觉得有价值，还想了解更多的话，记得加入我们社群。

OK，以上就是本期内容。那咱们下期见！

Perplexica：部署完全属于你的问答引擎

Key Takeaway

  • Perplexica是一款开源的问答引擎，旨在提供Perplexity的本地部署替代方案，具有高度自由度。
  • Perplexica支持云端和本地模型，可通过OpenAI、Anthropic、Grok的API调用，或通过Ollama调用开源大模型。
  • 部署Perplexica需要Docker，并可通过docker compose up命令进行安装。
  • Perplexica的UI与Perplexity相似，支持Copilot功能，能根据提问生成多个搜索关键词以提升效果。
  • Perplexica还支持云端部署，用户可在RepoCloud等平台一键部署，实现个人专属的问答引擎。

Full Content

我一直想在本地部署一套问答引擎。

在我构想的AI工作系统当中，问答引擎是基础。但是，现在做得最好的Perplexity，它对网络环境挺挑的。想用的时候突然用不了，就很烦。

所以很多时候不是我不想为SaaS付费，而是这客观条件逼得我只能走本地部署这条路。

好在这类型的项目挺多的。我之前就介绍过一款，叫LLocalSearch。折腾了一圈之后，我目前最满意的是Perplexica。

从名字就能看出来，这款产品就是照着Perplexity抄的。放在一起对比，UI几乎一模一样。

我之所以对它满意，主要原因是，它的自由度很高。

在模型方面，你可以走云端，通过OpenAI、Anthropic或者Grok的API去调用相应的模型。你也可以走本地，通过Ollama去调用开源大模型。

我把之前安装的都删了，重新走一遍，大家就明白了。

先把Docker打开，咱们一会儿需要使用。接着老规矩，通过git clone把项目下载下来。然后把config这个文件前边的sample去掉。

对大模型的配置，可以在config里进行。比如填上OpenAI的API Key，或者Ollama的地址。如果你没有改端口的话，那就是默认的11434。要注意：不是填localhost:11434，而是host.docker.internal:11434，因为咱们是在docker里运行。

这边没填也没关系，等全部安装完成之后，可以在应用里边的设置页面进行配置。

最后，使用docker compose up这行命令，就会自动下载、安装需要的所有东西。等个几分钟，就可以通过localhost:3000这个本地页面使用了。

咱们来测试一下效果。先试试GPT-4o。可以看到，大概四到五秒钟能给出结果，还是很不错的。回答的来源，还有追问，都跟Perplexity一样。

如果打开Copilot选项，那么AI会根据你的提问去多生成几个，一起拿去搜，这样能提升整体效果。

接着试试开源模型的效果。语言模型用qwen2，嵌入模型用nomic。第一次启动有点慢，需要加载一下。后边明显快多了。

前边说了，我喜欢Perplexica的主要原因是它的自由度。这个自由度不仅限于模型。

在部署方面，除了本地部署，它还支持云端部署。在官方GitHub页面下方，就有一键部署的按钮。

它应该是跟RepoCloud有合作。你在上边注册之后，会给3美金的免费额度。这时只需要搜索项目名称，找到Perplexica；然后填写OpenAI API Key，以及用户名和密码；最后等上大概5分钟，项目就在云端部署好了。

可以看到，RepoCloud给了一个链接，我们可以在桌面端、移动端随意使用。比如我在iPad上打开，用刚才设置的用户名和密码登陆，就会看到同样的界面。运行起来，速度还OK。RepoCloud会根据你的使用量auto-scaling。

我发现，这种个人专属的感觉特别棒。强烈建议大家试试。不管你是自己使用还是团队共用，都可以。

OK，以上就是本期内容。接下来我准备详细研究一下Perplexica和它所使用的搜索引擎SearXNG。有新发现的话，我会分享到newtype社群。还没加入的小伙伴抓紧加入吧。那咱们下期见！

Perplexity使用指南

Key Takeaway

  • Perplexity是目前最好的问答引擎，其回答质量和使用体验优于ChatGPT等产品。
  • Perplexity作为知识的起点，强调建立信任（清晰来源标注）、帮助用户提问（扩展搜索关键词、引导提问）和提供一站式服务（Pages功能）。
  • Pages功能将搜索与内容构思相结合，能辅助用户生成文章大纲和支撑信息。
  • Perplexity通过微调GPT模型、使用其他大模型和自研开源模型，并结合强大的RAG技术，实现了其问答引擎的领先地位。
  • Perplexity还提供了Focus功能（特定搜索方向）和Space功能（知识库），进一步扩展了其应用场景。

Full Content

ChatGPT最近推出了搜索功能，不过我还是会继续使用Perplexity。因为作为问答引擎，或者说下一代的搜索引擎，Perplexity依旧拥有最好的回答质量和使用体验。要做好问答引擎，需要大量领域知识，还涉及到工程问题，不是说你有很强的模型就能搞得定的。

至于OpenAI，说实话，我不太看好他们。之前我在社群内还吐槽过，觉得现在的OpenAI就像黄磊一样，样样通、样样松。他们想做的东西太多了：

既想做基础模型研发，又想搞应用，还要做应用商城和生态。推出的一系列功能都是点到为止，没有扎实做透。真要用来严肃生产，还是有点距离的。

所以在过去一年，我一直坚定选择Perplexity和Claude的组合。它俩实实在在有帮到我，帮我赚到钱。本期视频算是Perplexity的教学。如果你还没用过，或者还没订阅的话，一定往下看。

哈喽大家好，欢迎来到我的频道。谦虚地说，我是国内少数几个能把关于AI的Why和How讲明白的博主。记得点一波关注。只要有一个视频你看进去了，就赚大了。如果想链接我，就来newtype社群。已经有500多位小伙伴付费加入啦！

回到今天的主题：Perplexity。

今天AI应用有两个非常确定的赛道：一是搜索，二是知识库。

搜索就不用我多说了。大模型出现之后，通用搜索和领域搜索都出现了一堆新产品，肯定能跑出独角兽。知识库也非常火。RAG as Service，打造Knowledge Assistant，这个进程一直在加速。

你发现没有：不管是搜索还是知识库，都是关于知识，都是关于知识的发现和流动。所以之前Perplexity在界面上放上一行字：Where knowledge begins，知识的起点。可惜现在改成了“释放你的好奇心”，一下就弱爆了。

当你开始用Perplexity就会有这样的感觉：问答引擎并不等于大模型加搜索，真没那么简单。

第一，作为知识的起点，它需要建立信任，所以它的行为和结果一定是严谨的、是规矩的，就像写论文一样：

所有来源都有清晰标注，并且你可以很方便去追溯；所生成的结果也是逻辑清晰的、简洁的，很好理解。

第二，作为知识的起点，它需要帮助用户提出问题。Perplexity的创始人在采访里说过一个观点，我印象非常深：

他们最大的敌人并不是Google之类的巨头，而是用户不会提问这个无奈的事实。

大部分用户压根就没想明白；即使想明白了，要准确表达又是一个门槛。

所以Perplexity加强了产品上的引导。比如，当用户输入完问题之后，如果不是太具体，他们会给出几个选项，试探一下用户的真实意图。再比如，前段时间他们还加上了自动补齐的功能。

第三，作为知识的起点，它还需要照顾到后续的旅程——不能只是一个起点，还应该尽可能成为一站式的存在。

后续建议提问这个功能很简单，但是很实用。毕竟这么多个问题，总会有一个问到点上的。

前段时间推出的Page功能非常有想法。从一个问题出发，不断提问、不断扩展逻辑，最终形成一个类似文章大纲加上支撑信息的东西。

如果需求不复杂的话，比如你就是想要找个旅游攻略之类的，那么这个成品基本可以拿去直接用。如果是要写篇文章的话，那这个基本就完成了最开始的构思——文章的整体逻辑有了，下边的支撑也有了。

我认为，Page功能就是把我们习惯的边搜索、边构思的过程具像化了、产品化了。再打磨下去，也许有一天真的能实现直接成稿的效果。

所以，当你理解了Perplexity的这些功能之后，再去对比带搜索的大模型产品就会发现，这俩真不是一回事，有点两个物种的感觉。我强烈认为，在搜索的基础上加AI，和在AI的基础上加搜索，是两种产品形态。甚至有一段时间，我退订ChatGPT之后，就是用Perplexity来替代。因为它也有直接生成文字的功能。

很多人可能没怎么注意到Focus这个按钮。点开之后，你可以设置特定的搜索方向。比如，专门搜YouTube或者学术论文等等。其中有一个Writing选项，就是不搜索，基于模型现有的知识直接回答用户问题。要更改模型的话，就到设置里去选择。除了GPT系列，还可以选择Claude系列。最先进的模型这里都有。

通过互联网，我们能搜到的知识大多数公开的、通用的知识。还有很多知识属于领域知识，网上没有的。为了覆盖这种情况，前段时间Perplexity上线了Space功能，也就是知识库。用户可以上传文档，让模型根据文档做回答。

知识库对Perplexity来说是手到擒来的事儿。因为问答引擎本来就需要很强的RAG能力。顺着这个方向，我特别希望他们把文档管理体系给补上，包括分层级的文件夹、标签。让用户逐渐把私人文档存进去，完成数据资产的迁移，这个是入口级产品必须要做的事儿。

Perplexity还有一些不是那么核心的功能，比如发现页面。你可以理解为就是Google、百度都有的新闻推荐页面。这个目前看没啥意思，等看以后会不会有什么创新吧。

OK，以上就是本期内容。大家看完了记得去试试这款目前最好的问答引擎。那咱们下期见！

套壳之王：Perplexity

Key Takeaway

  • Perplexity是一款现象级的AI原生问答引擎，有望替代传统搜索引擎，其核心价值在于直接提供组织好的答案而非网页链接。
  • Perplexity通过“Copilot”模式扩展搜索关键词，并提供“Focus”选项进行特定类型搜索，提升用户体验。
  • Perplexity强调答案的严谨性，提供清晰的来源标注，并支持多轮交互和“Collection”功能。
  • 尽管被质疑“套壳”，但Perplexity通过微调GPT模型、使用其他大模型以及自研开源模型，展现了其技术实力。
  • Perplexity在搜索基础上融入了强大的RAG技术，并具备知识库功能，未来有望推出更多产品。

Full Content

我最近看到一句非常霸气的话：

拥有十万用户的套壳产品，比拥有自有模型却没有用户更有意义。

如果你身边有投大模型或者做大模型的小伙伴，记得把这句话转给他。

这么拉仇恨的人是Perplexity的CEO。他们刚完成了B轮融资，估值5.2亿美元。跟投的公司包括英伟达，以及贝佐斯这样的大佬。

Perplexity的产品是一款现象级的AI原生应用，有可能替代传统搜索引擎的问答引擎。

什么是问答引擎？

截至目前的搜索引擎返回的都是网页。但是，网页是我们想要的结果吗？我们要的是网页里包含的内容。大模型的价值就体现在这里了：

它会帮我们把搜到的所有网页都过一遍，把相关的内容都抓出来，然后组织逻辑，最终把结果一步到位地呈现出来。

这是传统搜索引擎技术做不到的。这也是为什么，搜索是一个确定的赛道，必然会被大模型技术彻底改造。

过去一年，我体验了好多AI应用。但是，是能让我持续使用、不得不用的，就两个：

  1. GitHub Copilot
  2. Perplexity AI

我强烈建议大家试一试Perplexity。它是对每一个人都有帮助的AI应用。用过之后，你大概率就不再需要Google了，更别提什么百度。

我用网页版做个演示。这款产品还有手机和iPad版本，非常方便。

“Copilot”打开之后，它会提供更准确、更深入的答案，代价是稍微慢一点点。免费版好像是每四个小时有5个额度，订阅版每天有300额度，基本够用。

“Focus”选项很好理解，可以让大模型聚集搜某个类型，比如：学术论文，Reddit讨论，或者YouTube视频。如果选择Writing的话，那么就不会联网，相当于直接用大模型的效果。

Perplexity订阅价格是每个月20刀。从实用角度来看，我建议大家可以不订阅ChatGPT Plus，但是要订阅这个。毕竟搜索是高频需求。Perplexity的搜索比ChatGPT强。而且，如果你需要GPT-4直接生成的话，选Writing模式就行。

我们来个简单的。比如，搜“GitHub Copilot”。大模型会先理解问题或者关键词，然后基于理解对它们做扩展。

由于我们只输入了“GitHub Copilot”，比较泛，大模型判断，用户此时大概率是想做个初步了解，比如它是什么、有什么用途、有什么优缺点等等。于是，它帮我们做了一系列扩展，再拿去搜索，找到一堆来源，最后给出答案。

有了第一次交互之后，Perplexity会引导用户，要么查询相关问题，要么继续追问。

从一个问题或者关键词出发展开的多轮交互，就形成了一个合集，存档在Library里，相当于历史记录，以后可以再来查询或者继续提问。这也是我非常喜欢这个产品的一个点。

“Collection”是最新功能。你可以针对某一个主题，通过Prompt的形式做更细致的设定，并且可以共享给其他小伙伴。

至于Discover，就是官方推的热点，无聊的时候可以看看。

Perplexity是公认的用户体验最好、结果精确度最高的AI问答引擎。

先说用户体验。

“以用户为中心”对他们来说不是一句口号，人家是真的信这个。我举两个例子。

第一、Perplexity为什么要帮用户先去扩展搜索关键词？

因为，绝大多数用户不懂得提问。

就像前边演示的那样，我只给了一个关键词。如果是传统搜索引擎的话，由于用户输入太少或者太不准确，往往结果不会太好。

那么，是用户的错吗？

用户没有错。是你技术的问题，是你产品设计的问题。这个就是做应用要面对现实情况。

多说一句，我觉得这一轮大模型技术爆发，带来的不是人机之间的自然语言交互，而是意图交互。有很多项目都在朝着这个方向走了，就看谁先跑出来。回到正题。

第二、Perplexity已经提供最终答案了，为什么要把来源列出来？

因为，用户总是会担心。

既担心你的答案的权威性，也担心大模型的幻觉会不会发作。

尤其是答案里要是有些观点跟我的预判不一致的话，我肯定会把来源的网页或者视频看一遍。

Perplexity是做产品的，技术只是实现的手段。但并不代表他们没技术。

他们CEO之所以会说开头那句拉仇恨的话，就是因为在起步阶段，Perplexity像很多别的项目一样，使用OpenAI的大模型，然后就被冠上了“套壳”的帽子。

不过，接了GPT-3.5或者GPT-4就完事儿了吗？

首先，Perplexity用的GPT-3.5，是自己微调后的版本，性能得到显著提升，但是费用比GPT-4低，速度也比GPT-4快。

其次，除了GPT，别的大模型他们也用，比如Claude，因为它支持更长的上下文，特别适合用来满足用户上传文档这个需求。

最后，Perplexity知道不能一直依赖OpenAI。所以，他们使用开源大模型进行微调，打造了两款大模型：pplx-7b-online和pplx-70b-online。前者是基于mistral-7b，后者是基于llama2-70b。这两款大模型专门用来处理网上的实时数据。而且，微调的工作也会持续进行，不断提升性能。训练用的数据也是他们自己准备的，高质量、多样化。

估计等开源大模型的性能跟GPT-4全面持平的时候，Perplexity肯定会把开源大模型作为基础，彻底摆脱对OpenAI的依赖。

有了为搜索定制化的大模型还不够，要做好这摊事儿，还需要很强的RAG技术。

所以，Perplexity绝对不是一个套壳项目，他们的技术实力绝对不差。同时，Perplexity也不是那种纯技术的项目，他们知道怎么用技术满足需求。

而且，搜索肯定不会是他们的唯一产品。随着大模型技术的发展，这个团队之后绝对会再拿出更多的新产品。这也是我会持续关注他们的一个原因。

最适合普通人的知识库

Key Takeaway

  • QAnything是一款适合普通用户的知识库产品，支持创建多个知识库，并能处理文档和网页内容。
  • QAnything的机器人功能可将知识库以链接形式发布，用于团队协作或AI客服。
  • QAnything在RAG技术上有所创新，采用了Rerank技术（二阶段检索）提升检索精确度。
  • 文章强调了国内厂商在AI应用方面的优势，以及知识库作为用户数据资产的重要性。
  • 知识库的未来发展方向包括根据语义进行文本切割，以及支持多模态内容。

Full Content

今天给大家介绍一款普通用户也能马上上手的知识库。

我有一个感觉：国内厂商要开始卷知识库类产品了。现在大体上有两个阵营在蠢蠢欲动。

一个是模型厂商阵营，像月之暗面、Minimax。在研发大模型的同时，他们一定会围绕知识库去打造面向C端的产品。我打个比方你就理解了：

如果AI是【水】的话，那么今天每家都有的Chatbot就是【瓶装水】。这些【瓶装水】已经满大街都在卖，价值肯定越来越低。即使是头部的ChatGPT也会面临用户流失的压力。

所以，围绕AI这个【水】去开发新品类，一定是各家模型厂商必须要做的事儿。而知识库已经是公认的刚需，C端有需求，B端也有市场，而且在Chatbot上做加法，逻辑上是通的，所以大家一定会往这个方向走。

另一个阵营是传统互联网厂商。原因也很简单。

知识库里装的是什么？用户数据资产。而且是用户最重视的数据资产。这些数据资产落在哪个平台，用户就会留存或者迁移去哪边。所以，谁能利用好大模型技术，先打造出性能最好、最容易上手的知识库产品，谁在这一轮AI竞赛中就能守住地盘，甚至去挖别家的墙角。

传统互联网厂商阵营中，我看到走得比较快的，是网易。这家公司一直都很有做产品的基因。本期要给大家推荐的产品叫【QAnything】，我前两天在知识星球里推荐过。

我之前介绍了很多知识库的项目，实话实说，都需要一定的动手能力才能跑起来，其实不太适合普通用户。

我觉得对大家来说，在这个AI时代，先上手，先用起来，比什么都重要。

QAnything就是特别适合普通用户的产品。产品很直观，而且比很多老外的产品都做得更好。

就拿知识库的创建和选择来说吧。

很多同类型产品，要么是只有一个大知识库，要么虽然可以创建多个知识库，但只能选定一个知识库，只能针对一个知识库内的文档进行对话。

QAnything支持创建多个知识库。所以，你可以像使用文件夹一样来管理资料。比如我就创建了三个知识库：

  • 一个放大模型相关的论文，都是PDF文档；
  • 一个放我newtype公众号的文章，其实也就是我视频的脚本；
  • 一个放平时看到的、想保存的各种文章。

如果要选择不同的知识库，非常简单，就点几下就好了，看一眼就明白什么意思。

在做应用方面，你永远可以相信国内厂商。

我特别喜欢QAnything的Slogan：万物皆可问。这个就是技术趋势。

目前可以提问的对象是文档和网页。等之后大模型多模态速度提升、费用下降之后，视频肯定也会支持。

上传文档的功能我就不多说了。大家可以多试试【添加网址】功能。我把平时看到不错的公众号文章都传了一份进去。因为我发现，经常会想不起来在哪篇文章里看到的一个观点。那现在有了知识库，我直接问AI就好了，相当于模糊查询，还挺实用的。

在知识库的基础上，有道团队还加了机器人功能。你可以给机器人设定一些Prompt，然后关联上知识库，最后以链接的形式发布出去。

在我看来，机器人功能有两个作用。

第一，把链接分享给同事。比如，你可以安排一个实习生小朋友定期把团队文档上传到知识库里，然后以机器人的形态对内发布。这对团队来说肯定有帮助。

第二，把链接分享给客户。比如，可以把链接挂到公众号菜单栏里，当作AI客服来用。

之所以会有这个想法，是因为我看到，在知识库里，除了上传文档集，还可以上传问答集，也就是大家最熟悉的QA。比如公司介绍、产品介绍等等。这些信息，每个公司肯定有有现成的，传上去就能直接用起来了。一个简单的AI客服就搞定了。

我这几天使用下来发现，QAnything的精确度还不错。有道团队对RAG技术还是有关注的，他们使用了Rerank技术，也就是官方所说的【二阶段检索】。

Rerank并不是什么特别高深的技术。大概半年前，我看油管就有大佬在介绍，并且分享了代码。它的原理很简单：

根据用户的提问，我们从向量数据库里筛选出50个相关的文本块。但是，肯定不能把这50个全都输入给大模型，一方面是上下文长度有限制，另一方面是这50个文本块中肯定有些相关性还差一些。这时就进入Rerank阶段，对这50个文本块进行相关性排序，比如，我们设定了把相关性最高的3个或者5个给到大模型。

这么一套操作下来，由于添加了Rerank步骤，那检索的精确度肯定会提升。不过代价也是有的，那就是速度下降。

RAG技术里有很多门道。刚才说的是检索阶段的Rerank。在前边的文本切割阶段也有很大提升的空间。

传统的做法，不管你怎么设定文本块的大小，其实都不是最合适的。最理想的做法，是根据语义做切割，这样才不会把上下文意思给硬生生切断了。那谁来做这个判断呢？当然是大模型啦。

像这些新发现、新技术，国外一直在出。希望咱们国内厂商也能保持高度关注。我发现，国内对技术的了解落后非常多。这种信息差比技术差还大。

OK，以上就是本期内容。接下来，我会多介绍一些门槛不那么高的产品，让更多人都能快速用起来。大家如果有问题的话，可以来知识星球找我。咱们下期见！

问答引擎，本地部署

Key Takeaway

  • 问答引擎是搜索引擎的下一个形态，能直接提供组织好的内容而非网页链接。
  • LLocalSearch是一个开源项目，允许用户在本地部署问答引擎，并可联网搜索。
  • LLocalSearch的基本逻辑是：本地大模型理解问题 -> 转换为搜索关键词 -> 搜索相关资料并存入本地向量数据库 -> 结合问题和资料推理并输出答案。
  • 部署LLocalSearch需要Ollama和Docker，并下载Function Calling模型和嵌入模型。
  • LLocalSearch目前仍处于早期阶段，但提供了本地化问答引擎的潜力。

Full Content

搜索引擎的下一个形态，肯定是问答引擎。

因为我们要的不是网页，而是网页里的内容。

要把网页这个壳剥开，把里边的一部分内容提取出来，反馈给用户，只有AI能办到。

我在年初就订阅了Perplexity，它是目前最好的问答引擎。年度订阅是200美金，有点肉痛，但是真的能完全替代Google。不过最近我还是把它给退订了。因为这家公司宣布，要在搜索结果中植入广告。

我对他们真挺失望的：以为能走出一条不一样的路，结果还是回去卖广告。而且这次有AI的帮助，鬼知道会搞出什么套路来。

不过，幸运的是，咱们很快就会有替代品了。

LLocalSearch是一个开源项目。目前可以用，但还不完善。如果你想尝鲜的话，可以来试试。

就像名字里说的那样，LLocalSearch能让你把一整套问答引擎都部署在自己的电脑上。

这边有一个概念我得先澄清一下：在本地运行，不代表不能联网。

这个开源项目，它完全是用我PC的算力，用我在PC上安装的大模型。但同时它具备联网的能力，这样才能帮咱们查资料，对吧？所以这是不矛盾的。

我先给你看一下效果，再说怎么安装。

左边是产品的样子，右边是资源的使用情况。

因为我开着OBS在录制，所以GPU的使用会比较高。如果没OBS影响的话，主要消耗的是内存。

LLocalSearch的基本逻辑是：

当你提出一个问题，本地大模型会先理解你的意思，然后把问题转换成适合拿去搜索的一组关键词。

接着，它会帮你去网上搜索所有相关资料，把找到的资料都放到本地向量数据库里，这边用的是Chroma DB。

最后，再把问题和资料结合起来做推理，输出最终答案。

在前一个问题的基础上，你可以继续追问。

如果你对整个处理过程不放心，可以点击右上角的按钮，把每个步骤都展开。

如果你也想安装，去GitHub上搜这个名字就能找到：LLocalSearch。我在知识星球里也发过链接，已经加入的小伙伴可以自取。

在安装项目之前，确保你已经安装好Ollama和Docker这两款软件——跑大模型需要Ollama，运行这个项目需要Docker。

安装好之后，通过Ollama去下载这两个模型：

一个是knoopx / hermes-2-pro-mistral，它会负责Function Calling。你可以简单理解为就是调用各种工具、帮你干活的。

一个是nomic-embed-text，嵌入模型，拥有比较大的上下文窗口。

当软件和模型都下载、安装好了，就可以去把项目克隆到本地。然后通过cd命令进入项目的文件夹，运行docker-compose up这行命令，就会自动安装了。

最后，如果一切顺利的话，打开localhost:3000这个本地链接，就可以正常使用了。

目前LLocalSearch还比较糙，不过大体的框架是有了。我看作者就一个人，是个德国小哥。你如果想支持这个项目的话，可以到GitHub上Sponsor他。一个月5美金、15美金都行。如果你是大佬、愿意赞助800美金的话，德国小哥就能买一块新显卡了——这不比你给那些女主播刷火箭有功德多了。

最后，如果你还没用过问答引擎，也不想搞这么麻烦去本地部署一个的话，可以试试国产的，比如360AI搜索和秘塔AI搜索。还是那句话：

先用起来，比什么都重要。

OK，以上就是本期内容。有什么问题想问我的话，来知识星球找我。那咱们下期见！