huangyihe@newtype.pro ~ $

问答引擎

Perplexica：部署完全属于你的问答引擎

Key Takeaway

  • Perplexica是一款开源的问答引擎，旨在提供Perplexity的本地部署替代方案，具有高度自由度。
  • Perplexica支持云端和本地模型，可通过OpenAI、Anthropic、Grok的API调用，或通过Ollama调用开源大模型。
  • 部署Perplexica需要Docker，并可通过docker compose up命令进行安装。
  • Perplexica的UI与Perplexity相似，支持Copilot功能，能根据提问生成多个搜索关键词以提升效果。
  • Perplexica还支持云端部署，用户可在RepoCloud等平台一键部署，实现个人专属的问答引擎。

Full Content

我一直想在本地部署一套问答引擎。

在我构想的AI工作系统当中，问答引擎是基础。但是，现在做得最好的Perplexity，它对网络环境挺挑的。想用的时候突然用不了，就很烦。

所以很多时候不是我不想为SaaS付费，而是这客观条件逼得我只能走本地部署这条路。

好在这类型的项目挺多的。我之前就介绍过一款，叫LLocalSearch。折腾了一圈之后，我目前最满意的是Perplexica。

从名字就能看出来，这款产品就是照着Perplexity抄的。放在一起对比，UI几乎一模一样。

我之所以对它满意，主要原因是，它的自由度很高。

在模型方面，你可以走云端，通过OpenAI、Anthropic或者Grok的API去调用相应的模型。你也可以走本地，通过Ollama去调用开源大模型。

我把之前安装的都删了，重新走一遍，大家就明白了。

先把Docker打开，咱们一会儿需要使用。接着老规矩，通过git clone把项目下载下来。然后把config这个文件前边的sample去掉。

对大模型的配置，可以在config里进行。比如填上OpenAI的API Key，或者Ollama的地址。如果你没有改端口的话，那就是默认的11434。要注意：不是填localhost:11434，而是host.docker.internal:11434，因为咱们是在docker里运行。

这边没填也没关系，等全部安装完成之后，可以在应用里边的设置页面进行配置。

最后，使用docker compose up这行命令，就会自动下载、安装需要的所有东西。等个几分钟，就可以通过localhost:3000这个本地页面使用了。

咱们来测试一下效果。先试试GPT-4o。可以看到，大概四到五秒钟能给出结果，还是很不错的。回答的来源，还有追问，都跟Perplexity一样。

如果打开Copilot选项，那么AI会根据你的提问去多生成几个，一起拿去搜，这样能提升整体效果。

接着试试开源模型的效果。语言模型用qwen2，嵌入模型用nomic。第一次启动有点慢，需要加载一下。后边明显快多了。

前边说了，我喜欢Perplexica的主要原因是它的自由度。这个自由度不仅限于模型。

在部署方面，除了本地部署，它还支持云端部署。在官方GitHub页面下方，就有一键部署的按钮。

它应该是跟RepoCloud有合作。你在上边注册之后，会给3美金的免费额度。这时只需要搜索项目名称，找到Perplexica；然后填写OpenAI API Key，以及用户名和密码；最后等上大概5分钟，项目就在云端部署好了。

可以看到，RepoCloud给了一个链接，我们可以在桌面端、移动端随意使用。比如我在iPad上打开，用刚才设置的用户名和密码登陆，就会看到同样的界面。运行起来，速度还OK。RepoCloud会根据你的使用量auto-scaling。

我发现，这种个人专属的感觉特别棒。强烈建议大家试试。不管你是自己使用还是团队共用，都可以。

OK，以上就是本期内容。接下来我准备详细研究一下Perplexica和它所使用的搜索引擎SearXNG。有新发现的话，我会分享到newtype社群。还没加入的小伙伴抓紧加入吧。那咱们下期见！

Perplexity使用指南

Key Takeaway

  • Perplexity是目前最好的问答引擎，其回答质量和使用体验优于ChatGPT等产品。
  • Perplexity作为知识的起点，强调建立信任（清晰来源标注）、帮助用户提问（扩展搜索关键词、引导提问）和提供一站式服务（Pages功能）。
  • Pages功能将搜索与内容构思相结合，能辅助用户生成文章大纲和支撑信息。
  • Perplexity通过微调GPT模型、使用其他大模型和自研开源模型，并结合强大的RAG技术，实现了其问答引擎的领先地位。
  • Perplexity还提供了Focus功能（特定搜索方向）和Space功能（知识库），进一步扩展了其应用场景。

Full Content

ChatGPT最近推出了搜索功能，不过我还是会继续使用Perplexity。因为作为问答引擎，或者说下一代的搜索引擎，Perplexity依旧拥有最好的回答质量和使用体验。要做好问答引擎，需要大量领域知识，还涉及到工程问题，不是说你有很强的模型就能搞得定的。

至于OpenAI，说实话，我不太看好他们。之前我在社群内还吐槽过，觉得现在的OpenAI就像黄磊一样，样样通、样样松。他们想做的东西太多了：

既想做基础模型研发，又想搞应用，还要做应用商城和生态。推出的一系列功能都是点到为止，没有扎实做透。真要用来严肃生产，还是有点距离的。

所以在过去一年，我一直坚定选择Perplexity和Claude的组合。它俩实实在在有帮到我，帮我赚到钱。本期视频算是Perplexity的教学。如果你还没用过，或者还没订阅的话，一定往下看。

哈喽大家好，欢迎来到我的频道。谦虚地说，我是国内少数几个能把关于AI的Why和How讲明白的博主。记得点一波关注。只要有一个视频你看进去了，就赚大了。如果想链接我，就来newtype社群。已经有500多位小伙伴付费加入啦！

回到今天的主题：Perplexity。

今天AI应用有两个非常确定的赛道：一是搜索，二是知识库。

搜索就不用我多说了。大模型出现之后，通用搜索和领域搜索都出现了一堆新产品，肯定能跑出独角兽。知识库也非常火。RAG as Service，打造Knowledge Assistant，这个进程一直在加速。

你发现没有：不管是搜索还是知识库，都是关于知识，都是关于知识的发现和流动。所以之前Perplexity在界面上放上一行字：Where knowledge begins，知识的起点。可惜现在改成了“释放你的好奇心”，一下就弱爆了。

当你开始用Perplexity就会有这样的感觉：问答引擎并不等于大模型加搜索，真没那么简单。

第一，作为知识的起点，它需要建立信任，所以它的行为和结果一定是严谨的、是规矩的，就像写论文一样：

所有来源都有清晰标注，并且你可以很方便去追溯；所生成的结果也是逻辑清晰的、简洁的，很好理解。

第二，作为知识的起点，它需要帮助用户提出问题。Perplexity的创始人在采访里说过一个观点，我印象非常深：

他们最大的敌人并不是Google之类的巨头，而是用户不会提问这个无奈的事实。

大部分用户压根就没想明白；即使想明白了，要准确表达又是一个门槛。

所以Perplexity加强了产品上的引导。比如，当用户输入完问题之后，如果不是太具体，他们会给出几个选项，试探一下用户的真实意图。再比如，前段时间他们还加上了自动补齐的功能。

第三，作为知识的起点，它还需要照顾到后续的旅程——不能只是一个起点，还应该尽可能成为一站式的存在。

后续建议提问这个功能很简单，但是很实用。毕竟这么多个问题，总会有一个问到点上的。

前段时间推出的Page功能非常有想法。从一个问题出发，不断提问、不断扩展逻辑，最终形成一个类似文章大纲加上支撑信息的东西。

如果需求不复杂的话，比如你就是想要找个旅游攻略之类的，那么这个成品基本可以拿去直接用。如果是要写篇文章的话，那这个基本就完成了最开始的构思——文章的整体逻辑有了，下边的支撑也有了。

我认为，Page功能就是把我们习惯的边搜索、边构思的过程具像化了、产品化了。再打磨下去，也许有一天真的能实现直接成稿的效果。

所以，当你理解了Perplexity的这些功能之后，再去对比带搜索的大模型产品就会发现，这俩真不是一回事，有点两个物种的感觉。我强烈认为，在搜索的基础上加AI，和在AI的基础上加搜索，是两种产品形态。甚至有一段时间，我退订ChatGPT之后，就是用Perplexity来替代。因为它也有直接生成文字的功能。

很多人可能没怎么注意到Focus这个按钮。点开之后，你可以设置特定的搜索方向。比如，专门搜YouTube或者学术论文等等。其中有一个Writing选项，就是不搜索，基于模型现有的知识直接回答用户问题。要更改模型的话，就到设置里去选择。除了GPT系列，还可以选择Claude系列。最先进的模型这里都有。

通过互联网，我们能搜到的知识大多数公开的、通用的知识。还有很多知识属于领域知识，网上没有的。为了覆盖这种情况，前段时间Perplexity上线了Space功能，也就是知识库。用户可以上传文档，让模型根据文档做回答。

知识库对Perplexity来说是手到擒来的事儿。因为问答引擎本来就需要很强的RAG能力。顺着这个方向，我特别希望他们把文档管理体系给补上，包括分层级的文件夹、标签。让用户逐渐把私人文档存进去，完成数据资产的迁移，这个是入口级产品必须要做的事儿。

Perplexity还有一些不是那么核心的功能，比如发现页面。你可以理解为就是Google、百度都有的新闻推荐页面。这个目前看没啥意思，等看以后会不会有什么创新吧。

OK，以上就是本期内容。大家看完了记得去试试这款目前最好的问答引擎。那咱们下期见！

套壳之王：Perplexity

Key Takeaway

  • Perplexity是一款现象级的AI原生问答引擎，有望替代传统搜索引擎，其核心价值在于直接提供组织好的答案而非网页链接。
  • Perplexity通过“Copilot”模式扩展搜索关键词，并提供“Focus”选项进行特定类型搜索，提升用户体验。
  • Perplexity强调答案的严谨性，提供清晰的来源标注，并支持多轮交互和“Collection”功能。
  • 尽管被质疑“套壳”，但Perplexity通过微调GPT模型、使用其他大模型以及自研开源模型，展现了其技术实力。
  • Perplexity在搜索基础上融入了强大的RAG技术，并具备知识库功能，未来有望推出更多产品。

Full Content

我最近看到一句非常霸气的话：

拥有十万用户的套壳产品，比拥有自有模型却没有用户更有意义。

如果你身边有投大模型或者做大模型的小伙伴，记得把这句话转给他。

这么拉仇恨的人是Perplexity的CEO。他们刚完成了B轮融资，估值5.2亿美元。跟投的公司包括英伟达，以及贝佐斯这样的大佬。

Perplexity的产品是一款现象级的AI原生应用，有可能替代传统搜索引擎的问答引擎。

什么是问答引擎？

截至目前的搜索引擎返回的都是网页。但是，网页是我们想要的结果吗？我们要的是网页里包含的内容。大模型的价值就体现在这里了：

它会帮我们把搜到的所有网页都过一遍，把相关的内容都抓出来，然后组织逻辑，最终把结果一步到位地呈现出来。

这是传统搜索引擎技术做不到的。这也是为什么，搜索是一个确定的赛道，必然会被大模型技术彻底改造。

过去一年，我体验了好多AI应用。但是，是能让我持续使用、不得不用的，就两个：

  1. GitHub Copilot
  2. Perplexity AI

我强烈建议大家试一试Perplexity。它是对每一个人都有帮助的AI应用。用过之后，你大概率就不再需要Google了，更别提什么百度。

我用网页版做个演示。这款产品还有手机和iPad版本，非常方便。

“Copilot”打开之后，它会提供更准确、更深入的答案，代价是稍微慢一点点。免费版好像是每四个小时有5个额度，订阅版每天有300额度，基本够用。

“Focus”选项很好理解，可以让大模型聚集搜某个类型，比如：学术论文，Reddit讨论，或者YouTube视频。如果选择Writing的话，那么就不会联网，相当于直接用大模型的效果。

Perplexity订阅价格是每个月20刀。从实用角度来看，我建议大家可以不订阅ChatGPT Plus，但是要订阅这个。毕竟搜索是高频需求。Perplexity的搜索比ChatGPT强。而且，如果你需要GPT-4直接生成的话，选Writing模式就行。

我们来个简单的。比如，搜“GitHub Copilot”。大模型会先理解问题或者关键词，然后基于理解对它们做扩展。

由于我们只输入了“GitHub Copilot”，比较泛，大模型判断，用户此时大概率是想做个初步了解，比如它是什么、有什么用途、有什么优缺点等等。于是，它帮我们做了一系列扩展，再拿去搜索，找到一堆来源，最后给出答案。

有了第一次交互之后，Perplexity会引导用户，要么查询相关问题，要么继续追问。

从一个问题或者关键词出发展开的多轮交互，就形成了一个合集，存档在Library里，相当于历史记录，以后可以再来查询或者继续提问。这也是我非常喜欢这个产品的一个点。

“Collection”是最新功能。你可以针对某一个主题，通过Prompt的形式做更细致的设定，并且可以共享给其他小伙伴。

至于Discover，就是官方推的热点，无聊的时候可以看看。

Perplexity是公认的用户体验最好、结果精确度最高的AI问答引擎。

先说用户体验。

“以用户为中心”对他们来说不是一句口号，人家是真的信这个。我举两个例子。

第一、Perplexity为什么要帮用户先去扩展搜索关键词？

因为，绝大多数用户不懂得提问。

就像前边演示的那样，我只给了一个关键词。如果是传统搜索引擎的话，由于用户输入太少或者太不准确，往往结果不会太好。

那么，是用户的错吗？

用户没有错。是你技术的问题，是你产品设计的问题。这个就是做应用要面对现实情况。

多说一句，我觉得这一轮大模型技术爆发，带来的不是人机之间的自然语言交互，而是意图交互。有很多项目都在朝着这个方向走了，就看谁先跑出来。回到正题。

第二、Perplexity已经提供最终答案了，为什么要把来源列出来？

因为，用户总是会担心。

既担心你的答案的权威性，也担心大模型的幻觉会不会发作。

尤其是答案里要是有些观点跟我的预判不一致的话，我肯定会把来源的网页或者视频看一遍。

Perplexity是做产品的，技术只是实现的手段。但并不代表他们没技术。

他们CEO之所以会说开头那句拉仇恨的话，就是因为在起步阶段，Perplexity像很多别的项目一样，使用OpenAI的大模型，然后就被冠上了“套壳”的帽子。

不过，接了GPT-3.5或者GPT-4就完事儿了吗？

首先，Perplexity用的GPT-3.5，是自己微调后的版本，性能得到显著提升，但是费用比GPT-4低，速度也比GPT-4快。

其次，除了GPT，别的大模型他们也用，比如Claude，因为它支持更长的上下文，特别适合用来满足用户上传文档这个需求。

最后，Perplexity知道不能一直依赖OpenAI。所以，他们使用开源大模型进行微调，打造了两款大模型：pplx-7b-online和pplx-70b-online。前者是基于mistral-7b，后者是基于llama2-70b。这两款大模型专门用来处理网上的实时数据。而且，微调的工作也会持续进行，不断提升性能。训练用的数据也是他们自己准备的，高质量、多样化。

估计等开源大模型的性能跟GPT-4全面持平的时候，Perplexity肯定会把开源大模型作为基础，彻底摆脱对OpenAI的依赖。

有了为搜索定制化的大模型还不够，要做好这摊事儿，还需要很强的RAG技术。

所以，Perplexity绝对不是一个套壳项目，他们的技术实力绝对不差。同时，Perplexity也不是那种纯技术的项目，他们知道怎么用技术满足需求。

而且，搜索肯定不会是他们的唯一产品。随着大模型技术的发展，这个团队之后绝对会再拿出更多的新产品。这也是我会持续关注他们的一个原因。

秘塔AI：加速知识流动

Key Takeaway

  • 秘塔AI搜索的专题功能是其核心更新，提供了知识库功能，支持多人协作和API调用。
  • 知识库的创建和分享加速了知识的流动，实现了“RAG as Service”。
  • AI要变得有用，需补充领域知识和领域经验，秘塔通过专题和工作流来解决。
  • 专题功能通过整合搜索结果、文档、网址和文章，强化了AI的输入能力。
  • 秘塔通过概念图、术语表等功能强化了AI的输出，提升了知识库的可用性。
  • 问答引擎的未来形态将是更精细化的知识流动和用户与AI的深度协作。

Full Content

我给自己的博客加了一个AI客服。现在，你有任何关于AI相关的问题都可以问它。比如，什么是过度拟合？大模型是如何预测下一个Token的？或者，大模型能像人类一样思考吗？

在这个AI客服的背后，是一个超大的知识库，有将近2000篇专业论文和文章。而知识库的后边，是秘塔的RAG技术。

前些天秘塔AI搜索上线了专题功能，其实就是大家非常需要的知识库功能。

用户可以把文档、网页、文章，甚至秘塔的搜索结果全都保存进知识库。秘塔会对这些资料做数据清洗、解析等等。然后大模型再根据资料回答用户的问题。

秘塔的这次更新，我个人最最喜欢的，是分享和API两大功能。

在专题分享设置中，如果你把“可编辑”权限打开，那么被分享的人也可以上传资料到专题的知识库当中。这意味着可以多人运营同一个专题。

比如，办公场景，团队里的每个人都可以及时更新专题知识库，让AI跟上你们的业务进度。在学术场景，一起搞研究的小伙伴，不管是谁发现了有价值的论文，都可以上传，特别方便且有用。

至于API功能，它让专题内沉淀的大量宝贵资料可以被应用到更多地方。比如，我开头说的那个包含2000篇专业论文的专题，就是秘塔官方做的。我拿到API信息之后，在Cursor的帮助下，没写一行代码，就是纯对话，不到半小时就把AI客服给做出来了。

这个其实就是国外特别火的RAG as Service。如果你只是一些轻量化的需求，那真的没必要去本地部署那些消耗特别大、调试起来特别复杂的RAG，性价比太低太低了。真的，我自己折腾过之后发现，用人家现成的就挺好。

回过头来再看专题这个功能：创建知识库是把知识引入——Input；分享和API是让知识流出——Output。整个加起来，秘塔其实在做一件事：加速知识的流动。

哈喽大家好，欢迎来到我的频道。谦虚地说，我是国内少数几个能把关于AI的Why和How讲明白的博主。我提供的东西比教程更值钱。记得点一波关注。如果想链接我，就来newtype社群。已经有600位小伙伴付费加入啦！

回到今天的主题：秘塔AI搜索的专题功能。

秘塔是一款问答引擎产品。但是我觉得，它应该不会止步于问答引擎，或者说，问答引擎不应该是它的终极形态。

我之前在社群专属视频里说过，AI要变得有用起来，一定要补上两点：领域知识，和领域经验。

很多知识是非公开的，只在特定领域内流通 ，AI获取不到。或者，它虽然公开，虽然也上网了，但是网上压根搜不着。如果AI接触不到这些领域知识，那么，它就无法在知识层面、信息层面上跟用户同步和对齐，这就没法协作了。

所以，AI需要RAG，需要知识库，把领域知识补上。

再来看领域经验。经验是比知识更加非标准化、私密化的东西。比如你是开足疗店的或者开美容院的，从客户一进门的问候，到引导他选择套餐，所有环节加起来得有几十项的经验，这些都装在老板的脑子里，是最佳处理方式。如果AI接触不到领域经验，那它就只能以一个新人身份、硬着头皮往上顶了。

所以，AI需要Prompt，需要Agent Workflow去对接SOP，把领域经验补上。

从知识和经验的视角看问答引擎，我们会发现，在输出方面，问答引擎已经做得很好了——它给你的不是网页，而是答案。但是在输入端，互联网上的信息只是补充和更新了它原本就具备的通用知识。领域知识和领域经验还是欠缺的。

所以，秘塔做了两件事：

在搜索范围之外，秘塔增加工作流。比如市场营销分析、股票分析等等。这个就是把领域经验传授给AI的初级方式。后续还有很大的迭代空间。

另一个就是最近上线的专题功能。它给AI添加了一个外挂知识库。这个知识库包含四种内容。

一是搜索结果。直接点击问题右边的加号按钮就可以保存进专题。这样一来，很多我们觉得有用的搜索结果就可以分类存起来，以文章的形式进入知识库。这一点秘塔做得很赞。

二是文档。比如PDF、Word。我最经常做法是，先大致扫一遍论文，有个初步的概念，不然都不知道该问啥、聊啥。然后再给到AI，做进一步交流。

三是网址。比如，一些公司的官网上有大量的新闻稿和产品信息。这时候就可以让AI爬取里边的内容作为参考。这算是一种强指向型的指令——让AI别到处瞎搜索了，就看这个网站。

四是文章。通过新建文章，我们可以直接贴文本进去。省去了还得创建一个文档，然后再把文档上传的麻烦。

通过包含这四种内容的外挂知识库，秘塔给AI补充了它原本不具备的领域知识或者说是来自私域的信息，以及需要AI重点关注的来自公域的信息。

上面这些都属于强化输入。而在强化输出方面，秘塔解决了一个头大的问题：

当知识库里的信息越来越多之后、时间久了之后，我们可能会有点懵，拿不准里边都有什么、该问什么。这个时候，概念图、术语表、学习建议、内容概要、建议问题这五个东西就很重要了。

只要你知识库里的资料超过5份，秘塔就会自动帮你生成这些。

它会读取所有资料，把作者和对应的主题建立关联，以概念图的形式呈现。这个对于论文之类的内容特别有用。

如果你有很强的学习需求的话，那么术语表、学习建议和内容概要肯定能帮到你。知识库的体量越大，效果越显著。

如果说原本的搜索加AI是问答引擎1.0形态的话，那么，强化了输入和输出之后的专题就是问答引擎2.0形态。从原来那个更大、更泛的漏斗进阶到了一个更小、更精的漏斗。

那么，问答引擎3.0形态会是什么样子呢？我建议秘塔可以考虑把Perplexity的Page功能加到专题里边。

因为从1.0到2.0，里边的信息经过用户的主动提纯，更加接近生产需求。用户在专题里边进行多轮对话、进行思考的动力会更强。这时候，像Page这种工具就非常适合，因为它是把是把我们习惯的边搜索、边构思的过程具像化了、产品化了。

在类似Page功能的帮助下，用户和AI互相配合，又对信息或者说知识做了一道提纯，形成新的、下一层级的漏斗。这是我觉得问答引擎3.0形态该有的样子，以及背后的逻辑。

从1.0、2.0到3.0，我有一个感觉：知识的流动就像水流一样，从主干分成无数的支流，最终又汇总回主干，完成循环。在这个流动的过程中，像秘塔这样的产品，它们的价值就在于疏导和加速。

OK，以上就是本期视频。大家看完了记得去试试产品。那咱们下期见！

问答引擎，本地部署

Key Takeaway

  • 问答引擎是搜索引擎的下一个形态，能直接提供组织好的内容而非网页链接。
  • LLocalSearch是一个开源项目，允许用户在本地部署问答引擎，并可联网搜索。
  • LLocalSearch的基本逻辑是：本地大模型理解问题 -> 转换为搜索关键词 -> 搜索相关资料并存入本地向量数据库 -> 结合问题和资料推理并输出答案。
  • 部署LLocalSearch需要Ollama和Docker，并下载Function Calling模型和嵌入模型。
  • LLocalSearch目前仍处于早期阶段，但提供了本地化问答引擎的潜力。

Full Content

搜索引擎的下一个形态，肯定是问答引擎。

因为我们要的不是网页，而是网页里的内容。

要把网页这个壳剥开，把里边的一部分内容提取出来，反馈给用户，只有AI能办到。

我在年初就订阅了Perplexity，它是目前最好的问答引擎。年度订阅是200美金，有点肉痛，但是真的能完全替代Google。不过最近我还是把它给退订了。因为这家公司宣布，要在搜索结果中植入广告。

我对他们真挺失望的：以为能走出一条不一样的路，结果还是回去卖广告。而且这次有AI的帮助，鬼知道会搞出什么套路来。

不过，幸运的是，咱们很快就会有替代品了。

LLocalSearch是一个开源项目。目前可以用，但还不完善。如果你想尝鲜的话，可以来试试。

就像名字里说的那样，LLocalSearch能让你把一整套问答引擎都部署在自己的电脑上。

这边有一个概念我得先澄清一下：在本地运行，不代表不能联网。

这个开源项目，它完全是用我PC的算力，用我在PC上安装的大模型。但同时它具备联网的能力，这样才能帮咱们查资料，对吧？所以这是不矛盾的。

我先给你看一下效果，再说怎么安装。

左边是产品的样子，右边是资源的使用情况。

因为我开着OBS在录制，所以GPU的使用会比较高。如果没OBS影响的话，主要消耗的是内存。

LLocalSearch的基本逻辑是：

当你提出一个问题，本地大模型会先理解你的意思，然后把问题转换成适合拿去搜索的一组关键词。

接着，它会帮你去网上搜索所有相关资料，把找到的资料都放到本地向量数据库里，这边用的是Chroma DB。

最后，再把问题和资料结合起来做推理，输出最终答案。

在前一个问题的基础上，你可以继续追问。

如果你对整个处理过程不放心，可以点击右上角的按钮，把每个步骤都展开。

如果你也想安装，去GitHub上搜这个名字就能找到：LLocalSearch。我在知识星球里也发过链接，已经加入的小伙伴可以自取。

在安装项目之前，确保你已经安装好Ollama和Docker这两款软件——跑大模型需要Ollama，运行这个项目需要Docker。

安装好之后，通过Ollama去下载这两个模型：

一个是knoopx / hermes-2-pro-mistral，它会负责Function Calling。你可以简单理解为就是调用各种工具、帮你干活的。

一个是nomic-embed-text，嵌入模型，拥有比较大的上下文窗口。

当软件和模型都下载、安装好了，就可以去把项目克隆到本地。然后通过cd命令进入项目的文件夹，运行docker-compose up这行命令，就会自动安装了。

最后，如果一切顺利的话，打开localhost:3000这个本地链接，就可以正常使用了。

目前LLocalSearch还比较糙，不过大体的框架是有了。我看作者就一个人，是个德国小哥。你如果想支持这个项目的话，可以到GitHub上Sponsor他。一个月5美金、15美金都行。如果你是大佬、愿意赞助800美金的话，德国小哥就能买一块新显卡了——这不比你给那些女主播刷火箭有功德多了。

最后，如果你还没用过问答引擎，也不想搞这么麻烦去本地部署一个的话，可以试试国产的，比如360AI搜索和秘塔AI搜索。还是那句话：

先用起来，比什么都重要。

OK，以上就是本期内容。有什么问题想问我的话，来知识星球找我。那咱们下期见！