AIPC

Key Takeaway

• 在本地运行大模型具有运行稳定、速度快、免费、模型选择丰富和使用自由等优势。
• 本地运行大模型需要一定的硬件配置，最低建议16G内存和4G显存，理想配置为32G内存和24G显存（或更高）。
• 不同的AI任务（图片、音频、文字生成）对硬件配置有不同的要求。
• LM Studio等工具可以帮助用户直观地了解本地硬件对大模型的支持情况。
• 随着AI普及，端侧AI将成为趋势，AI PC和AI手机将上市。

Full Content

在自己的电脑上跑大模型，到底需要多高的配置？

很多小伙伴私信问我这个问题。本期视频我就统一给大家一个答案。不过在此之前，有个问题先得回答一下：

ChatGPT用得好好的，为什么要在本地电脑上折腾这些开源大模型或者开源项目？

很简单，三个原因：

第一、运行更稳，速度更快，还不花钱。

过去一年，订阅ChatGPT Plus，以及使用API的费用加在一起，我应该给OpenAI贡献了大几百美金。但是，我对他们的服务器是非常不满意的，经常掉链子。

开始我还以为是我的代码有问题，或者是我网络有问题。后来我换个时间段测试，居然跑通了。其实就是全球用户涌入，服务器根本扛不住——这个就是云端的难题。

随着AI越来越普及，不管是哪一家巨头，他们的云端算力都不可能接得住这种规模的需求。从云端走向本地，一定是趋势。所以大家今年就会看到，越来越多的AI PC、AI手机开始上市。

因为我自己有这个趋势判断，所以才一直在视频里、在知识星球里分享端侧AI的内容。作为用户，我的实际体验是：

在自己电脑上跑大模型和AI应用，真的太舒服了。不会有服务器连不上之类的闹心事儿，速度飞起——这才是自然语言交互该有的感觉。而且，我再也不用心疼token的费用了。

第二、模型更丰富，选择更多。

像OpenAI这种巨头的思路是，造出最牛的大模型，足够通用，然后去满足各个垂直领域和场景的需求。

但是站在实用的角度，其实我们并不需要那么大的模型。比如，我就想让AI帮我写写代码，或者上网搜点资料，犯不着拿大炮打蚊子，而且还消耗那么多的能源。

开源的好处就在这里。你去Hugging Face、GitHub看看，真的是百花齐放，什么项目都有。不等那些巨头和上市公司，大家自己动手、丰衣足食。

我有一种回到互联网初期的感觉。

第三、特别自由。

我的电脑平时都挂着Ollama，前端开着AnythingLLM。想到什么了，就随时问AI。

我还储备了各种Python脚本，有需要的时候，运行一下就搞定。

本地跑开源大模型，不需要联网，但不代表它不能联网。我完全可以让它接入网络，把资料都拿回本地来处理。

我现在都是在台式机上跑大模型，感觉还不够自由。下半年，我应该会搞一台搭载英特尔最新CPU的笔记本。这种新的CPU架构里边包含了NPU，可以加速AI本地推理。我特别好奇它到底能起到多少作用。

OK，以上就是我作为一个重度用户所认为的，在本地跑大模型的好处。回到本期主题：硬件配置。

根据用途来分的话，大概有这几种：

第一、生成图片。比如跑Stable Diffusion。最低配置，要求16G内存和4G显存。建议你最好是有32G内存、12G显存，否则真的很难受。

第二、生成音频。比如语音克隆、生成音乐，至少需要8G显存。理想情况下，有个24G显存就能跑比较大的模型了。

第三、生成文字。也就是各种Chatbot。最少需要8G内存和4G显存。如果你想运行跟GPT-3.5差不多性能的开源大模型的话，最好准备32G内存和24G显存。

为了方便大家理解，我来简单总结一下：

最低配置：3060显卡，16G内存。比这个还低的话，我真就不建议你在本地跑大模型了。

理想配置：4090显卡，32G内存。我公司的PC就是这样的配置，专门给创意同事生成各种图片用的。

CPU的话，英特尔i5-12600K起步吧。

至于我每次给大家演示用的PC，我之前在知识星球里说过，都是好几年前的配置了：

CPU是i7-9700K，内存是两根8G的DDR4。

最开始是用核显，用了一段时间发现，用OBS直播不太行。实不相瞒，那时我还是B站游戏区的UP主，攒了台机子就是为了直播和剪视频。实际用起来发现，还是得上GPU推流。当时显卡特别贵，只能买得起3060。

最近为了更好地跑大模型，我又花了不到500块钱买了两根同样的内存条，把容量扩展到了32G。终于可以跑更大一个级别的模型了。

最后，告诉大家一个最直观的方法。你去下载一个LM Studio。这款软件集成度非常高，可以直接在软件内下载大模型，以及运行和对话。

在下载的时候，软件会根据你机子的配置给出建议。比如，哪些模型可以跑，哪些模型肯定没戏。这样你心里就有数了。

那到了使用阶段，你可以拖动右边这个滑块，调整GPU的参与程度。默认设置的话，更多依赖内存，跑起来有点慢。如果把滑块拉到头，把GPU全用起来，速度快了非常多。所以英伟达赚那么多钱，真的是人家的本事，没什么好说的。

OK，以上就是本期内容，关于为什么要在本地跑大模型，以及配置推荐。大家如果想进一步交流，或者有什么问题想问我的话，来知识星球找我。咱们下期见！

Key Takeaway

• Raycast通过其AI插件功能，实现了AI PC/Mac的理想形态，能无缝集成所有软件，并通过自然语言交互进行跨应用调度。
• Raycast的AI Extensions提供自然语言交互、跨应用调度（通过Preset）和AI对话功能。
• 用户可以通过Raycast的AI插件，直接控制终端、预定会议、管理任务等，无需打开具体应用。
• Raycast的AI对话功能支持多种主流大模型，并可通过快捷键提升使用效率。
• 文章强调了Raycast在提升效率和专注度方面的优势，并认为其在AI PC/Mac领域具有宝贵的先发优势。

Full Content

苹果、微软没做到的事儿，这家公司做到了。这也许是现阶段AI PC、AI Mac该有的样子。

我举个最简单的例子：帮我打开三个Tab，分别是YouTube、X和Medium。

在Chrome浏览器里打开三个指定网页，很简单就完成了。

再来一个：在Video Production下创建新任务“完成剪辑”，截止时间周三晚上8点。

你看，它会先去todoist里边获取我的项目列表，然后在Video Production这个项目下边创建任务，并且设定截止时间。

最后再来一个：在桌面创建一个名为123的文件夹。

看吧，很轻松就搞定了。

我刚才演示的软件叫作Raycast。它是Mac上的一款效率工具。我用了一段时间之后，发现它不只是一个工具，而是一个Hub、一个枢纽，去调度所有软件。

比如，要搜本地文档的话，就选择Search Files，然后输入关键词。它会特别顺滑地列出相关文档。

要用Google搜索的话，就选择Search Google，回车之后输入关键词就好。它会自动打开一个新的网页。

要用Perplexity搜索的话，就选择Ask Perplexity。它会打开一个对话框。除了输入问题之外，还可以选择搜索的范围，就跟官网一样。

要翻译的话，就选择Translate。如果只是要了解个意思的话，那用它基本就足够了。

要关闭进程的话，就选择Kill Progress。它会列出目前所有正在运行的进程。你可以选择按CPU占用排序，或者按内存占用排序。

要设置桌面布局的话，就选择Window Layout。你可以让几个软件按照你的意愿在屏幕排列。

要查看自己的行程安排的话，就选择My Schedule，它会把日历里的行程都列出来。

要给现在听的这首歌加个“喜爱”的话，就选择Favorite Track，它会操作Apple Music加星。

这些功能，一部分通过Raycast内置的核心功能实现，比如基础搜索、系统操作等等高频场景；另一部分则通过插件实现，目的是去满足长尾需求。

今年年初，Raycast推出AI Extentions。虽然还只是Beta版，但是，这几十个AI插件已经实现了三个功能：

第一，自然语言交互。

视频开头的例子大家都看到了。现在，你只需要@某个AI插件，告诉它你要什么，它就会帮你去操作对应的软件。

一个典型例子是终端。我只需要@shell，然后输入命令，它就会帮我调用终端去执行，并且把结果拿过来显示。

比如，输入ollama list这条命令，它会列出我已经下载好的模型。而且，这个AI插件还懂得做个表格来展现结果。

第二，跨应用调度。

举个例子：帮我预定一个视频会议，明天中午12点，主题：新选题讨论。

AI插件会调用两个软件：一是Zoom，因为是视频会议，所以它得帮我创建一个会议链接；二是Calendar，它得帮我把这个会给Book上。

这种跨应用调度不需要你一个一个去安排，可以通过Preset实现。你可以自己创建Preset，也可以去官网下载别人的。

比如我刚才演示的那个，就是现成的Calendar Assistant。它的结构很简单：一是Instructions，就是你要干吗；二是都需要哪些AI参与，比如Calendar和Zoom，以及用什么模型。

官网上已经有几十个Preset了，大家感兴趣可以去翻一翻，我就不多演示了。

第三，AI对话。

这个功能最早是一年前推出的。只不过当时支持的模型很少，只有GPT-3.5和GPT-4。后来慢慢添加了Claude、Mistral等知名模型。

到了今天，Raycast的AI对话已经覆盖市面上的主流模型。我个人最常用的有两个——Gemini 2.0 Flash和Sonar Reasoning Pro。有推理，有联网搜索，很舒服。而且我还给它设了个快捷键，用起来更顺手了。

说真的，自从安装了Raycast之后，我打开ChatWise的次数都变少了。因为基本功能重合了，人家用起来更轻便，特别适合日常讨论几句的场景。