HuggingFace
Key Takeaway
- Ollama是本地运行开源大模型的最佳工具，但官方模型对中文支持有限。
- 用户可以通过Hugging Face下载GGUF格式的开源大模型文件，并利用Modelfile和
ollama create命令将其添加到Ollama中。 - GGUF格式是一种压缩格式，能让大模型在消费级终端上运行，但会牺牲精确度。
- 文章详细介绍了将GGUF模型添加到Ollama的步骤，包括创建Modelfile和使用
ollama create命令。 - 强调了Ollama的开放性，使其能够运行任何开源大模型，为用户提供了更多选择。
Full Content
在本地跑开源大模型，目前最好的软件肯定是Ollama。
但是，对于咱们国内的用户来说，Ollama有一个问题：
官方提供的模型，对中文的支持太少了。
目前就一个中文模型，是基于Llama2微调的。如果你在官网搜“Chinese”这个关键词的话，能找到一个它（Llama2-Chinese）。
如果我们想多一些选择，使用那些国产的开源大模型，该怎么搞呢？本期我就介绍一下方法。还是那句话：
超级简单，有手就行。
理论上，除了官方模型列表里的模型，Ollama可以运行任何开源大模型，只要你有模型的GGUF文件。
那么，第一个问题来了：去哪里下载模型文件？
世界上开源大模型最多的地方，肯定是Hugging Face了。我们可以到这个平台直接搜国产大模型，比如：baichuan gguf，或者qwen gguf。通过下拉列表，就可以找到用户上传到GGUF格式文件。
这个GGUF格式，为了方便理解，你可以先简单把它看作是一种压缩格式——虽然这么解释并不严谨，不过无所谓啦。就像JPG压缩的是图片，那GGUF压缩的是大模型。这样一来，才好在咱们这些消费级的终端上跑。
当然，压缩是有代价的，那就是精确度下降。所以列表里才会有一系列不同体积的文件。大家根据自己机器的配置，选一个合适的下载就好。
下载好之后，创建一个txt文档，名字叫Modelfile，里边只需要写上这么一行：
FROM D:\ollama
这个文档的作用就是告诉Ollama该去哪儿找模型文件。比如，在我这边就是，去D盘、ollama文件夹，找到叫这个文件名的模型文件。
最后一步，打开终端，输入这一行命令：
ollama create
我来解释一下这行命令的意思。其实大家不用紧张，觉得这是命令什么的，肯定看不懂——你就把它当成是英语的阅读理解嘛：
ollama create，很好理解，就是让ollama去创建新的模型文件。
那么，创建好的模型该叫什么名字呢？就是后边跟着的名字，随你设定。
Ollama肯定不能凭空创建出一个模型文件，这就需要使用我们之前下载好的GGUF文件。这时候，我们告诉它，去读取刚才创建的txt文档，里边有GGUF文件的地址。
这样一来，Ollama就知道该从哪里找到大模型，然后创建一个叫什么名字的模型文件了。
这行命令运行之后，稍等个两三分钟就搞定了。
我们在终端里输入：ollama list。这个命令会列出目前你已经拥有的模型。这时我们看到，刚才导入的模型已经存在了。
打开Open WebUI，在模型选择的下拉列表里，同样也能看到最新的模型。
OK，以上就是让Ollama添加任意开源大模型的方法。我刚才下载的那个模型版本，中文的效果不一定好，只是为了演示这个方法。大家可以去Hugging Face或者国内的模型社区下载各种GGUF格式的中文大模型，然后找到最适合自己的版本。
本期内容就这些。大家如果有疑问，或者想进一步交流的话，到知识星球来找我。咱们下期见！