0:00
/
0:00

Paid episode

The full episode is only available to paid subscribers of newtype

GraphRAG低成本运行方法

使用更便宜的云端模型和使用本地大模型。

Key Takeaway

  • GraphRAG的成本问题可以通过两种方法解决:使用更便宜的云端模型和使用本地大模型。

  • OpenAI发布的GPT-4o mini虽然性能一般,但价格极低,非常适合用于降低GraphRAG的运行成本。

  • 微软官方设置的GraphRAG成本较高,但通过更换为GPT-4o mini,可以大幅降低索引创建和查询的费用。

  • 本地大模型(如Ollama)运行GraphRAG存在嵌入问题,但可以通过修改相关Python文档来解决。

  • 在本地部署时,可以通过设置`OLLAMA_KEEP_ALIVE=-1`环境变量来让模型常驻内存,避免重复加载的延迟。

  • 开源社区的贡献(如修改后的embedding文档)对于解决本地部署问题非常有帮助。

This post is for paid subscribers