GraphRAG低成本运行方法

Key Takeaway

• GraphRAG的成本问题可以通过两种方法解决：使用更便宜的云端模型和使用本地大模型。
• OpenAI发布的GPT-4o mini虽然性能一般，但价格极低，非常适合用于降低GraphRAG的运行成本。
• 微软官方设置的GraphRAG成本较高，但通过更换为GPT-4o mini，可以大幅降低索引创建和查询的费用。
• 本地大模型（如Ollama）运行GraphRAG存在嵌入问题，但可以通过修改相关Python文档来解决。
• 在本地部署时，可以通过设置`OLLAMA_KEEP_ALIVE=-1`环境变量来让模型常驻内存，避免重复加载的延迟。
• 开源社区的贡献（如修改后的embedding文档）对于解决本地部署问题非常有帮助。