Ollama

Ollama 是一个开源的本地大语言模型运行工具，通过简化的命令行接口帮助用户在本地运行各种开源大模型。

主要功能

模型管理

• 支持快速下载和管理开源模型
• 支持的模型包括 LLaMA、Mistral、DeepSeek、Qwen 等
• 提供丰富的预训练模型库

简单易用

• 开源免费
• 无需复杂配置
• 一行命令即可运行模型

高级功能

• ModelFile 自定义：支持系统提示词、对话模板、温度等参数配置
• 模型量化：降低显存需求
• 多模态支持
• 内置 REPL 交互环境

技术特点

• 自动检测硬件配置并选择最优推理策略
• 支持 GPU/CPU 加速
• 针对本地推理深度优化

适用场景

• 开发和测试
• 需要数据隐私的场景
• 离线环境使用
• 本地 AI 应用开发