Ollama是一个用于在本地计算机上运行大型语言模型的命令行工具允许用户下载并本地运行像Llama2、CodeLlama和其他模型并支持自定义和创建自己的模型。该免费开源的项目目前支持macOS和Linux操作系统未来还将支持Windows系统????。
此外Ollama还提供了官方的Docker镜像由此使用Docker容器部署大型语言模型变得更加简单确保所有与这些模型的交互都在本地进行无需将私有数据发送到第三方服务。Ollama在macOS和Linux上支持GPU加速并提供了简单的命令行界面（CLI）以及用于与应用程序交互的RESTAPI??。
该工具对于需要在本地机器上运行和实验大语言模型的开发人员或研究人员来说特别有用无需依赖外部云服务。
Ollama支持的模型
Ollma提供一个模型库用户可以自行选择安装想要运行的模型目前支持40+的模型还在持续增加中以下是可以下载的开源模型示例：
模型
参数大小
文件大小
下载运行命令
NeuralChat
7B
4.1GB
ollamarunneural-chat
Starling
7B
4.1GB
ollamarunstarling-lm
Mistral
7B
4.1GB
ollamarunmistral
Llama2
7B
3.8GB
ollamarunllama2
CodeLlama
7B
3.8GB
ollamaruncodellama
Llama2Uncensored
7B
3.8GB
ollamarunllama2-uncensored
Llama213B
13B
7.3GB
ollamarunllama2:13b
Llama270B
70B
39GB
ollamarunllama2:70b
OrcaMini
3B
1.9GB
ollamarunorca-mini
Vicuna
7B
3.8GB
ollamarunvicuna
