一、下载
直接进入Ollama 官方下载页面
二、安装
下载成功后直接双击OllamaSetup.exe
运行,点Install
安装
三、配置
1. 先退出运行
在右下角的导航栏可以看到Ollame标志,右键选择Quit Ollama
就可以退出了。
2. 环境变量配置说明
参数 | 标识与配置 |
---|---|
OLLAMA_MODELS | 表示模型文件的存放目录,默认目录为当前用户目录即 C:\Users%username%.ollama\models Windows 系统 建议不要放在C盘,可放在其他盘(如 E:\ollama\models ) |
OLLAMA_HOST | 表示ollama 服务监听的网络地址,默认为127.0.0.1 如果想要允许其他电脑访问 Ollama(如局域网中的其他电脑),建议设置成 0.0.0.0 |
OLLAMA_PORT | 表示ollama 服务监听的默认端口,默认为11434 如果端口有冲突,可以修改设置成其他端口(如8080等) |
OLLAMA_ORIGINS | 表示HTTP 客户端的请求来源,使用半角逗号分隔列表 如果本地使用不受限制,可以设置成星号 * |
OLLAMA_KEEP_ALIVE | 表示大模型加载到内存中后的存活时间,默认为5m即 5 分钟 (如纯数字300 代表 300 秒,0 代表处理请求响应后立即卸载模型,任何负数则表示一直存活) 建议设置成 24h ,即模型在内存中保持 24 小时,提高访问速度 |
OLLAMA_NUM_PARALLEL | 表示请求处理的并发数量,默认为1 (即单并发串行处理请求) 建议按照实际需求进行调整 |
OLLAMA_MAX_QUEUE | 表示请求队列长度,默认值为512 建议按照实际需求进行调整,超过队列长度的请求会被抛弃 |
OLLAMA_DEBUG | 表示输出 Debug 日志,应用研发阶段可以设置成1 (即输出详细日志信息,便于排查问题) |
OLLAMA_MAX_LOADED_MODELS | 表示最多同时加载到内存中模型的数量,默认为1 (即只能有 1 个模型在内存中) |
3. 配置环境变量
这里以OLLAMA_MODELS
模型存储位置为例,在不配置的情况下是安装在%homepath%\.ollama\models
目录下,我们将它配置到F:\ollama\models
下
3.1 找到系统环境变量设置
我的电脑【右击】 --> 选择 属性 --> 高级系统设置 --> 环境变量
3.2 设置OLLAMA_MODELS
在用户变量中添加OLLAMA_MODELS
变量值
其他配置设置类似。
四、完成安装与配置
到这已经安装与配置好了Ollama,这里可以在命令行中使用ollama -h
查看帮助,ollama run xxx:xx
来下载与运行模型