#发优质内容享分成#

第一步 安装Ollama

一、什么是Ollama

Ollama 是一个开源的本地大语言模型（LLM）运行框架，支持在本地计算机上部署和管理多种大语言模型（如 LLaMA、Qwen、DeepSeek 等）。它的核心功能包括：

1. 简化部署：本地安装，快速部署大语言模型，无需复杂配置。
2. 支持多种模型：支持 LLaMA、Qwen、DeepSeek 等多种开源模型，用户可以根据需求选择模型大小和类型，如Deepseek-r1:8b，Deepseek-r1:32b，Deepseek-r1:70b等。
3. 跨平台支持：支持 Windows、Linux 和 macOS 系统。
4. 命令行操作：通过简单的命令行指令即可运行和管理模型。
5. GPU 加速：支持 NVIDIA GPU，通过 CUDA 和 cuDNN 加速模型推理。
6. 模型量化：提供量化版本模型，降低显存需求，适合消费级显卡。

二、安装步骤

1. 安装 NVIDIA 驱动和 CUDA：
   下载并安装最新版 NVIDIA 驱动。
   安装 CUDA Toolkit，并配置环境变量。
2. 下载 Ollama：
   访问Ollama，下载 Windows 安装包（OllamaSetup.exe）。
3. 安装 Ollama：
   双击安装包，按照提示完成安装。
   默认安装路径为 C:\Users\<用户名>\AppData\Local\Programs\Ollama。
4. 配置环境变量（最好修改一下模型存储路径，大语言模型默认存储在C盘，容易造成C盘空间不足）：
   修改模型存储路径：添加系统变量 OLLAMA_MODELS，设置为自定义路径（如 D:\ollama\models）。
   修改监听地址：添加系统变量 OLLAMA_HOST=0.0.0.0，允许局域网访问（如果只是自己个人使用，可以不修改）。

三、使用方法

1. 启动 Ollama

• 打开命令提示符（CMD）或 PowerShell，输入以下命令启动 Ollama 服务：
• ollama serve

2. 下载大语言模型

• 访问 Ollama 模型库，下载大语言模型：
• ollama pull deepseek-r1:32b
• 等待模型下载完成，由于模型文件较大，此步骤经常容易下载失败，如果显示错误信息，只需按一下向上箭头，重新运行命令即可，会从上次中断处继续下载。

3. 运行模型

• 输入以下命令运行模型：
• ollama run deepseek-r1:32b
• 进入大语言模型交互式对话模式，输入问题即可获得模型回复。后续还需要部署个人知识库，使用命令/bye退出即可。

4. 管理模型

• 查看已下载模型：
• ollama list
• 删除模型：
• ollama rm deepseek-r1:14b
• 复制模型：
• ollama cp deepseek-r1:14b my-model