鸿蒙操作系统如何使用本地AI模型管理
| 鸿蒙操作系统如何使用本地AI模型管理 |
运行在本地的大模型（Local Large Language Models）是指将大型人工智能模型直接部署在搭载鸿蒙系统的设备上，而不是依赖云端服务进行数据处理和推理。这类模型可以在不联网的情况下独立运行AI应用，所有数据处理均在本地完成。
本地AI模型管理具有以下特点：
- 一键获取AI大模型：从官方精选的模型库中轻松获取各种开源大语言模型，一键下载/删除。
- 本地高效运行：模型完全运行在你的电脑上，模型推理时无需联网，保障数据隐私与安全。
- 开箱即用：无需复杂的环境配置。
鸿蒙电脑上HarmonyOS 6.0及以上系统版本支持该功能
HUAWEI MatePad Edge上HarmonyOS 5.1及以上系统版本支持该功能。
下载模型
通过系统设置下载AI模型
- 打开设置
> 系统 > 本地AI模型管理，点击下载。
- 下载时可查看鸿蒙系统提供的模型名称、大小、实时下载进度。本地AI模型管理支持批量下载和暂停续传。
通过三方应用下载AI模型（下面以Chatbox为例）
- 打开应用市场，搜索Chatbox并下载。
- 打开Chatbox，点击左侧设置。
- 在模型提供方选择：Local API。
- 在模型下拉框中选择对应的模型进行下载。
查看模型详情
在本地AI模型管理管理列表可点击模型名称，查看模型的详细参数。
参数模型类别说明
在选择本地运行的大模型（如 DeepSeek、Qwen 等系列）时，参数规模（如 7B、13B、70B）是影响模型能力和资源需求的关键因素。以下是不同参数规模模型的区别及适用场景，可参考进行模型的选择：
|
参数模型类别 |
特点 |
能力 |
|---|---|---|
|
小参数模型（如 7B） |
体积小（占用硬盘空间少）、响应快、显存需求低（约 3.5–5GB）。 |
适合简单任务（如基础问答、文本摘要、日常对话），但复杂推理或专业领域任务（如数学证明、代码生成）表现较弱。 |
|
大参数模型（如 70B+） |
体积大（占用硬盘空间多）、响应较慢、显存需求高（约 35–50GB）。 |
擅长复杂任务（如逻辑推理、科研分析、长文档处理），生成内容更精准、连贯。 |
模型使用
模型下载后需要在三方应用模型中使用，当前支持的三方应用有：chatbox、coremail、htbrowser、cherry studio等，以Chatbox为例
1.ChatBox： AI 客户端应用和智能助手。
2.Cherry Studio：支持多服务商集成的AI对话客户端，本地管理您的知识库。
- 打开Chatbox， 点击左侧的新对话。
- 在对话框中将模型切换为下载好的本地AI模型。
- 通过本地AI模型进行智能回答。
卸载模型
- 打开设置
> 系统 > 本地AI模型管理。
- 选择要卸载的模型，点击卸载按钮，卸载后不占用系统内存。
运行在本地与在云端的大模型的区别
选择本地模型，意味着将数据完全保留在个人设备上，享受无延迟的快速响应和离线使用的自由；而选择云端模型，则是为了调用最顶尖的智慧，去解决更需要深度推理和广博知识的复杂难题。
