DeepSeek系列AI模型在昇腾平台的高效部署与实践

区块链 2025年02月10日 07:01 31 author

DeepSeek AI近期发布的Janus-Pro多模态大模型以及此前发布的DeepSeek-R1、DeepSeek-V3和DeepSeek-V2大型语言模型，在人工智能领域引发广泛关注。这些模型在性能和效率方面均有显著提升，并率先支持昇腾平台。神州数码旗下神州鲲泰推理服务器搭载昇腾硬件，可快速部署DeepSeek系列模型，为用户提供高效便捷的AI开发和应用体验。

2025年2月4日，DeepSeek-R1、DeepSeek-V3、DeepSeek-V2和Janus-Pro正式上线昇腾社区，开发者可一键获取模型并在昇腾硬件平台上快速部署和进行推理。

本文以DeepSeek-V3为例，详细介绍了在昇腾社区高效获取和使用模型的方法。

硬件需求： 部署DeepSeek-V3模型需要4台KunTai A924推理服务器（每台配备8张昇腾推理卡）。

模型调用步骤：

权重转换： 需要将模型权重从GPU版本转换为NPU版本。
加载镜像： 从昇腾社区下载适配DeepSeek-V3的镜像包（例如：mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64），并使用docker images命令确认镜像。
容器启动： MindIE镜像预置了DeepSeek-V3模型推理脚本。获取权重文件后，放置在模型代码主目录下，修改文件权限，然后启动容器。
服务化测试： 配置服务化环境变量，例如启用内存池扩展段功能，修改服务化参数，启动服务。启动成功后，将显示“Daemon start success!”。

更多关于DeepSeek系列模型在昇腾平台的使用方法和指导文档，请访问昇腾社区模型库专区。