¶ Ai大模型部署
¶ 1 Deepseek-R1 1.5b 大模型部署
ubuntu22.04
python3.8
YY3588开发板
¶ 1.1 ubuntu22.04 主机环境搭建
# 下载rknn-llm
git clone https://github.com/airockchip/rknn-llm.git
# 安装 miniforge3 和 conda
wget -c https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-x86_64.sh
chmod 777 Miniforge3-Linux-x86_64.sh
./Miniforge3-Linux-x86_64.sh
## 确认是否安装成功
conda -V
¶ 1.2 创建 RKLLM-Toolkit Conda 环境
source ~/miniforge3/bin/activate
conda create -n RKLLM-Toolkit python=3.8
conda activate RKLLM-Toolkit
pip3 install rkllm-toolkit/packages/rkllm_toolkit-1.1.4-cp38-cp38-linux_x86_64.whl
# 检查是否安装成功(无报错则安装成功)
python
¶ 1.3 DeepSeek-R1-1.5B HunggingFace转换成RKLLM模型
¶ 1.3.1 下载模型及转换模型
下载地址:DeepSeek-R1-Distill-Qwen-1.5B
cd examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/export/
python export_rkllm.py
转换之后的模型为：DeepSeek-R1-Distill-Qwen-1.5B.rkllm
¶ 1.3.2 编译库和demo
- 下载交叉编译链（如果已经下载了完整的SDK，那么可以使用SDK中的交叉编译链）
# 修改编译器路径
vim examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/deploy/build-linux.sh
- 开始编译
cd examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/deploy/
bash build-linux.sh
- 生成库和demo
rknn-llm/examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/deploy/install/demo_Linux_aarch64$ ls
lib llm_demo
¶ 1.4 在板端运行模型
将库、demo和转换模型推送到板端
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:./lib
export RKLLM_LOG_LEVEL=1
./llm_demo DeepSeek-R1-Distill-Qwen-1.5B.rkllm 10000 10000
¶ 1.4.1 相关资料下载
¶ 1.4.2 运行过程截图及视频链接
// TO DO LINK