龙芯技术社区
直播中

jf_38522704

3年用户 185经验值
擅长:嵌入式技术
私信 关注

在龙芯3a6000上部署DeepSeek 和 Gemma2大模型

0. 下载ollama

ollama-loong64-bin.lnd20.zip *附件:ollama-loongarch64-lnd20.zip
适用于ABI1.0 系统,例如Loongnix 20, UOS20, Kylin V10

ollama-loong64-bin.lnd25.zip *附件:ollama-loong64-bin.lnd25.zip
适用于ABI2.0 系统, 例如Loongnix 25, Deepin 23, OpenKylin 2.0, ArchLinux, AOSC 12 等

下载相应版本的ollama,并解压将其复制到/usr/bin

$ unzip ollama-loong64-bin.lnd20.zip
$ chmod +x ollama
$ sudo cp ollama /usr/bin

1.开启ollama服务

$ ollama serve

2.运行deepseek-r1大模型

到以下网站选择不同参数的大模型

https://ollama.com/library/deepseek-r1

新开一个终端执行如下命令

$ ollama run deepseek-r1:1.5b

3.运行Gemma 2大模型

如果想体验 Google Gemma 2
可以到下面的网站选择不同参数的大模型
https://ollama.com/library/gemma2

新开一个终端执行如下命令

$ ollama run gemma2:2b

4.开始玩耍

第一次执行需要从网站下载大模型,等待下载校验完成后,自动进入对话模式,可以开始提问。

5. ollama常用命令

列出已下载的大模型

$ ollama list

6.参考链接

在3a6000上玩deepseek-r1大模型

更多回帖

发帖
×
20
完善资料,
赚取积分