简单部署deepseek
安装到本地文档: https://www.cnblogs.com/shanren/p/18702244
Ollama 配置: https://www.llamafactory.cn/ollama-docs/windows.html
阿里云服务支持: https://www.aliyun.com/solution/tech-solution/deepseek-r1-for-platforms
今天试着本地部署了一下deepseek的残疾版本,deepseek-r1-1.5b。
很简单,下载ollama之后使用ollama run deepseek-r1:1.5b就行了。
(缺点是本地安装了ollama死活无法下载模型,而使用docker启动之后就能飞速安装大模型了,还不知道为什么。)
具体方法是使用docker安装ollama镜像,使用ollama创建容器并启动到11434端口,然后进入容器内部使用ollama run deepseek-r1:1.5b。运行成功后可以开始对话,在外部调用只需使用post请求: http://localhost:11434/api/generate ,body参数为:
{
model:"deepseek-r1-1.5b",
prompt:"对话内容",
stream: true // 是否开启流式传输
}
参考文档: https://zhuanlan.zhihu.com/p/712633841
部署完成之后也发现了一些问题:
- 1.5b的版本太弱智了,根本体验不到智能的感觉,不过根据现有的配置,只能使用这个版本来学习了。光是部署倒是空间足够,但是在思考问题的时候CPU就会被直接拉满。公司的台式机尚且这样,在我2核2G的服务器上就别想了。
- 接下来如何用数据喂养,连接自己的数据库,实现自己的功能,这才是重头戏。
- 刚查了一下我的电脑配置部署deepseek-r1-7b模型都有点吃力,只是3050的显卡,7b至少要3070的显卡。
- 如何将AI和我的网站功能联系起来,能对话自然是基本,根据我网站的笔记功能和待办清单功能,不知道如何联合到一起。
- 服务器不行的话可以研究一下阿里云的百炼方案,按量付费的。
评论