开云体育
这可能是目前最有性价比的Deepseek部署方案开云APP下载
开云体育[永久网址:363050.com]成立于2022年在中国,是华人市场最大的线上娱乐服务供应商而且是亚洲最大的在线娱乐博彩公司之一。包括开云、开云棋牌、开云彩票、开云电竞、开云电子、全球各地赛事、动画直播、视频直播等服务。开云体育,开云体育官方,开云app下载,开云体育靠谱吗,开云官网,欢迎注册体验!在今年Deepseek爆火的时候,我们花了两篇文章来讲解Deepseek的部署教程和部署Deepseek的一些方案。
时至今日,各位还有对Deepseek的使用热情嘛?事实证明能留下来愿意看这篇文章的,基本都真的是有需求本地部署的人。那么今天我就把剩下目前我认为最有性价比的70B部署方案分享给大家。顺便也把一些有用的工具放给各位。
如果你想用纯CPU来部署完整版的Deepseek,可戳以下图片跳转教程:
在之前的教程里,我们已经聊了部署完整Deepseek 671B的教程,也谈及未来要部署70B的想法。时至今日,部署671B或者70B Deepseek还有意义吗?
严格意义来说,671B的意义已经小了很多了,而70B等更小的模型反倒显得越来越有市场。自Deepseek把AI模型部署的门槛打下来之后,越来越多小模型诞生,比如谷歌的Gemma 3 28B,阿里的Qwen3 238B。这些模型不仅兼顾了准度,还能提供了更小的部署体积。
因此我认为,各位也没必要一股脑地追求部署超大模型,只要中国的AI产业能继续蓬勃发展,准备好64GB-128GB以内的空间,未来我们应该会有更多更优秀的模型使用。当然,如果你觉得准备一个肌肉感十足的电脑随时应对部署,也可以。毕竟有一台放着十几块旗舰显卡的电脑确实很酷。
其实说实话,虽然说是“最优性价比”,但是性价比来的有风险。不久前,NVIDIA决定CUDA 12.9将停止支持Maxwell/Volta/Pascal系列显卡。
这也意味着从GTX 900到GTX 10系列显卡都将不会有新的技术支持,GTX家族即将彻底退出历史舞台。而恰巧目前有性价比的显卡正是这些即将退出历史的显卡。那既然如此,我还是分为长久配置和长期使用不改的配置来推荐。当然,有难点的地方我也会做好教程,各位自行选择。
CPU选择方面是跟主板的,只要能提供多一点PCIe通道都可以。那首选就是E5起步了。两个方向,一个是单核高,换来更快的模型加载速度,一个是内存速度快,换更快的长期使用交换时间。因此如果是前者,推荐E5 V3系列的CPU(如E5-2698BV3),后者则是选择E5 V4(E5-2683 V4),保证内存频率支持更高。目前大部分E5 CPU都在百元不等。随意选择。
有人说为什么不选择线程撕裂者呢?一个是主板不好找,而是故障率真的高,动不动少根内存支持,特别烦。我建议有耐心的人折腾。
CPU固定,主板自然是跟着一套的,目前很多X99/C612主板价格都很便宜。只要支持4卡双槽交火的都可以选择。X99-E WS自带PLX芯片,所以PCIE传输上不用吃CPU通道少的亏。当然你也可以选择寨板,就是寨板的支持如何就不好说了。
同理,目前DDR4 ECC REG 32G内存和部分比较杂牌的DDR4 32G内存价格差距不大,一个200,一个基本250-300出头。选了ECC的线块钱,但是要选择一个四卡交火的C612主板,价格不是贵的一点点。虽然说缺少ECC,但是从实际使用来看,大部分电脑真的随随便便用几个月不关机没什么大故障。
当然,ECC更多的功能是纠正小错误避免雪崩效应。但我个人为,如果你只是像我一样是家用级别,需求其实和一台家庭NAS差不多,如果你给自己的家庭NAS上了ECC,那就推荐ECC,如果不是,就和我家里两台NAS一样都是无ECC平台吧!
机箱随意(ATX 7槽即可),散热随意,硬盘1T起步,电源推荐1000W以上。如果你多人使用,需要部署多种模型,那推荐1200W以上。因为大部分单模型情况下只有单卡在运行。所以不需要太高级的电源。全新电源可以找JD拉最低价格,也可以咸鱼找矿龙矿鑫谷等。不需要支持最新技术,反正大部分都是8PIN,记得保证至少有6个8Pin就行。
Radeon Instinct MI系列是AMD的计算卡。目前市面上唯一流通最广泛的是MI50系列。这张卡采用的是与AMD Radeon VII(镭7)同款核心。因此必然在矿场内血战过。现如今从哥布林洞解放,又要负责给人跑AI和涩图,真是太残忍了。这也造就了这张卡的价格低廉。咸鱼大部分只要600出头甚至更低,+40一个风扇640搞定。淘宝其实和咸鱼类似,只是多了几个月保修。三张卡那么只需要2000以内就可以搞定,搭配先前主机,5000完成70B最有性价比的主机配置搭建。
MI50和NVIDIA的计算卡不同,自带一个MINI DP接口,外加继承了AMD特有的刷BIOS改卡宿命,因此可以通过刷BIOS改成Radeon PRO VII,实现计算卡到专业卡的改名,输出视频。因此对于想要在Windows环境下使用的用户来说非常友好,还能省下一张亮机卡(因为只要三卡,极限下还可以换掉主板,还能便宜几百块) 。
MI50目前分为两个版本,一个是线(左),一个是Radeon VII套壳成的MI50(右)。严格意义来说,两张卡都可以是MI50,但是前者带ECC,刷BIOS比较麻烦,后者因为不带ECC,所以可以随时刷BIOS改卡。
当然,如果你看B站现在有很多人教你甚至不用刷BIOS在Windows使用,这些我认为属于炫技,或者说在Windows上使用本身就叫抽象。因此我就不多赘述这里相关的内容了。
相比较之下,Linux使用就需要点技巧。那么这里就假定你至少会使用一点Linux,能写,能看懂点简单的脚本,会用Console操作。那么我也已经做好了脚本,大家自行通过脚本内的内容进行切分提取然后运行就行。核心的驱动安装部分就一个部分,其他都是功能性安装。建议搭配先前Ollama Linux安装一起服用。
如果你在前面搜索了MI50,肯定可以看到有一张MI50 32G版。严格意义来说,MI50 32G版的性价比更高,目前大部分都是950-1000多点出头。而且同价格能多给你16G显存,不要白不要。但这张卡带显示输出的版本还没有比较好的研究思路,大部分都是只能强刷为Radeon Pro Vega II,虽然说这些卡核心相同,但是启动的SP数量不同。因此在Windows上刷还是需要点技术。但如果你在Linux上使用就没有任何顾虑了。直接用原版BIOS启动安装,搭配亮机卡不需要做任何更改。我建议是用Linux就32G性价比高,如果想要Windows兼顾一点游戏能力或者别的能力,就16G吧。
如果想要更通用,那毫无疑问只能选择NVIDIA了。相比之下NVIDIA的问题就少很多,无论是在Windows还是Linux上,驱动都是现成的。甚至都会自动帮你打驱动,因此就是多花钱少办事的环节。
那么选择来说,P100 16G就是最好的选择。虽然说性能比MI50差了不止一点点,显存也小。但好在CUDA生态中,只要12.9版本还没推出,新软件没光速更新,那么都还能使用。
当然你会听到最近很多说V100不到600的宣传。事实是这些V100都是SMX版本。
如果你想要转接到正常的PCI-E版,不仅需要买转接卡,还需要定制散热。一般老版现成的套件价格在1000以上,算下来单卡成本已经1600了。而目前还有一批开源方案,从原来的70已经涨到260了。还是不带散热需要额外定做散热的方案。就算以目前能见到的公版散热为例,也要200块。然后加上改装,人工和耗时,算100-200工本费,可能也要在1200-1300。对比P100好了不少,但是性能收益还是不及MI50。只能说有点本末倒置了。还是期待CUDA 12.9线流入市场吧。
其实这个答案很明显了,目前为了保证通用性,最好的就是RTX 2080 Ti 22G版。但这里提供一个可能也不错的选择,就是TITAN RTX。毕竟双卡44G给70B模型很吃紧,双卡48G就会好点。
目前TITAN RTX咸鱼已经跌倒3500了。论信仰来说非常不错。性能也比RTX 2080 Ti强一点。而且TITAN的支持会比Geforce卡长一点,算是后期就算卖也不会亏太多的选择。
最后,这里放上一个我做的显卡性价比表。表格中包含了从Maxwell到RTX 30系的理论性能(Token/s)、所需显卡数量、合计价格和性价比系数(越高越好)。
这大概会是最后一篇AI部署相关内容的文章了,除非以后又有新的内容,不然大概就这样了。至于各路什么KT,vLLM优化显存,稀疏模型转稠密之类的技术,还是等他们实际应用到常见的软件之后再说吧。如果还有什么新内容更新,我们再聊,拜拜ヾ(•ω•`)o。