开云体育

OpenAI 的噩梦!DeepSeek开云体育官方 V3 0324 可在 Mac Studio 上以每秒 20 个 token 速度运行

2025-06-10
浏览次数:
返回列表

  开云体育[永久网址:363050.com]成立于2022年在中国,是华人市场最大的线上娱乐服务供应商而且是亚洲最大的在线娱乐博彩公司之一。包括开云、开云棋牌、开云彩票、开云电竞、开云电子、全球各地赛事、动画直播、视频直播等服务。开云体育,开云体育官方,开云app下载,开云体育靠谱吗,开云官网,欢迎注册体验!2025 年 3 月 25 日,DeepSeek 悄然发布了一种新的大语言模型,该模型已经在 AI 行业掀起了轩然,不仅仅由于它的强大功能,还由于其部署方式。这款 641 GB 的模型名为 DeepSeek-V3-0324,今天出现在 AI 代码存储库 Hugging Face 上。

  这次发布特别引人注目的地方在于模型的 MIT 许可证:使其可以免费用于商业用途,另外早期报道称它可以直接在消费级硬件上运行,具体指搭载 M3 Ultra 芯片的 苹果 Mac Studio 上 。

  AI 研究员 Awni Hannun 在社交媒体上写道:“新的 4 位版本 DeepSeek-V3-0324 在配备 mlx-lm 的 512GB M3 Ultra 上能够以每秒超过 20 个 token 的速度运行!”虽然售价 9499 美元的 Mac Studio 可能扩大了“消费级硬件”的定义,但能够在本地运行如此庞大的模型与最先进的 AI 通常需要数据中心才能运行大相径庭。

  6850 亿 个 参数 的 模型没有随附的白皮书、博文或营销 噱头, 只有一个空 白 的 README 文件和模型权重本身。

  这种 做法 与诸多 AI 公司 常见 的精心策划产品发布形成了鲜明对 照 ,很多 AI 公司常 在实际发布 产品 之前 进行长达 数月的炒作。

  早期测试人员报告新版本较上一版本有显著改进。AI 研究员 Xeophon 在上的一则帖子中宣称:“我在内部测试台上测试了新的 DeepSeek V3,发现它在所有测试的所有指标上都有了巨大飞跃。它现在是最出色的非推理模型,取代 Sonnet 3.5。”

  如果这一说法得到更广泛的测试验证,那么 DeepSeek 的新模型将超越 Anthropic 的 Claude Sonnet 3.5,后者是最备受推崇的商业 AI 系统之一。

  DeepSeek-V3-0324 采用混合专家 ( MoE ) 架构,从根本上重 塑 了大语言模型的运行方式。

  传统模型针对每项任务激活其全部参数, 而 DeepSeek 的方法在特定任务期间仅激活其 6850 亿个参数中的约 370 亿个。

  这种选择性激活无异于模型效率迎来根本性转变。通过仅针对每项特定任务激活最相关的“专家”参数,DeepSeek 实现了可与庞大得多的完全激活的模型媲美的性能,同时大大降低了计算需求。

  该模型采用了两项另外的突破性技术:多头潜在注意力(MLA)和多 token 预测(MTP)。MLA 增强了模型面对长篇幅文本保持上下文的能力,而 MTP 每一步生成多个 token,而不是通常的每次生成一个 token。这些创新共同将输出速度提高了近 80%。

  开发者工具创建者 Simon Willison 在一篇博文中特别指出,4 位量化版本可将所需的存储占用空间减少到 352GB,从而可以在搭载 M3 Ultra 芯片的 Mac Studio 等高端消费级硬件上运行。

  虽然传统的 AI 基础设施通常依赖多块数千瓦功耗的英伟达 GPU,但 Mac Studio 在推理过程中的功耗却不到 200 瓦。

  这种效率差距表明,AI 行业可能需要重新考虑头部模型性能对基础设施的需求方面的认识。

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  财联社6月9日电,中国5月稀土出口5864.6吨,1至5月累计出口24827吨,比上年同期增长2.3%。

  “星链”卫星,突然大批坠落!马斯克连转两条特朗普帖文,其父发声:他玩得转技术,却玩不转政治

  女子带俩幼子回娘家探亲,不幸遭40岁男邻居持刀行凶祖孙3人遇害,凶手被鉴定精神分裂症

搜索