夜间模式 切换到宽版

 找回密码
 注册

QQ登录

只需一步,快速开始

搜索
查看: 68|回复: 4

[数码资讯] AMD:AI 9 HX 375 处理器在 LM Studio 中 Token 生成速度

[复制链接]
  • 打卡等级:功行圆满
  • 打卡总天数:829
发表于 2024-10-31 08:15 | 显示全部楼层 |阅读模式

马上注册,查看更多内容,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?注册

×
AMD 刚刚发布了一篇博客,讲述了其 Ryzen AI 300 系列移动处理器在本地大语言模型(LLM)性能方面的突破。

据称,锐龙 AI 9 HX 375 处理器在 LM Studio(一款用于本地下载和托管 LLM 的桌面应用,基于 llama.cpp,允许用 AVX2 指令来进行 CPU 加速)进行了测试,相比英特尔酷睿 Ultra 7 258V 更快。



AMD 在此次测试中使用了 Meta Llama 3.2 的 1b 和 3b 模型、微软 Phi 3.1 4k Mini Instruct 3b 模型、谷歌 Gemma 2 9b 和 Mistral 的 Nemo 2407 12b 模型,其中英特尔平台采用了 8533 MT/s 内存,而 AMD 平台则为 7500 MT/s。









如图所示,AI 9 HX 375 上述五个大模型的测试中都比 Ultra 7 258V 更快,无论是速度还是开始输出文本的时间,优势最大时领先幅度达到了 27%。

IT之家提醒,英特尔 Ultra 7 258V 处理器与 HX 375 并不完全对等,其中 258V 属于中高端产品,而 HX 375 属于旗舰型号,AMD 直接对比似乎有点不公平。

当然,LM Studio 同样支持 GPU 加速功能,而且 LM Studio 还支持 Vulkan API 进行 GPU 加速。在启用 GPU 加速后,AI 9 HX 375 比不使用 GPU 加速时快了 20%。
  • 打卡等级:已臻大成
  • 打卡总天数:648
发表于 2024-10-31 08:19 | 显示全部楼层
感谢分享!
回复 支持 反对

使用道具 举报

  • 打卡等级:已臻大成
  • 打卡总天数:524
发表于 2024-10-31 10:32 | 显示全部楼层
感谢楼主分享!
回复 支持 反对

使用道具 举报

  • 打卡等级:功行圆满
  • 打卡总天数:832
发表于 2024-10-31 10:51 | 显示全部楼层
感谢分享AMD处理器资讯
回复 支持 反对

使用道具 举报

  • 打卡等级:功行圆满
  • 打卡总天数:816
发表于 2024-10-31 11:47 | 显示全部楼层
谢谢楼主分享。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

文字版|手机版|小黑屋|RSS|举报不良信息|精睿论坛 ( 鄂ICP备07005250号-1 )

GMT+8, 2026-6-6 06:41 , Processed in 0.392063 second(s), 5 queries , Redis On.

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表