苹果加码端侧AI,联手PrismML有望实现iPhone本地运行大模型
Tradingkey - 苹果(AAPL)再度加码端侧AI,有望让AI大模型在Iphone本地运行。硅谷AI初创公司PrismML CEO表示,苹果正与其洽谈技术合作,希望借助极致模型压缩技术,拟让高性能大模型直接在iPhone本地运行,突破端侧AI的硬件瓶颈。PrismML正式公布阿里巴巴通义千问(Qwen)模型的压缩版本,将原体积54GB、270亿参数的大模型压缩至4GB以内,可完整运行在iPhone15及更新机型上。将实现内存占用降低90%以上、推理速度提升6-8倍、功耗下降3-6倍。