天玑9300支持内存硬件压缩技术,行业第一,让手机运行AI大模型更快速

2023-11-09 18:29:53     来源:

联发科最新发布的一代旗舰级5G生成式AI移动芯片天玑9300,其创新的全大核架构设计与最新的AI处理器APU等联发科特色技术的合并,为生成式AI应用提供了强大的动力,以实现引人入胜、丰富多样的生成式AI体验。同时,联发科也与大量的AI企业在业内进行深入合作,共同在移动平台上构造了一个充满活力的AI生态。

全新第七代AI处理器APU 790,为生成式AI而生

随着用户对生成式AI应用需求日益增长,端侧生成式AI便捷、安全性等优势便凸显出来。当然,部署端侧AI大语言模型需要强大的AI算力支撑。

天玑9300搭载联发科第七代AI处理器APU 790,为生成式AI而设计,拥有硬件级的生成式AI引擎,可以实现更加高速且安全的边缘AI计算,深度适配Transformer模型进行算子加速,速度是上一代的8倍。

同时APU 790的性能和能效得到显著提升,整数运算和浮点运算能力提升至前一代的2倍,苏黎世ETHZv5.1 AI-Benchmark Mobile Soc跑分2109 分,AI性能成功霸榜,功耗更是降低了45%。在强大的AI性能支持下,1秒以内即可生成图片。天玑9300强悍的AI算力、创新的全大核CPU架构和Immortalis-G720 GPU都为端侧运行生成式AI打下坚实的性能基础。

同时,基于亿级参数大语言模型的特性,联发科开发了混合精度 INT4 量化技术,结合联发科特有的内存硬件压缩技术NeuroPilot Compression,可以更高效地利用内存带宽,大幅减少AI大模型占用终端内存,为端侧运行AI大语言模型突破手机内存限制,助力更大参数模型在端侧落地。

基于以上,天玑9300首次在vivo旗舰手机端侧落地70亿参数AI大语言模型,处理速度可达20 Tokens每秒。不仅如此,联发科突破了行业极限,已经与vivo成功在端侧运行了130亿参数的大语言模型。甚至,天玑9300已率先实现在移动芯片上成功运行330亿参数的AI大语言模型,领跑业界。

天玑9300还支持多模态生成式AI大模型,打造出“文生诗”“文生图”“文生趣图”等丰富有趣的端侧体验。

可见,天玑9300的AI算力和端侧生成式AI能力已领先行业,足以让用户随时随地AI创造力全飙。

生成式AI模型端侧技能扩充,带来全面、丰富的端侧生成式AI体验

与云侧生成式AI解决方案不同,由于硬件环境的差异,部署端侧生成式AI也需要考虑手机内存、存储容量、负载上限等因素。为此,联发科率先提出了先进的解决方案。

APU 790 支持生成式AI模型端侧技能扩充技术NeuroPilot Fusion,它可以基于基础大模型持续在端侧进行低秩自适应(LoRA,Low-Rank Adaptation)融合,在混合式AI的赋能下,可以基于1个基础大模型,通过云端训练,在端侧完成N个功能的融合,赋予基础大模型更全面、更丰富的生成式AI应用能力。

比如基于AI模型端侧技能扩充技术的“图生GIF动图”功能,用户可以根据一张照片更换不同的风格甚至表情,玩出个人专属风格的表情包,秒变表情包小达人。

AI开发平台NeuroPilot加速端侧生成式AI生态布局

基于强大的AI算力和先进的内存硬件压缩技术、AI模型端侧技能扩充等技术,天玑9300的APU 790将端侧生成式AI的速度和广度提升到了全新的水平。同时,为加速生成式AI在端侧部署和普及,联发科也凭借其AI开发平台NeuroPilot构建了丰富的AI生态,从底层硬件到工具链、模型中心以及开发生态,助力生态快速、高效地部署端侧生成式AI应用。

AI开发平台NeuroPilot支持Android、Meta LIama 2、百度文心一言大模型、百川智能百川大模型等前沿主流AI大模型。

更为重要的是,NeuroPilot拥有一套完整且先进的工具链,除了NeuroPilot Compression低秩自适应融合,还有Speculative Decoding推测解码加速和模型优化与转化技术。

联发科的天玑开发者中心还可提供端侧生成式AI落地一站式开发者资源,分享端侧模型部署案例提升开发效率。目前已有20多个生成式AI合作伙伴加入生态共建。

联发科还携手业界合同伙伴打造精彩的生成式AI应用体验。虹软的生成式AI超级分辨率技术基于天玑9300 APU 边缘计算能力,相比前代,性能可提升30%。在25倍放大的拍摄时,利用生成式AI超级分辨率技术,可以拍出细节更真实的图像效果。

极感科技的生成式AI语意搜索技术也基于天玑9300 APU边缘计算能力,对比前代,性能可提升260%。比如在手机的相册中搜索照片,描述照片的内容即可在毫秒内精准搜到对应的照片。而且在断网状态下也能搜索,隐私也不会泄露。

QQ图片20231109125729.png

QQ图片20231109125729.png

Morpho的视频通话实时数字分身生成技术,同样基于天玑9300 APU边缘计算能力,对比前代,性能提升26%。一般的虚拟人像生成器需手动选取容貌样式花费时间。但基于视频通话实时数字分身生成技术,用户操作容易,仅需打开摄像头单帧图片即可瞬间生成数字分身。

QQ图片20231109125729.png

基于天玑9300 APU边缘计算能力,慧鲤生成式AI防眩光技术性能可提升60%。在此技术加持下,无论是室外还是室内,在拍摄时如有眩光,只要轻松一暗即可消除眩光干扰。

QQ图片20231109125729.png

可以看到,在AI端云融合的趋势下,天玑9300在AI算力、生成式AI用户体验和生态方面展现出全面的优势,为新一代旗舰级端侧生成式AI体验树立了新的标杆,强大生成式AI就要用天玑。

同时,联发科等生成式AI的领先者们正通过不断地技术革新和适当的生态布局,大力推动混合式AI计算,并为端侧生成式AI部署设计出了一套独自且高效的方法,全力以赴推进生成式AI在端侧的普及,旨在让更多的用户享受到端侧AI的个性化服务,带来全新的全方位智能体验,实现科技成果惠及全社会。

 

标签:

猜你喜欢

百年老字号余仁生的历久弥新之道
邮储银行达州市分行“四体一位”提升金融服务质效,助力地方经济高质量发展
守住群众“钱袋子”——邮储银行 乐山市通江镇支行成功拦截一起电信诈骗
逐光而行丨中国(第三届)生殖器整形美容与性医学大会圆满成功!
邮储银行宜宾市叙州区支行:执金融之笔,“小产业”书写乡村振兴“大文章”
元化智能携港产锟铻®全骨科手术机器人亮相进博会
邮储银行宜宾市分行工会开展员工健康查体报告 解读暨健康咨询活动
七天素养【衡】套组、微生态 破壁灵芝孢子粉|两大产品助你提高免疫力健康过冬
抗病毒类药物销量增加,市民积极应对流感
追溯茅台历史渊源,率先提出“茅台酒”概念的烧坊是偈盛烧坊?
城市创造未来,智慧引领发展 2023市政工程建设产业博览会今日在佛山开幕
重磅荣誉!苏州金龙荣获中国汽车工程学会科学技术奖二等奖
黄金万两酱酒联合冠名 2023 国际超模大赛中国总决赛
“瑞幸咖啡健康中国行”公益健康跑媒体专场在京举办 为困境儿童奉献力量
丽芮酒店投资人专访—李建炜先生讲述酒店长「红」的独门绝技
益阳聚焦“三个强化”深化医保“一件事”集成服务改革
变革与重塑,第五代青花郎开启全国落地品鉴序幕
千万智慧家庭数据共享“新物种”,简单、方便、快捷
萧山本味 秋风知“稻”丨萧然绿发集团稻田丰收节亲子活动圆满举办
南昌普瑞眼科屈光性白内障手术进入“全视觉”精准新时代
治疗抽动症,石家庄六一儿童医院 实力儿科,品质之选
远大健科将国人健康和快乐视为发展目标,这样的“双十一”更有意义
“剧”焦创作新生力量,“编”绘多元故事宇宙 ——“2023青年编剧大会”圆满落幕
中澳贸易文旅升温,雅阁酒店集团加码中国市场投入
南派北派,立冬火锅,你想吃啥?
11月11日 2023肿瘤临床学术大会即将盛大开幕
加码云原生,优刻得私有云新版本释放数字生产力
温情“药膏”,情暖一线 德州市人大代表李广锋向大众网新闻工作者送健康
关注长新冠 携手护健康
提升我国感染诊疗水平 造福患者——辉瑞抗感染系列论坛在进博会举办