(资料图)
现阶段AI应用有两个离不开,一个是离不开网络,不少AI应用的计算过程是在云端进行的,无法脱离网络;另一个是离不开强大的算力,比如生成式AI,往往依赖规格很强的显卡。这两个离不开也意味着,大家很难在移动设备上体验到AI所带来的便利。不过英特尔却表示,这些都可以在搭载了英特尔酷睿处理器和锐炫显卡的PC上得到支持,包括便携性极强的轻薄本。
那么,英特尔是如何做到的?我们从开篇提到的两个离不开说起。
依赖云的代表就是大语言模型了,如何把大语言模型从云端搬到本地,英特尔先优化了模型,降低了模型对于硬件的要求。然后通过第13代酷睿的XPU加速、low-bit量化和其他层面的优化,实现了160亿参数的大语言模型。然后通过BigDL-LLM框架,让其可以在内存容量为16GB及以上的笔记本上运行。
从实际的演示效果来看,即使是轻薄本,运行大语言模型的效率还是非常不错的,速度完全不会影响到阅读,满足使用是没有问题的。如此出色的表现,在PC个人助理等方面有着非常不错的应用前景。
依赖强算力的代表就是Stable Diffusion了,英特尔的做法是,除了依靠本身不错的硬件外,还与AI社区构建软件生态。英特尔积极拥抱AI社区,在OpenVINO PyTorch后端方案的基础上,通过Pytorch API让开源模型可以在英特尔的处理器、显卡(集成和独立)和专用AI引擎上运行。
目前已经通过这种方式,实现了Stable Diffusion的Automatic1111 WebUI的运行。它可以在搭载英特尔处理器和独显的PC上运行FP16精度模型。从现场演示的效果来看,生成一张512x512的图片,2-3秒钟就可以完成,效率还是比较可观的。
在文字生成图片、图片生成图片和图片修复等方面,这项功能的实用性非常强。
通过构建生态和模型优化,再加上本身英特尔酷睿处理器和锐炬显卡的强大性能,英特尔实现了在个人PC上运行大语言模式和生成式AI,并且实际效果超出预期,可用性非常不错。这也意味着,未来越来越多AI场景都可以在个人PC上落地,不仅仅是在台式机上,包括更加便携的轻薄本等设备上。在AI的辅助下,个人PC的使用体验将会迎来革命性的进步。
关键词:
- 在轻薄本上体验生成式AI和大语言模型 英特尔给出的答案是肯定的
- 助力文旅产业融合发展 全省农信系统文旅产业贷款余额达110亿元
- 2023中秋节高速公路收费吗
- 2023年9月29号中秋节高速免费吗
- 贵州黎平发生一起火灾致9人遇难2人受伤
- 稳就业促就业|付文惠:青春作伴好还乡
- 二季度中国货币政策执行报告提出 稳固支持实体经济恢复发展
- 实现多项突破 “中国造”最大球磨机完成试车并交付
- 苏州望亭镇:稻花香里话文旅 大运河畔谋发展
- 美媒:拜登的五大经济谎言露馅了
- 恒大澄清:向美国法院提出的申请不涉及破产
- 肠粘连自愈方法(肠粘连)
- 信维通信:被动元件领域是公司的重点布局方向
- 山东章鼓:公司与中广核联合开发了核电用蒸汽压缩机
- 鸿日达:8月18日召开董事会会议
- 博瑞医药:业绩说明会定于8月28日举行
- *ST海投:收到股票终止上市决定
- 鏖战犹酣怎么写(鏖战犹酣是不是成语)
- 关于门头沟区2023年度面向优秀社区党组织书记和优秀社区工作者定向招聘事业编制人员的补充公告
- 碧桂园首支境内债展期方案确定:“16碧园05”展期三年 每个账户先偿付10万