当前位置: CNMO > 手机中国 > 手机新闻 > 手机深度 > 正文

离线小爱实时语音翻译背后的秘密:第二代骁龙8带来的AI变革

手机中国 【原创】 作者:赵磊 2022-12-01 12:17
评论(0
分享

  在刚刚落幕2022骁龙峰会上,高通为我们带来了万众瞩目的第二代骁龙8移动平台,全新的升级的架构以及优异的性能,再加上从各种意义上贯穿始终的AI技术,让我们看到了下一世代手机移动平台的全新样貌。值得注意都是,本次骁龙峰会上,第二代骁龙8移动平台并未过多的介绍其在整体性能上的进步,而是着重向我们展示了第二代骁龙8移动平台在AI方面所做出的努力和改进,并给出了未来手机移动平台发展的新方向——AI。

第二代骁龙8移动平台
第二代骁龙8移动平台

  谈起AI相信大家并不陌生,单单是在手机上AI已经成为近几年最受人关注的热词,我们能看到很多与AI相关的功能,目的是为了让你的手机更懂你,在不知不觉中成为为你提供方便的助力。对于AI来说,它所需要处理海量信息包括图像、声音、交互等来自多方面的数据来进行最终的结果预判,在这一过程中会有上千万种可能,如何让AI能够确切的了解使用者的需求,算力支持是不可获取的先决条件,所以在此前为了能够实现AI的某些功能,很大一部分程度上依旧需要依靠云端服务器算力来进行验算,从而达成用户对于某一些功能的需求,仅仅依靠本地算力是完全不够的。

离线小爱实现实时翻译功能
离线小爱实现实时翻译功能

  但在本次骁龙峰会上我们看到,基于第二代骁龙8移动平台所打造的小米手机,可以通过小爱同学对视频中的会议进行实时语音翻译,并且这一功能完全实现了离线,将原本交于云端服务器的功能全部交给本地芯片来处理,小米方还表示,即将在明年推出的小爱同学离线功能,将支持离线语音唤醒、离线语音识别、离线VAD、离线语义拒识、离线语义理解、离线语义匹配、离线对话生成、离线翻译、离线语音合成的特性,即使在没有网络的状态下依旧能够提供很好的实时端侧AI应用。

高通AI引擎
高通AI引擎

  实现这一功能其实并不容易,这需要手机芯片本身具备强大的算力支持,但在高通看来这也是手机芯片所必须的素质。所以在第二代骁龙8移动平台上我们看到了全新的Hexagon处理器所带来的变化。首先是在架构上的变化,高通AI引擎的核心Hexagon内部包含了标量加速器、向量加速器和张量加速器,其中张量加速器,起到了至关重要的作用,为芯片提供能加迅捷的算力支持。也因此,高通在本世代平填上将其尺寸翻倍,并引入了全新的微切片推理和独立的供电系统,使其成为整个平台最核心的部分之一。这样的设计带来了高达 4.35 倍的 AI 性能提升以及60%的能效提升。

高通传感器中枢
高通传感器中枢

  与此同时,第二代骁龙8移动平台还成为首个支持变革性的 INT4 AI 精度格式的骁龙移动平台,与过去的浮点计算精度模式相比,INT4精度计算能够更效率合理的调动移动平台上以有限的计算资源,实现更多神经网络模型的运行,在不损失精度的情况下精简AI模型以降低功耗,使算力从32位浮点运算进化到4位整数运算,同时能耗也降低了整整64倍。如果仅仅是提升算力是无法满足高通对于AI融入芯片的要求的,所以在本次第二代骁龙8移动平台上,全新引入了“Hexagon 直连”技术。它从物理层面为所有核心芯片搭建了一个“桥梁”,使每包括CPU、GPU、ISP等独立部件都能够直接与Hexagon处理器相连接,从而使不同组件都能够更加直接便捷地调用Hexagon处理器的计算能力,实现无障碍的算力传输。

  这也是为什么,新一代Hexagon处理器能够拥有完善的Transformer网络在终端侧的推理功能,包括计算机视觉、自然语言处理、实时转录、情感分析、实时翻译等功能在终端上的应用,这也是上述离线小爱实时翻译得以实现的根本原因。本地化的实时翻译不仅准确率更高,同时也排除了因为网络而带来的延迟和功能缺失,最重要的是能够在本地化处理所有语音、图像信息从而更好地保护用户安全和隐私。

  当然这套强大的算力支持还能实现更多功能,这就需要第二代骁龙8移动平台的传感器中枢拥有更强的信息收集能力,包括视觉信息捕捉、语音识别、环境感知、5G、WiFi、蓝牙等信号感知等来自多方面的数据收集处理都能够在一瞬间完成。事实上,第二代骁龙8移动平台的传感器中枢也实现了整体性能提升8.8倍的效果,并在视觉唤醒、图像分类、关键词检测、异常检测方面的响应时间更短,算力提升的同时也降低了功耗。

场景识别 息屏扫码
场景识别 息屏扫码

  拥有强大传感器中枢能力,也让AI在我们在日常使用中提供了更多场景。比如在扫取二维码时,我们无需再开启摄像头功能,而仅需将手机放置在二维码前便可自动识别开启扫描功能,在这一功能过程中屏幕保持息屏,在经过生物安全识别后即可扫描成功。又或者通过对前置摄像头的监测,感知周围环境有陌生人的情况下,自动锁屏、关闭信息通知等,实现个人隐私的保护。

离线小爱实时语音翻译背后的秘密:第二代骁龙8带来的AI变革

认知ISP带来的“语义分割”
认知ISP带来的“语义分割”

  同样AI也会在拍照中提供助力,这一次第二代骁龙8移动平台带来的“语义分割”AI 影像编辑技术可以通过将画面进行分层,逐帧自动识别场景画面中的要素并进行画面优化。由于拥有了认知 ISP与Hexagon处理器的直连通道,为我们在拍摄时更好地处理画面中的场景元素,包括天空、绿植、人物、表情的实时优化处理,都能够在短时间内进行,甚至用户可以在准备拍摄时,从取景器看到实时增强的物体画面。除此之外,包括配饰,包括手表、头盔、包和眼镜等可能会出现反光和炫光的物体,也能够进行主动的修饰,从而呈现更好地画面效果。

AI技术骁龙X70 调制解调器
AI技术骁龙X70 调制解调器

  最后在连接方面,第二代骁龙8移动平台所集成的 X70 调制解调器,也是业内首个引入了AI技术的信号连接模块,它能够能在提供优秀的信号收发同时,自动检测和切换网络,传感器中枢的实时感知功能在后台通过AI计算出当前的信道状态,使无论是Sub-6GHz、毫米波频段的5G链路,或者是Wi-Fi、蓝牙等连接协议实现更好地调度,有效的提升速度、网络覆盖、时延和能效。

从内到外的AI 全新的第二代骁龙8
从内到外的AI 全新的第二代骁龙8

  综上所述我们可以看到,在第二代骁龙8移动平台上,AI所占据的绝对地位,创新式的架构设计为未来芯片领域带来的影响和指导性作用将持续推动AI对芯片的影响。无论是张量处理器、Hexagon 直连技术还是全新的传感器中枢都为未来芯片指明了方向,同时也能够赋予OME厂商更广泛的可操作性。同时AI功能的泛用化也为用户提供了更多的便捷和可能性。

  无处不在的AI还会带给我们哪些更多的惊喜,让我们继续期待,期待不远的未来。

分享

加入收藏

网友评论 0条评论
用其他账号登录:
请稍后,数据加载中...
查看全部0条评论 >
火热围观
潮机范儿

Copyright © 2007 - 北京沃德斯玛特网络科技有限责任公司.All rights reserved 发邮件给我们
京ICP证-070681号 京ICP备09081256号 京公网安备 11010502036320号