AI焦点直播备受关注 联发科Helio P90 AI相机有望

时间:2019-09-10 15:48:07 作者:大盘隆林网 手机订阅 参与评论(0) 【投稿】

联发科P90的AI焦点直播显然就是针对这一体验做出的特殊优化,它与普通直播美颜软件最大的区别就是调动了底层硬件,并配合AI边缘计算、特殊编码来实现三方协作,得益于每秒高达11270亿次的定点乘累加能力,可以通过人脸侦测引擎使(AIISP)来进行高强度的运算,这个过程中可以熟记和锁定画面焦点的细节特征,在弱光和运动条件下实时准确地检测人脸和场景。值得一提的是,目前除了联发科P90外,还没有其他的SoC具有这种功能。

资料图:新年期间的巴黎香榭丽舍大道。

指导意见提出,鼓励学校积极参与实施1+X证书制度试点,将职业技能等级标准有关内容及要求有机融入专业课程教学,优化专业人才培养方案。同步参与职业教育国家“学分银行”试点,探索建立有关工作机制,对学历证书和职业技能等级证书所体现的学习成果进行登记和存储,计入个人学习账号,尝试学习成果的认定、积累与转换。

其实在联发科P90的AI焦点直播推出前,就已经有不少的第三方直播美颜软件,但这些软件更多意义是让整个直播画面变的明亮,或者是简单的提升直播主的肤色等,不仅存在画面失真的情况,而且能使用的平台单一,无法跨直播平台使用。换句话说,直播美颜更多是直播平台自家的后台算法针对人脸侦测,既无法实时实现画面焦点的优化,也无法做到非人脸的局部焦点编码,体验相当的局限。

首先我们来解释下AI焦点直播的意思,实际上这是联发科HelioP90芯片上的一项全新AI应用。简单来说,就是当用户使用搭载联发科HelioP90平台的智能设备进行直播时,直播平台会启用P90的AI编码框架,配合APU2.0的算力,找出直播过程中被认定为重点的区块进行高码率编码,而不重要的区块则减低码率。

宁波海关缉私警察对相关毒品案进行证据固定。宁波海关供图

很多用户持疑,其他芯片不能实现AI焦点直播功能吗?其实AI焦点直播的背后是强大的AI算力需求,传统的CPU运算能力和GPU图形编码能力不足以支撑这种新型的视频直播方案。

目前联发科技P90的焦点直播技术则是基于APU2.0模块提供的强劲AI算力(根据跑分显示,P90的AI算力已经超越高通855),通过摄像头捕捉到的人物头面部画面,APU将该区域在系统内做特殊标注,分析影片中的纹理、边缘锯齿、颜色等信息,主动定义可能含有面部特征的ROI区域(RegionOfInterest,感兴趣区域),针对这些区域每秒可实现上亿次运算,最终能带来精准的焦点锁定与优化,实现码率与视频压缩质量的提升。

如此一来,可以让有限的网络频宽保留给重要的物件,例如人脸、玩偶等焦点,实现在正常光线下对直播主的美颜美肌、暗光环境下优化直播主核心的面部特征的技术特征,让直播主这个“实时焦点”显得更加突出。很有意思的是,联发科这项技术在发布之后就受到了大量直播用户的关注。

传统移动终端负责视频解码的硬件主要由CPUGPUDSP这三大部分来完成,其中DSP负责的称之为硬解码,而CPU则作为辅助软解码运算。但是他们的缺点都十分明显,DSP作为硬解码方案,算法已经完全固定下来(部分可以通过固件更新),所以只能解码它所支持的,如果对编码处理不同有可能就无法解码成功,进而导致直播过程中产生花屏卡顿甚至绿屏的情况出现。而CPU软解码对于算法的扩展能力虽然比DSP强,但是其本本身就是耗电大户,随着直播清晰度的提升,做高强度的软解将大量的消耗终就不宽裕的电力资源,这对于移动终端来说是致命的缺陷。

近年来直播行业风生水起,各大互联网巨头都纷纷推出自家直播产品进行市场份额争夺,导致移动直播也成为火热的垂直领域。不过由于直播产品的特性:高时长使用、网络高度依赖、资源不匹配差等,成为了制约用户体验的难题,虽然直播平台虽推出了一系列解决方案,但是效果并不明显,本质上仍需要直播平台、移动平台、算法平台等多方协作。

借助于AI算力,联发科P90对噪点的控制会比传统的CPU和DSP方案有更好的效果。而更重要的一点在于AI引擎的运作大大降低了CPU和DSP运作的强度,对于电力敏感的移动终端来说,极大的提升的续航能力,进一步提升直播中的用户体验。

据媒体报道,8月6日21时10分左右,梓木戛煤矿发生一起煤与瓦斯突出事故,致4人死亡9人失联。事故发生后,当地各有关部门迅速赶往现场开展应急抢险工作。经过救援人员近50个小时连续奋战,8日23时许,9名失联人员全部找到,但均已无生命体征。事故现场抢险救援基本结束,死亡人数升至13人。

翻看社交平台,这样的质疑比比皆是。还有网友晒出第一台贩售的数码相机,称“莫迪用的肯定是这款”。

对于直播来说,用户体验显然是最重要的。例如不少用户都会遇到视频卡顿、帧数过低,甚至是画面大面积模糊这类情况,这当中除了网络环境会带来相关差异以外,直播所使用的移动终端对高清图像解码能力的差异也会带来巨大影响,也因此导致了上游IC芯片厂商强化了直播的用户体验。我们注意到近期发布的联发科HelioP90将时下最前沿的移动AI技术结合直播,独特的AI焦点直播确实给用户体验带来很大的提升。

24日下午,商务部副部长钱克明在“第五单元:推动全方位对外开放”论坛上发言。(摄影:于凯)

赛事全面升级,满足用户不同场景所需

湖南一对40多岁的夫妻游走浙江、江苏、江西15个城市,在书店偷得价值12万元的书籍2800余本——澎湃新闻(www.thepaper.cn)1月8日从浙江金华市婺城区检察院获悉,这对夫妻已被以涉嫌盗窃罪提起公诉。

此前有媒体报道称,美籍牧师安德鲁•布伦森因恐怖指控而被关押在土耳其监狱里近两年,他于7月25日开始被放出监狱、在家软禁。据土耳其新闻电视台29日报道,美国总统特朗普要求土耳其立即释放这名牧师,并警告说,美国将针对“土耳其长期以来的拘留行为实施大规模制裁”。

法庭的轻判引起韩国舆论的强烈不满,人们纷纷指责法律的漏洞,并举行多次抗议。

2月底,甘肃临夏州和政县迎来春雪,河州大地一块块农田被覆盖了厚厚的积雪,皑皑雪白中透露着乡村特有的安静与祥和,乳白色的雪雾掠过树梢,整个山间仿佛披上一层白纱,宛若山水画卷。韦德占 摄

整体来看,联发科P90的AI焦点直播确实是切中了直播业平台和用户的痛点。在全民直播的时代,高清画质输出意味着平台方需要不断加大带宽成本的投入,对于不少中小型平台来说是相当难以承受的开支,而HelioP90将原先只能在B端(平台方)寻求解决方案的问题,转而通过C端(用户方)设备进行强力的辅助和优化,对于促进直播产业的发展和效率提升也有着相当大的帮助作用。

赏花灯、看表演、品美食,感受传统春节文化;吃糖画、学剪纸、制作纸灯笼,现场欣赏非遗展示……精彩的新春庙会为京城百姓带来了不少乐趣

既然联发科P90具备AI焦点直播功能,具体能带来怎样的效果?简单来说通过AI焦点直播不只做到传统的美颜美肌美白瘦脸,还不只做到传统的美颜美肌美白瘦脸,还可以让直播主的面部更清晰,有效降低人物面部MPEG编码所造成的马赛克效应,目前用户通过联发科HelioP70、P90的手机都可以享受到AI焦点直播的魅力,下一步虎牙直播、斗鱼直播、YY直播、抖音等都有希望会接入到联发科P90的解决方案中,甚至未来微信视频、QQ视频,乃至厂商自家开发的在线视频串流功能都同样可以实现AI焦点直播的效果。

上涨概率较高

AI焦点直播的背后,强大的APU2.0提供算力支持

聚焦面部特征展现,AI焦点直播大幅提升用户体验

周效表示,到2020年,该项目将大规模推向国内外市场,销售收入预计将达到1500万元人民币。(完)

据悉搭载联发科P90的智能手机将在2019年第一季度上市,届时将刷新智能手机在直播上的体验。得益于几代产品在AI上的铺垫,联发科已经把智能的触角应用到分类管理、物体识别、拍照相机、语音文字识别和SR高清分辨率领域,并串联起包括智能手机、智能电视、物联网设备等在内的终端产品,不仅提高了用户体检,也定义了新高端的品牌定位,更提高了品牌价值,走出了不一样的AI之路。