手机拍图软件 清晰 为什么华为手机拍摄如此清晰,原来这些幕后工程师

用户投稿 16 0

为什么华为手机拍摄如此清晰,原来这些幕后工程师

2011年,我入职华为。大队培训时讲的“工匠精神”令我印象深刻,没想到,这个词贯穿了我此后的职业生涯。过去十年,我一直奋斗在对焦领域,这一路充满了酸甜苦辣,但身上始终有一股“劲”在激励着我不断前行。

手机拍图软件 清晰 为什么华为手机拍摄如此清晰,原来这些幕后工程师

勇于尝试,开启手机对焦业务

入职华为2012实验室后,我的经历并不是一帆风顺。

手机拍图软件 清晰 为什么华为手机拍摄如此清晰,原来这些幕后工程师

当时,即时通信软件风生水起,大家怀揣理想,也希望能够做出这种深受办公用户喜爱的即时通信软件。然而现实很骨感,我接手的第一个项目便夭折。三年时间里,眼见跟我同期入职的小伙伴们一个一个离开了,我也动摇过,但最终一股“不甘心”的劲将自己拉了回来。我还没做出让客户满意、让家人自豪的产品,不能就这样灰溜溜地走了。

恰逢2014年底,部门业务开始大幅调整,我被分到了媒体开发部对焦项目组,迎来了从零开始的机会。虽然大家可以说是该领域的“小白”,并不清楚对焦在手机相机中原理,更别提对焦相关的算法了;但其实大家又不算是一无所知,因为对比度对焦和双目对焦都离不开图像处理算法,而我们恰好都有图像处理的背景。

对焦,作为手机相机成片质量的基础,其重要性不言而喻。少了它,再美的风景也只能定格成一片模糊。人的眼睛是通过调整晶状体的弯曲程度来实现合焦,视物才变得清楚,而调整晶状体的达到清晰过程就是对焦。对焦不仅依赖于算法本身,还跟手机相机中许多器件相关,如“温度传感器”“陀螺仪”“防抖马达”等,对工程经验的要求很高。因此当时国内的手机厂商,几乎没有一家自研对焦算法,多数依赖国外大厂的技术,国内研究该领域的老师也是寥寥无几。

此时,部门果断砍掉了跟手机拍照不相关的业务,这让大家感受到了部门将专注做好手机拍照的决心。不仅如此,2014年9月华为Mate 7发售时,便以3000元以上的定价成功销售了超400万台,大家对手机拍照的前景也充满信心。

“创业”初期是艰难的。最开始,媒体开发部LM(资源线主管)熙总给大家画了一个“大饼”——对焦技术要做到业界第一。这么高的目标,实在有些天方夜谭,但大家两眼放光,像饥饿的狼群一样,渴望成功。熙总作为我们的带头大哥,在白板上给我们讲解原理、指导我们写代码。

关键时刻,终端Camera算法专家郭博和Kirin(华为麒麟芯片)解决方案软件开发部的副部长红军带队加入,三方齐心协力,组成了当年公司最强的对焦阵容。为了攻克模组对焦标定问题,郭博到模组厂、产线等现场攻关;为了保证软件的鲁棒性,红军亲自为我们操刀软件架构……

我来到新项目组的忐忑和不安逐渐消散,不再迟疑,大干一场吧!

你追我赶,手机对焦进入了一线

2015年,我们自主研发了对比度对焦算法和相位对焦、对比度对焦的混合对焦算法,有效改善了夜景场景图像模糊问题。2016年10月,经过一年多的摸索,我们不仅逐渐掌握了对焦的相关技术,还乘胜追击,自主研发了对比度对焦、激光对焦、双目深度对焦和相位对焦(外购算法)的四合一对焦系统,使对焦性能提升了30%以上。这一技术成为P9和Mate 9发布会的卖点特性,助力P9成为首款销量超千万的旗舰机型。我们跟竞品差距越来越小,这一小步,是关键技术突破的一大步。

为了超越竞争对手,我们将对焦系统进行了端到端的详细分解。首先从分析与对焦相关的器件如激光、马达和模组等开始,尽管我们在对焦算法方面取得了巨大进步,但在硬件方面仍有很多未知领域,因此,先要跟公司内外的硬件专家学习。半年多时间,我频繁往返于杭州和上海,与WeLink“网友”见面,有时会遇到尴尬的小插曲,有时心里充满了敬佩,有时会因共情小酌一杯……

为了准确识别和分析问题,我采用了“三现原则”,即亲自去了解现实情况、亲自去现场和亲自看实物、接触实物。有一次,为了分析对焦标定精度问题,我长途跋涉,前往模组厂进行现场分析。进入生产车间的过程非常繁琐,从细致的安检到全身武装的防护服穿戴,以及最后“风淋室”清洁,确保不带入一粒尘埃。这些动作很像我们分析问题的方法,都需要一丝不苟 。这些现场交流的经历和获取的数据,为后面方案设计提供了宝贵的材料。

当时,外购的相位对焦算法在弱纹理和人脸场景精准度不够,导致部分场景存在图像轻微模糊的问题。2012实验室因此在对焦领域招聘了大量外籍专家,由于专家们未接触过华为手机交付,虽然他们的算法能力很强,但对问题并不是很清楚。为了尽快攻克该算法,2016年底,我担任项目经理,出差境外开启了为期两周的闭关研讨,将项目存在的问题和大家讲清楚,但这第一步却难倒了我。

在没有翻译的情况下,我只能逼迫自己如机械打字机一般,一个一个单词艰难往外“蹦”,当我找不到恰当词汇来表达时,会议室的白板充当了我的知心助手。好在孰能生巧,慢慢地,我这台“机械打字机”渐入佳境,需要在白板上写写画画的辅助内容也越来越少。这一转变让我深受触动,勇敢迈出第一步,就是成功的第一步。

随后,我和大家对齐了项目目标——相位对焦达到竞品水平,并制定开发计划。但在研讨方案时,他们的探讨内容从时域讲到频域的转换,从三角函数讲到傅里叶变换的应用,从双线性插值讲到熵的计算方法……此时我发现自己只能安静地做一个听众。尽管自己从事对焦开发工作超过一年了,但对这些领域还是有些陌生,随后几天,我也是在攻克数学公式中痛苦度过。

回杭州后,我立刻沉浸于当时记录的10页沉甸甸的笔记中,广泛查找相关论文,并努力学习数学公式。有时复杂得张牙舞爪的数学公式实在令人望而生畏,但我一想到国外老专家为了更好地跟我们交流,60多岁的他仍坚持每周参加1个小时的汉语补习班;还有一位知识渊博的国外专家,为了算法仿真,50多岁开始学习C++语言。这种活到老学到老的例子就在身边,我又有什么理由放弃呢?他们一直激励着我,提醒自己刨根问底、不可懈怠。

不知不觉,打印的论文已经堆叠成山,也正是这100多篇论文,让我深入理解了专家们的方案原理。接着,我带领同学们进行算法开发,过程中,大家有时会为某个公式的理解讨论得面红耳赤,有时会为某个函数的性能费尽心思,有时会为一行代码斤斤计较……正是大家的一丝不苟、精益求精,才有了后来手机对焦的荣耀。

经过一年多的努力,我们成功改善了痛点场景——弱纹理和人脸场景的对焦问题,精准度提升8%,对焦性能提升了20%以上,支撑了P20的发布会卖点“4D预测追焦功能”,更在三方测试中对焦媲美竞品,助力P20成为最强拍照手机。

破茧,手机对焦业界第一

2019年5月,A国制裁对手机拍照业务构成了巨大的冲击。首先,对焦强依赖于器件的精度,而此时国产化的马达和驱动等精度略差于对手,对焦竞争力不足的问题就凸显出来了,迫切需要算法升级来弥补硬件问题;其次,对焦算法经历多年的迭代,代码量从开始的几千行增加到十几万行,模块间的耦合度高、补丁多,新入职的同事很难在短时间内读懂代码;最后,人才流失严重,过去的长期集中交付带来的压力和对创新的忽略,让组内的同学流失较大,当年对焦组里的“琅琊山五壮士”只剩下了三壮士。因此,算法创新势在必行。

旧算法虽然和亲儿子一样难以割舍,但其中的问题我们都非常清楚,再不发生质的改变就可能夭折。此外,外部制裁也给了产品交付一个喘息的时机,大家反而有思考的时间了。痛定思痛,我们决定进行算法创新,这一想法得到了LM敏姐的大力支持,同时也给我们提出了宝贵的意见:大胆创新需要“科学”的理论指导。

获得“科学”的理论,那就需要严谨的数学公式。基于前期积累的数学功底和大家不断的公式推导,我们得到了视差、模糊以及马达位置等一系列数学公式,这也成为我们后续成功的关键。

2020年6月,我带领小伙伴再次踏上了一条突破之旅。我们的目标是通过算法从0到1的突破,构建极简架构,实现对焦准确度和对焦速度超越传统算法,对焦超越竞品。

既要招人,又要保交付,还要创新。虽然前途有很多不确定性,但是敏姐给了极大支持,不仅支持团队招人,还给我们配置了一名资深的SE,让我们信心十足。就这样一边招人,一边喝咖啡吸收宇宙的AI能量,一边啃论文,大家逐渐找到了感觉。经过一年多的努力,团队也迅速扩容,从原来3人壮大到了7人,走上了正轨。新人辈出,虽然挑战重重,但大家勇于探索,且编程能力很强。在我和SE两个“老人”的指导下,实现了80%的场景超越传统算法,大家非常兴奋,一度认为胜利就在眼前。

但未曾想,剩下的20%成了我们的梦魇。数据鲁棒性不足,标签准确性难以评测,网络的可解释性也很差……经过3个月尝试,更多是失败的结果,团队信心大受打击,甚至开始质疑是不是这条路走不通。因为这条路业界没人走过,大家心存疑虑,但前面验证的“科学”理论又让我坚信,这条路是可以走通的。

坚持的过程犹如浪里行船,中午吃饭,晚上睡觉,这些梦魇反复萦绕在我的脑海中。“长尾效应”“图像模糊评测”“消融实验”……越想越是一团浆糊,我喝咖啡越来越频繁,收益却越来越少。看来对焦领域专项后面的路,还是得靠我们自己解决。无路可走时,我们静下心来,不断尝试。有时,大家为某个观点争论得面红耳赤;有时,大家为某个迸发的火花热烈鼓掌;有时,大家为某个观点废寝忘食……经过长时间尝试,最终通过回归图像模糊的第一性原理解决了这一复杂问题,这再次证明了基础理论的重要性。从基础出发的视角不仅简化了解决方案,还深刻地揭示了问题的本质。

人生路上,有了坚持不一定成功,但若是没有坚持,就注定会失败。虽然对焦效果超越了传统算法,但制裁导致产品对功耗非常看重。新的对焦算法想要落地产品,既要效果好,又要功耗低。当时我跟组内小伙伴信心十足地去上海给产品侧汇报,结果领导只问功耗如何,我们答:“增加了8mA(毫安)。”两分钟不到,汇报结束。这让我们感到失落,当晚大家一起聚餐互相鼓劲,第二天回杭州继续奋战。

为了不打击小伙伴们的积极性,我没提汇报的事情。面对团队,我提出了新的攻关目标,性能优化,功耗不能增加1mA。在这毫无硝烟的战场,战略非常重要,为了让小伙们有章法,我找到了终端硬工Camera算法平台技术部的专家栋哥寻求支持,我们的算法一旦落地,能使相机“抓拍”的成片率提升20%以上。这样的效果打动了栋哥,他答应联合开发,并派遣组内大将当时的PL常思雨给我们把脉。

思雨很快给我们列出了优化清单,网络架构优化、量化和硬件亲和算子开发等。紧接着,通过“神经网络结构搜索”“知识蒸馏”“遗传算法”等优化网络结构,眼看着性能逐步的提升,大家热情高涨。首战功耗降低了20%,但离目标还有一定距离,为了结合华为手机图像处理芯片的网络架构,我们跟kirin AI算法与解决方案的专家合作,设计了亲和硬件的算子,又过了两个月,最终达成目标功耗降低了50%,智能对焦算法正式在Mate 50产品上落了地,不仅达成了“抓拍”的目标,而且第三方评测机构(DXO)拍照对焦评分首次超越竞品,引领智能对焦的新篇章。

两年多的时间,正是这股“劲”支撑我们不断坚持,实现了算法的创新。鲜花的背后,是无数次失败的积累,是大家执着的汗水。

随后两年,我们持续创新和突破,将众多不可能变成了可能:为了持续降低功耗,我们跟兄弟部门合作实现了硬件亲和的网络架构,功耗降低到传统算法的50%;为了提升效率,我们建立了通用可迁移的网络架构,模型训练的性能提升了3倍;为了极致用户体验,我们实现了全焦段、视频和拍照统一极简AI架构,代码大幅度精简,第三方评测机构(DXO)拍照对焦评分大幅度超越竞品。与此同时,团队的力量也在不断壮大,梯队建设日益完善,成员规模从最初的3人扩展至如今的11人。

我把这股“劲”归纳为“工匠精神”,这也是我们做技术的人不断追求的精神。过去已成为历史,希望在新的起点上,和同学们继续坚持“工匠精神”,并肩作战,将手机拍照做成用户满意、家人自豪的产品。

一台胶片感十足的手机相机,vivo S30 Pro mini影像表现出色

真正的影像高手,懂得用镜头翻译不可言说的氛围。vivo S30 Pro mini将环境情绪编码为视觉语言,负片滤镜的温暖叙事,蓝调影调的静谧张力,正片模式的自然呼吸。如果说现代手机影像的趋势是追求清晰与真实,那vivo S30 Pro mini则更进一步,在真实基础上叠加“氛围感”与“电影感”,让每一张照片都有故事。

手机拍图软件 清晰 为什么华为手机拍摄如此清晰,原来这些幕后工程师

这款手机搭载了5000万像素的索尼IMX921大底主摄,以及同样为5000万像素的IMX882潜望长焦镜头,组成了一个强大的双旗舰影像系统。在日常拍摄中,无论是清晨微光还是夜色朦胧,画面依然清晰明亮,细节充沛。尤其是长焦拍摄部分,即便拉至10倍,也没有明显的画质损失,这点非常打动我。

手机拍图软件 清晰 为什么华为手机拍摄如此清晰,原来这些幕后工程师

此外,S30 Pro mini的“胶片感Live照片”也让我眼前一亮。经典负片滤镜让照片自带温暖感,像是用老式相机拍下的街角时光。经典正片和清透蓝调则分别适用于自然风景和清新生活记录,不管选择哪种风格,照片都能瞬间拥有独特的视觉情绪。这次S30 Pro mini的核心卖点之一是希区柯克变焦实况功能。轻轻推移机位,就拍出了“主角定格、背景流动”的震撼实况动图。这种动感处理几乎是我第一次在手机里体验到,操作简单却有极强的视觉冲击力,哪怕不会剪辑也能轻松拍出短视频大片。

手机拍图软件 清晰 为什么华为手机拍摄如此清晰,原来这些幕后工程师

结合强大的画质表现、创新的玩法以及丰富的影像氛围风格,vivo S30 Pro mini几乎可以称得上是一台真正意义上的“氛围相机手机”。对于热爱记录生活、追求画面美感的用户来说,它绝对不容错过。

相关问答

请问用手机拍摄的考试卷子不够清晰,怎样可以把那个图变得清晰?

可以找一部像素好的手机重新拍照,或者通过PS软件进行提高清晰度处理,能拍的话最好是重拍,因为PS虽说可以提高清晰度,但也是有限的。可以找一部像素好的手机重...

realme11拍照清晰怎么设置?

1.首先打开手机,点击“设置”界面,进入点击“相机”选项。2.然后点击“格式”,选择“高效模式”。3.若拍摄时抖动,或是没有聚焦,可以点击画面,使对焦清晰...

什么手机拍视频能看清浮漂,或者数码相机也行,求推荐?

我觉得现在的技术越来越先进,手机功能越来越多,大多数的拍照手机有效像素比较高的,有长焦距的都可以看到浮漂吧。当然,还得看你怎样拍,你还得要懂点拍照技...我...

行车记录仪怎么没有手机视频清楚?

这个需要看行车记录仪的硬件设备。在购买行车记录仪的时候,商品详情或者店员会介绍产品的一些参数,如果想要高清的录制效果,就需要去仔细看一下具体拍摄的清晰...

oppo手机的录屏功能怎么调节高清画质?哪里设置?

谢邀,OPPO手机的录屏是可以调高清画质的,操作也比较简单。以OPPOReno6系列手机为例,具体路径为设置——便捷工具——屏幕录制,点进去即可看到关于画面的调整...

无他相机和美颜相机拍视频哪个清晰?

对画质要求不是很高的话,美颜挺不错的。对画质有有要求的话,可以用原相机先拍了之后后期制作的时候,用滤镜也是可以的。对画质要求不是很高的话,美颜挺不错的...

安卓哪个牌子手机拍视频最清晰?

用哪个牌子手机拍视频最清晰,现在主流的安卓手机都是华为,小米,OPPO,vivo,努比亚这些牌子,其实现在新出的手机在拍照和拍视频方面都是做得很好的,就算是不...用...

行车记录仪和手机拍视频谁更清晰?

行车记录仪更清晰.在相同的分辨率下,手机需要更大的数据比特率来保证视频的清晰度.手机视频稍作降质处理那个线条就会变得很难看.两者间的区别就相当于专用处...

手机拍照的试卷打印出来不清楚如何处理?

1推荐一:全能扫描王App。【下载安装】:在应用市场下载安装全能扫描王。2【相机】:打开APP,进入首页,在页面右下角点击相机图标。3【拍题】:进入拍摄画面...1推...

为什么剪映专业版没有手机版清晰?

有以下几种可能会导致,用剪影专业版会比手机版的影片导出来的模糊。第一种可能就是,你在使用专业版的时候,导入视频的时没有选择原画质,也就会导致,导出来...

抱歉,评论功能暂时关闭!