苹果的AI战略是什么

EOS游戏 4周前 (09-23) 科技 30 1
苹果的AI战略是什么 第1张

说到AI,大家也许会想到Google、Facebook、Amazon这些玩家。毕竟,他们有AI明星,有数据,而且又比较高调。相比之下,苹果似乎站在反面,最早被认为是AI代表的Siri还成为大家取笑的对象。但实际情况果真如此吗?Samuel Axon采访了苹果AI的负责人John Giannandrea,也许你会发现,苹果的AI之路其实也不简单。



苹果的AI战略是什么 第2张在使用Pensil的时候,机器学习就用在iPad的防止手掌误触技术上,这一点我们早就有所了解了。



机器学习(ML)和人工智慧(AI)现在已经渗透到iPhone几乎所有的功能里面,但是跟其他竞争对手不一样的是,苹果并未吹捧这些技术。出于想多了解苹果做法的考虑,我花了一个小时的时间对苹果的两名高级主管进行访谈,讨论该公司的战略,以及所有基于AI和ML的新功能对隐私的影响。



从历史上看,苹果公司并没有在这一领域领先的公众声誉。部分原因是大家会把AI跟数位助理关联在一起,而评论的人经常说Siri的作用比不上Google Assistant或Amazon Alexa。至于ML,很多技术爱好者认为,数据更多意味着模型更好,但是苹果并不像Google那样,有着爱收集数据的「名声」。



尽管如此,苹果仍为自己的大多数设备配备了用于处理机器学习任务的专用硬体。机器智慧驱动的功能越来越多地成为苹果高级主管为iPhone,iPad或Apple Watch推出的新功能站台的主旨演讲的焦点。今年下半年,引入苹果晶片的Macs也将为该公司的笔记型电脑和桌上型电脑带来许多相同的机器智慧型技术。



在苹果发布晶片之后,我跟苹果负责机器学习及AI战略的高级副总裁John Giannandrea以及产品行销副总裁Bob Borchers进行了深入交流。他们阐述了苹果公司的AI哲学,解释了机器学习是如何驱动其特定功能的,并热情洋溢地介绍了苹果的设备内建AI / ML战略。



苹果的AI战略是什么?

Giannandrea和Borchers都是在最近几年加盟苹果的。这两人以前都在Google待过。不过Borchers其实是二进宫。在2009年之前,他一直担任著iPhone的市场行销高级总监。2018年Giannandrea从Google叛逃到苹果这件事曾被媒体广泛报导,因为他的位置——曾是Google的AI和搜寻主管。



Googe和苹果是截然不同的两家家公司。Google因为参与,并且在某些情况下领导了AI研究社群而享有声誉,而苹果在过去大部分的工作都是秘密进行的。近年来,这种情况已经有所变化,因为机器学习为Apple设备的众多功能提供了强大动力,并且Apple增加了与AI社群的互动。



Giannandrea(同事喜欢叫他「JG」)告诉我说:「我加入苹果的时候已经是iPad的使用者了,而且我也很喜欢Pencil。所以,我找到软体团队,问他们『负责手写的机器学习团队在哪儿呢?』结果却找不到。」 实际上,他想找的团队并不存在——鉴于机器学习是当今适用该功能的最佳工具之一,这一点令他感到惊讶。



他说:「我知道到,其实有很多的机器学习是苹果应该做的,但令人惊讶的是,苹果并没有把那些都做了。不过,在过去的两到三年时间里,情况已经发生了巨大变化。说实话,我真的认为在未来几年之内,iOS或苹果体验的各个方面都会被机器学习所变革。」



我问Giannandrea为什么他认为苹果对他来说是个合适的地方。他的回答同时也是该公司AI战略的简要概括:



我认为苹果一直都代表着创造力与技术的交汇。而且我觉得,在考虑开发智慧体验的时候,进行从app到框架乃至于晶片的垂直整合至关重要……我认为这需要一个过程,但这就是我们的运算设备的未来,就是设备变得更智慧化了,但是是那种潜移默化的智慧。



Borchers对此也表示赞同,并补充说:「这显然就是我们的做法,我们所做的一切都是『让我们把焦点放在好处是什么方面,而不是怎么实现的。』在最好的情况下,一切都变成了自动的。你看不见它……只关注发生了什么,而不是它是怎么发生的。」



再以手写为例,Giannandrea认为苹果在开发机器智慧驱动的功能和产品方面处于「行业领导」的位置:



Pencil是我们做的,iPad是我们做的,我们还为这两个做了软体。这是把工作做得非常非常好的一个独特机会。我们在什么地方做得特别好呢?让大家做笔记,在数位化的纸上发挥他们的创造力上面。我感兴趣的是,看到这些体验在世界范围内得到大规模的使用。



他把这个跟Google进行了对比。他说:「Google是一家了不起的公司,并且有很多非常出色的技术专家。但是从根本上说,他们的商业模式是不同的,而且他们出名的不是提供数亿人使用的消费者体验。」



今天的苹果是如何运用机器学习的?

苹果在最近的行销示范里面已经习惯于把iPhone、Apple Watch或iPad的某些功能的改善归功到机器学习身上,但他们的介绍很少会涉及到太多的细节,而且大多数购买iPhone的人基本都没看过这些示范。这与把人工智慧作为面向消费者宣传的中心的Google形成了鲜明对比。



苹果的软体和设备大量使用机器学习,其中大多数都是在过去几年的时间里才出现的。



机器学习用来帮助iPad的软体区分使用者在用Apple Pencil画图的时候,究竟是有意按压提供输入,还是不小心将手掌压到了萤幕上。机器学习还被用来观察使用者的使用习惯,进而最佳化设备的电池续航时间以及充电,既可以用来改善使用者在两次充电之间的使用时间,又可以用来保护电池的长期使用寿命。它还用于提供app推荐。



然后就是Siri,也许任何一位iPhone使用者都会马上把它看成是人工智慧。从语音辨识到提供有用答案的尝试,Siri的各个方面均由机器学习驱动。



娴熟的iPhone机主可能已经注意到,苹果的「照片」APP能够自动把图片分类到预设的图库里面,或者当你在搜寻框输入朋友Jane的名字时,就能够准确地把她的照片呈现在你眼前。



在其他一些情况下,很少会有使用者会意识到背后有机器学习正在发挥作用。比方说,每次你按下快门键的时候,其实iPhone可能会快速连续拍摄多张照片。然后,经过ML训练的演算法会分析每一张图像,并把它认为是每张图像里面最好的部分提取出来然后合成为一张照片。



苹果的AI战略是什么 第3张Apple Watch里面的洗手辅助功能背后有AI的支持。



手机很早就内建了用于(数位化的、即时的)改善照片品质的图像讯号处理器(ISP),但2018年苹果让iPhone里面的ISP跟Neural Engine(该公司最近新增的聚焦机器学习的处理器)进行结合来加快这一进程。



我请Giannandrea列举一些苹果在自家的最新软体和产品里面利用机器学习的不同方式。他举了这么一些例子:



  • 机器学习提供了很多的新体验。比方说像语言翻译、设备的语音指令,或者我们围绕着健康方面提供的新功能,比方说睡眠和洗手等,以及我们过去发布的有关心脏健康的内容等等。我认为iOS里面不用到机器学习的地方会越来越少。
  • 现在已经很难找在不做出一些预测性工作的情况下提供的体验。比方说,app预测、键盘输入预测或现代的智慧手机的镜头背后都会进行大量的机器学习,以找出所谓的「显著性」 ,也就是图像当中最重要的部分是什么?或者,如果你想对背景进行模糊处理,则说明你正在使用人像模式。
  • 所有这些都受益于苹果核心平台内建的核心机器学习功能。所以,这几乎就相当于让你「找出我们不使用机器学习的地方」一样,很难。

Borchers还把便利性功能当作了一个重要例子。他说:「从根本上来说,便利性之所以成为可能就是因为这个。像声音检测这种对于特定社群来说属于改变游戏规则的能力之所以成为是可能,因为我们慢慢积累的投资以及内建的能力使然。」



此外,你可能已经注意到,过去几年里苹果的软体和硬体更新都强调了扩增实境功能。这些功能大多数也是因为机器学习才有可能实现。Giannandrea说:



「扩增实境里面大量使用了机器学习。所谓的SLAM,也就是即时定位与地图构建,是个棘手的问题。不妨试着了解一下,如果你的iPad上装了光学雷达扫描器,然后你带着它四处走动的话,它会看到什么?然后再要去构建一个它实际看到的3D模型。



现在使用深度学习的时候你得能够在设备进行深度学习,因为你希望这可以即时进行。如果你带着iPad到处逛,然后可能又不得不跑到数据中心进行深度学习的话,那就没什么意义了。因此,总的来说,我想说的是,我觉得深度学习尤其赋予了我们将裸数据变成语义化的能力。」



苹果正在不断将机器学习放到设备本地侧进行,在类似Apple Neural Engine(ANE)的硬体上,或者在该公司定制的GPU(图形处理单元)上执行机器学习任务。Giannandrea和Borchers认为,这种做法使得苹果的战略在竞争对手中脱颖而出。



为什么要在设备进行机器学习?

在交谈中,Giannandrea和Borchers均强调,之前看过的功能之所以有实现的可能,是因为所有工作都是在设备本地完成的。



有一种常见的说法是,机器学习可以归结为这个:更多数据意味着更好的模型,这反过来又意味着可提供更好的使用者体验和产品。这就是观察者往往认为Google、Amazon或者Facebook也许是AI统治者的原因之一。这些公司管理著庞大的数据收集引擎,部分是因为是它们运营著在全球范围内已经成为重要的数位基础设施的东西,而且对里面的东西具有完全的可见性。按照这种观点来看的话,有些人会认为苹果的表现差强人意,因为苹果的商业模式不同,而且公开承诺要对数据收集进行限制。



我把这个观点向Giannandrea提出来时,他并没有避而不谈:



是,这种位于数据中心的更大规模的模型多少要准确些的看法我可以理解,但那实际上是错误的。其实从技术上讲也是错误的。最好是在靠近数据的地方去跑模型,而不是到处去移动数据。不管是位置数据(比方说你在做什么)还是运动数据(比方说手机里面的的加速计在做什么),最好离数据源很近,这样也可以保护隐私。



Borchers和Giannandrea均反复指出,在数据中心进行这项工作对隐私是有影响的,但是Giannandrea说在本地处理也与性能有关。



他说:「还有一点很重要,那就是延迟。如果你要向数据中心传输内容,想要以以影格速率来做这件事其实是非常困难的。所以,我们在应用程式商店里面有很多app在做这样一些事情,比方说姿势估计,比方说弄清楚人的走动情况,以及比方说确定他们胳膊大腿在哪里。这些都我们提供的高级API。基本上,只有在你可以用影格速率完成这些人物时才有用。」



他还提供了另一个消费者用例的例子:



假设你正在拍照,其实你在使用镜头拍照之前的时候,镜头就可以即时看到一切。它可以帮助你确定在什么时候拍摄照片。如果这个决定要由伺服器端做出的话,那就得把每一格都传给伺服器,才能决定怎么拍照片。这就没有任何意义了,对吧?所以说,有很多体验是你希望在边缘设备完成的。



当被问及苹果是怎么选择在什么时候在设备做某件事情时,Giannandrea的回答很简单:「只要在设备做的品质达到或超过在伺服器端做,我们就选择在设备去做。」



此外,两位苹果高级主管都认为苹果的定制晶片(尤其是自iPhone 8和iPhone X以来iPhone内建的包含的ANE晶片)是设备处理的前提条件。Neural Engine是苹果设计的八核神经网路处理单元(NPU),用于处理某些类型的机器学习任务。



Giannandrea说:「整个过程经历了好几年的时间,因为五年前在边缘层还没有硬体可以做到这一点。ANE的设计是完全可扩展的。iPad的ANE比手机的ANE要大,后者又要比Apple Watch里面的ANE要大,但是我们所有产品线的app以及开发者的app基本上都是采用同样的的CoreML API层。」



苹果公开谈论Neural Engine的时候,该公司曾分享过它的性能数据,比方说2018年的A12晶片支持每秒5万亿次的操作。但苹果还没有对这种晶片的架构进行过具体说明。这根本就是苹果示范幻灯片的一个黑盒子。



苹果的AI战略是什么 第4张示范片里面的苹果Neural Engine。 



鉴于此,我想知道Giannandrea能不能透露一点Neural Engine在引擎盖之下的工作方式,但他拒绝透露更多细节,而是转移话题。他说app开发者可以透过CoreML(CoreML是一种软体开发API,可为开发人员提供存取iPhone的机器学习功能的权限)收集到自己需要了解的一切讯息。



「CoreML开发人员API非常清晰地概括了我们所支援的机器学习模型以及运行时模型的种类……我们支援的内核种类也越来越多。而且你可以利用任何流行的机器学习框架(比方说PyTorch或TensorFlow),然后编译出你的模型,再交给CoreML。



CoreML的工作是弄清楚去哪里跑那个模型。也许在ANE上面跑模型是做却做法,也许在GPU上或者在CPU上跑模型是正确做法。而且我们的CPU还针对机器学习进行了最佳化。」



在整个对话过程中,两位高级主管完全是将第三方开发人员的app与苹果自己的app相提并论的。也就是说,他们的战略不仅仅只是驱动苹果提供的服务和功能;同时也向大型开发者社群至少开放了部分功能。自2008年应用程式商店推出以来,苹果就一直在依靠开发者来进行进行创新。该公司经常在更新自己的内部开发的app时藉鉴那些开发者提出的想法。



当然,内建了机器学习晶片的设备并非只有苹果一家。比方说,三星、华为和高通都在自家的片上系统里面内建了NPU。Google也向开发人员提供了机器学习API。尽管如此,Google的战略和商业模式跟苹果是截然不同的。Android手机在本地无法完成各种各样的机器学习任务。



有一颗苹果晶片的Mac

我对Giannandrea和Borchers进行采访的重点并不是他们不久前在WWDC上的那个重大宣布,也就是即将推出具有苹果晶片的Mac。但是当我推测苹果要为Mac设计自己的晶片原因之一可能是要引入Neural Engine时,Borchers说:



「我们会第一次拥有一个通用平台,一个可以支援我们以及我们开发人员想要做的事情的矽片平台……。这种能力会解锁一些我们能想到的有趣事物,但更重要的是,它会给其他开发人员带来很多乐趣。」



苹果的AI战略是什么 第5张从技术上讲,第一台拥有苹果晶片的Mac机是:Developer Transition Kit。 



为了说明苹果的机器学习工具和硬体在Mac上面是怎么用的,Giannandrea举了一个具体的例子:



「我不知道你在国情咨文里面看没看过那个示范,但其基本的想法是:对给定影片进行逐格浏览,同时进行对象检测。在我们的晶片上做这件事情要比传统平台快一个数量级以上。



然后,你可能会说:「呃,看起来挺有趣。可为什么说这种做法很有用呢?」 不妨想像有个影片编辑器,里面是有一个搜寻框的,然后你会说:「帮我找出桌上的比萨饼。」 然后它就会跳到相应的影格…...大家会想到要有这样的体验。我们非常希望开发人员能够使用这些框架,然后想出让我们感到惊喜的用法。」



苹果在自己的开发者大会上表​​示,计划从今年晚些时候开始发售具有自家晶片的Mac。



隐私怎么办呢?

在过去几年的时间里,隐私一直是苹果面向使用者的推销语言的核心。它在主旨演讲和市场行销资料里面一再提到这个,同时透过iOS提醒大家去使用相关功能,在接受采访时也经常说这个(本次也是这种情况)。



Giannandrea说:「大家之所以担心AI,显然是因为不知道这玩意儿是什么。他们认为它比看起来更强大,或者他们会用那种科幻的视角看待AI,而且像比尔·盖兹和伊隆·马斯克这样有影响力的人都认为AI是一种危险的技术。」



他认为,其他的大型科技公司对AI的炒作是消极的,而不是积极的,因为那些公司的行销导致「大家担心这项技术」。



「AI」这个术语也许没起到什么帮助的作用。这只会让人想到流行文化里被创造出来的恶棍,比方说Skynet或HAL9000。但是大多数应用人工智慧的专家会告诉你,这种阴暗的结局远非现实。机器学习驱动的技术是存在很多的风险(比方说,继承和放大了人类的偏见),但是AI变成无赖流氓以及会暴力攻击人类这种情况似乎不大可能在不久的将来出现。



机器学习实际上并没有让机器变得像人类一样智慧。由于这样或者那样的原因,许多AI专家(包括Giannandrea在内)提出了类似「机器智慧」之类的替代性术语,用来表明那种智慧跟人类的智慧并没有什么相似之处。



不管采用哪种命名方式,机器学习都可能带来非常现实的危险:对使用者隐私的破坏。一些公司会以机器学习和训练为名义,不断地从使用者那里收集个人数据并将其上传到数据中心。



就像前面所指出那样,此类收集和处理苹果是大量在使用者设备本地进行的。Giannandrea明确表示,该决定是跟隐私权问题关联在一起的。他说:「我认为我们对此持非常明确的立场,那就是我们会在尽可能的情况下在你的设备上部署这种先进的机器学习技术,数据不会离开你的设备。对于为什么我们认为我们的设备更安全或更好或者更值得信赖,我们有一个非常明确的声明。」



他用文字转语音作为体现这一哲学的具体行动示例:



「比方说假设你说「把Bob发过来的邮件念给我听」。这种从文本到语音的合成就会在设备进行,由Neural Engine(Neural Engine + CPU的组合)负责。所以,我们永远也看不到Bob发出的消息内容,因为读取邮件的是你的手机而不是伺服器。也就是说,邮件的内容永远都不会传给伺服器...



这可以说是一个很好的例子,说先进技术既可以改善使用者效能——因为语音是在设备合成的,所以哪怕连接断开,语音合成仍然可以工作,但同时还有保护隐私方面的作用。其实要做到这一点是非常困难的。要在可以放进口袋的设备上合进行高品质的[文本到语音]的合成,需要付出大量艰苦的工程努力。」



当然,在很多情况下,你得利用部分使用者数据进行机器学习。那么,苹果究竟是怎么利用那些进行处理的使用者数据呢?Giannandrea解释说:



「一般而言,我们会有两种建模的方式。一种是在哪里收集数据并打标签就在哪里建模,很多时候都是这种情况。在某些情况下,我们会让使用者捐献自己的数据。最著名的例子就是Siri,当你安装iPhone的时候,我们会问:「你能不能帮助我们改善Siri?」



在这种情况下,使用者会将一定数量的数据捐赠给我们,然后其中很小一部分会用来进行训练。但是,我们这里讨论的很多很多东西(比方说手写),我们是可以收集到足够的数据来对模型进行训练的,那样的模型基本上只需要利用每个人的手写数据即可,根本不需要利用任何其他消费者的数据。」



最近已加入了一些要求使用你的数据的提示。去年夏天,一份报告表明Siri被意外启动后正在记录使用者的讲话;而负责Siri功能品保障品质证的承包商也会收听一些录音。



作为回应,苹果承诺,在使用者明确选择共享录音选项(在iOS 13.2推出)来帮助改进Siri之后,自己只会储存与Siri相关的音讯,然后会在内部完成所有的保障品质工作。我问苹果在数据处理方面做法与承包商相比有何不同。Giannandrea回答说:



「我们有很多保障措施。比方说,我们有一套流程来辨识音讯是否给语音助理使用的,而这个流程跟审核音讯的流程是完全分开的。所以说,我们在内部做了很多事情来确保我们没有捕捉然后丢弃任何不应该记录的音讯。



但是,如果你不愿意做保障品质(功能改进)的话,那个你永远也没法得到改善。正如你所知道的,机器学习得由你不断去加以改进。为此,在把保障品质工作放回内部做之后,我们还对工作流和流程进行了全面改革。我们有着改进助理的最好流程之一,而且是在保护隐私的前提下,对此我非常有信心。」



显然,苹果正在寻求把隐私保护作为自家设备的一项关键功能。对于Giannandrea来说,他是真心相信这一点的。但这也可以帮助苹果发展市场,因为在行动领域,苹果的最大竞争对手在隐私方面的记录要差得多,而且随着使用者越来越关注人工智慧对隐私的影响,这让苹果有了蚕食对方市场的可能性。



在整个访谈过程中,Giannandrea和Borchers均强调了苹果战略的两个基本点:1)在本地执行机器学习任务的性能更高; 2)对「隐私保护」(Giannandrea反复强调这个)更好。



黑箱的内部

苹果在过去很长一段时间内基本上都是暗地里在进行AI功能的开发工作,不过在最近几年,苹果对机器学习的重视力度已经有了极大的提高。



公司会定期发布消息,还进行学术赞助,奖学金计划,赞助实验室,参加AI / ML会议。苹果最近还重新推出了一个机器学习部落格,在其中分享了自己的一些研究成果。而且苹果还掀起了招聘狂潮,不断挖掘机器学习领域的工程师及其他人员,其中就包括两年前挖来的Giannandrea本人。



还记得Giannandrea前面说过的话吗?他说自己很惊讶Pensil为什么没有利用到机器学习。然后他目睹了实现这一目标的团队的组建。随后,他们跟其他团队一起,做出来靠机器学习驱动的手写功能,这构成了iPadOS 14的基石。



Gianandrea说:「我们苹果拥有很多出色的机器学习人才,我们会继续聘用他们。我发现,苹果很容易就能吸引到世界一流的人才,因为有一点已经变得越来越明显,那就是机器学习对于我们想要为使用者打造的产品体验至关重要。」



稍微停顿一下之后,他又补充说:「我想我面临的一个最大问题是,我们最雄心勃勃的产品里面有很多是我们没法说出去的,所以这稍微会给我们的说服工作制造一些挑战,『来我们这里工作吧,我们在做着最雄心勃勃的东西,但是我不能告诉你那是什么。』」



如果大型科技公司和风险投资可以相信的话,那么人工智慧和机器学习会在未来几年变得更加普遍。不管怎样,Giannandrea和Borchers让我们清楚了一件事:那就是机器学习现在在苹果产品当中扮演着重要角色,而且消费者每天都在使用的很多功能都有它的影子。等到今年秋天Mac也使用Neural Engine之后,机器学习在苹果所扮演的角色也许还会加大份量。



今年度 Sony 的公司报告中,简要说明了调整游戏销售思考逻辑的几个主要原因

在 Sony 近日发表的 2020 年度公司报告中,他们表示,未来将会有更多第一方 PS 游戏作品,陆续登上 PC 平台,《死亡搁浅》与《地平线:期待黎明》不过只是个开始。 一直以来 Sony 都十分坚持,自家的第一方游戏只能发表于自家的游戏主机,也就是 PlayStation 家族平台,经常都还会选择独占,但随着《死亡搁浅》跟《地平线:期待黎明》破格登上 PC,Sony 也正式宣告,未来的作品销售策略将会有相当大程度的转变。 Sony 指出,将第一方 PlayStation 作品带给电脑玩家,能够有效促使销售利润进一步成长。决定把 Sony 旗下众多 IP 放上 PC,绝对会是未来

申博声明:该文看法仅代表作者自己,与本平台无关。转载请注明:苹果的AI战略是什么

网友评论

  • (*)

最新评论

  • 欧博客户端下载 2020-09-23 00:01:49 回复

    医疗保险政策医疗保险政策:都说人进什么都不能进医院,高端医疗保险就是针对高端人群设计。从医疗保险查询网中可知,高端医疗保险保额高比例报销高,不限医院、医疗服务,覆盖广泛,基于国内的医疗现状应运而生。随着国内医疗方面的完善,高端医疗保险更是吸引了不少中高端消费者。冲冲冲,上热门!!!

    1