博客专栏

EEPW首页 > 博客 > 朱晨光:一个从不通宵的AI研究员(2)

朱晨光:一个从不通宵的AI研究员(2)

发布人:数据派THU 时间:2021-05-16 来源:工程师 发布文章

除了学习,本科时期的朱晨光在科研上也取得了非常不错的成绩。

姚班的培养模式是鼓励学生走出教室,去世界顶级的高校或研究机构进行学术交流、做科研。2009年,正在上大三的朱晨光去了微软亚洲研究院的机器学习组实习。他在姚班所学到的机器学习与数据挖掘课程知识,刚好派上用场。

为期一年的实习中,朱晨光主要从事搜索引擎相关的工作。在微软,他一共发表了8篇学术论文,其中,他参与基于随机梯度下降的SVM与Logistic回归的工作(“Inverse Time Dependency in Convex Regularized Learning”)发表在ICDM 2009,并获得当年的最佳学生论文奖亚军。

与此同时,朱晨光也没有停止参加竞赛。他形容,竞赛就像练武术,“从小开始练的功夫,长大以后如果不偶尔打一下拳,就感觉全身放松不下来。”上了大学后,竞赛虽然不再是他生活中的主旋律,但已经成为他生命中不可分割的部分。

在清华读书时,他的赛场从NOI转到了ACM/ICPC,与朱泽园等人组队,曾在亚洲赛区获得4枚金牌。读博后,他代表斯坦福大学参加ACM/ICPC,曾获得2011年ACM/ICPC太平洋西北赛区冠军、2012年ACM/ICPC全球第13名。

除了ACM/ICPC,他还参加其他小的编程竞赛,比如斯坦福举办的编程竞赛与IEEE/GOOGLE算法比赛,都获得了第一名。朱晨光告诉AI科技评论:“其实我现在都还在参加比赛,周末在网上刷一下比赛题目,已经成为一种习惯了。”

据他所知,“楼教主”楼天城(2004年IOI金牌得主)到现在也还在参加比赛,“我做的题目可能没他多,但也比较执著。”

朱晨光称,少年参加竞赛也许是为了获得保送,但随着年龄的增长,现在参赛更多是享受比赛的乐趣,“有种紧张感,很刺激。我喜欢那种紧张的感觉。”

在他的竞赛活动中,信息学并不是唯一的内容。他从小练习乒乓球,也经常参加乒乓球比赛,曾获得2010年清华大学马杯乒乓球男子单打比赛季军。2015年,读博期间,他还获得了美国国家乒乓球锦标赛U2000 D分区的冠军,号称“斯坦福最杰出的乒乓球选手”。

3.jpg

图注:朱晨光获得2015年美国乒乓球锦标赛U2000冠军

科研之余抽时间打球、竞赛,朱晨光并不觉得累,反而认识这是对生活的放松与调节,因为参加比赛与平时跟朋友随便打打球的氛围完全不一样。比赛是每分必争,给他一种只有竞争才有的快感。

虽然学习、科研与竞赛同时进行,看似分身乏术,但朱晨光从小到大都没有通宵过。即使是工作后,赶论文ddl与产品上线发布,他也绝不熬夜,到点就睡。

3 斯坦福读博:“鸭子划水”

大四那年,朱晨光申请美国读博,拿到了斯坦福大学与卡内基梅隆大学(CMU)的全奖博士offer。CMU位于匹兹堡,工业气息更重,而斯坦福位于旧金山湾区,临近硅谷,综合学科实力更强,于是他便选择了斯坦福。

后来他觉得,当初的选择是对的。在博士最后一年,当他因为课题研究需求而想要修一个统计学硕士时,他发现斯坦福计算机系有一个政策,允许计算机博士免费读一个硕士,而且斯坦福的统计学专业排名全美第一,为他提供了很好的学习机会。

在斯坦福读博的六年,虽然业余有参加竞赛和打球,但科研的压力也是显而易见的。

朱晨光形容,斯坦福学生的学习生活就像“鸭子划水”:从水面上看,每只鸭子都在很悠闲地漂着,但到水底下一看,所有鸭子的脚都在哗哗地用力划。斯坦福竞争激烈,大家都是表面上看起来轻松,实则外松内紧。

读博期间,朱晨光跟着Balaji Prabhakar教授从事基于机器学习的交通优化研究。他做过一个有趣的项目,叫“拥堵与停车激励”(Congestion and Parking Relief Incentives,简称“CAPRI”)系统,通过现金激励来改变人们在高峰期的出行时间。

交通优化的研究中,有一个重要的概念,叫“10%现象”,也就是说,如果能够将高峰期拥堵路段上10%的汽车出行时间偏离高峰期,那么交通堵塞情况就会得到明显改善。以往的研究都是采取惩罚手段,但朱晨光所在的小组则转向使用激励手段,来吸引参与者改变自己的行为。

实验首先落在交通拥堵的斯坦福大学。他们将高峰期定义为早上8:00~9:00与晚上5:00~6:00。如果参与者在高峰期进出学校则不得分,错峰出行则得分。积累到一定的分数后,参与者可以抽奖获得数额不等的现金。

在抽奖环节,他们还引入社交网络,朋友之间可以观察到对方的“好”行为。

4.png图注:CAPRI系统的积分抽奖页面

统计表明,在交通优化中引入激励方法有利于改变人们的出行方式。他们观察到,项目的参与者会将原先的出行时间推迟或提早几分钟,在原定的高峰期附近又形成一个更小的高峰。这有利于缓解通勤高峰期的交通拥堵情况。

他们的研究受到了《纽约时报》、《华尔街日报》等多家媒体的报道。

朱晨光感觉,博士生不像是学生,而更像是一个上班族,每天去的也不是教室,而是实验室。“如果和斯坦福的本科生与硕士生交流,大家会很喜欢开玩笑;但博士生之间交流就会变得严肃、注意分寸。”

由于在本科期间已经有科研经验,也发过顶会论文,所以来到美国后,朱晨光很快就进入了博士生的角色,会主动去寻找研究课题,然后独立完成课题,而不是等着博士导师派发任务、跟在别人后面被动学习。

六年读博,除了变得更加独立,朱晨光最大的收获就是科研思路更清晰。这要归功于导师Balaji Prabhakar,“他教会了我如何有逻辑地将一件事情捋清楚。”他认为,正是读博期间的逻辑锻炼,使得他在后来自己写书、写论文时,能够游刃有余,逐层推进。

比如,2019年在写《机器阅读理解:算法与实践》一书时,动笔之前,朱晨光在脑海里就已形成条理清晰的章节内容。逻辑捋清楚,每天在完成微软的正职工作之后,他就抽一个小时写书,从字到句,从段到页,从节到章,雷打不动地坚持了3个月,便顺利完成初稿。

虽然博士毕业后,朱晨光没有继续从事交通优化研究,但对他来说,从博导那里学到的逻辑思路是伴随一生的,即使跨领域也能有所裨益。

5.jpg

图注:2016年斯坦福博士毕业典礼,朱晨光与导师Balaji Prabhakar合影

关于硅谷的印象,朱晨光认为,就计算机行业而言,硅谷的科技规模、人才密度、科研创新能力是当之无愧的世界第一。

此外,硅谷的创业氛围非常浓厚。“如果去餐馆吃饭,你会经常听到旁边桌子在讨论创业想法、找投资。也有很多人在星巴克抱着电脑写程序。”他谈到,也有很多创业者来到斯坦福找技术人才,他周围的许多博士同学就选择了退学创业。

但博士毕业后,朱晨光却没有留在硅谷工作,而是去了位于西雅图的微软总部担任研究员。

2012年暑假,他去了微软雷德蒙研究院通讯与存储组实习,设计与执行新的内容感知SSD捕捉算法,研究结果被应用于Windows Server 2012 R2。

在这次实习中,他觉得西雅图更适合自己居住。朱晨光提到,他的皮肤比较敏感,加州的阳光太强烈,一晒就容易发红;而西雅图的天气比较湿润,皮肤比较适应。在西雅图上班,从家里开车到公司,一路上能够看到雪山与绿树,也很符合他的审美。

4 企业科研:满足需求是关键

“微软让我有一种家的感觉。”朱晨光这样形容。

从本科大三的第一份实习开始,微软就成为了朱晨光唯一的首选职业目标。最初他是因为仰慕微软亚研的名号而去实习,但在后来的交集中,他感觉微软的工作氛围非常自由,有许多施展个人能力的空间,也很有人情味。

博士刚毕业那会,他去微软面试,遇到了后来为《机器阅读理解》一书写序的黄学东老师。黄学东是微软全球人工智能首席技术官,非常爱惜人才,了解到他是姚班、斯坦福毕业后,与他聊了很多,还涉及到他以后的职业规划,让他感觉很亲切。而朱晨光的老板曾南山是原微软亚洲互联网工程院副院长,有着丰富的管理和研发经验,也给了他很多指导和启发。因此,他义无反顾地再次选择了微软。

“微软被称为‘IT界的黄埔军校’,我觉得不是一件偶然的事。它的发展历史已经很悠久,但无论是从人才储备、产业品牌,还是从未来创新研究来看,微软都是现有互联网大厂里的佼佼者之一。”

朱晨光认为,微软的最可贵之处在于,虽然规模大、历史久,但微软对研究方向的嗅觉十分灵敏,总是能够掌握到科技与商业的前进脉搏。从Windows与Office,到搜索,再到人工智能,微软的发展总是紧跟风向。

进入微软后,他的研究方向也随着微软的业务调整而转变。本科实习时,他在微软亚研更多是做搜索,研究如何提高必应的搜索质量;博士毕业入职后,微软的研究重心之一放在自然语言理解,他也从交通优化转到了NLP。换句话说,他与微软是共同成长。

在这一点上,他提到,微软会针对不同的岗位设置培训课程,帮助大家适应新的研究方向。比如,刚接触NLP时,朱晨光是跟着组里的人一起读论文,自学深度学习的课程,以及参加微软内部的培训。

朱晨光在2016年1月入职微软,2020年便升为了认知服务研究部门知识与语言小组的首席研究经理。

与高校做研究不同,朱晨光总结,在企业做科研,要懂得灵活根据产品需求来调整自己的研究方向。

技术组与产品组的合作主要有两种方式:一种是问清楚需求,利用技术从根源解决需求,“这种研究只要做出来,产品转化率非常高。”另一种是引领产品方向,走在产品组前面,帮他们提问题,做出成果后,再去跟产品组谈如何将业务系统化。

在这两种模式下,科研往往既能体现科研价值,也能创造商业价值。这也许是朱晨光转变研究方向,从头开始,也能够在4年内晋升为首席研究经理的原因之一。

“我觉得公司招聘我们过来,看重的不是我们之前的研究经历,而是一种潜力,微软称之为‘growth mindset’(成长型思维),能否将已有的经验转移到研究其他任务的能力。未来的研究是多变的,所以不会仅看当下的能力匹配度。”朱晨光解释。

刚进微软时,朱晨光的研究内容是客户对话系统与机器阅读理解。他曾领导小组在2017年斯坦福机器阅读理解挑战赛SQuAD中获得全球第一名,2019年又在斯坦福对话阅读理解挑战赛CoQA中设计模型超越人类表现、获得第一名,其在比赛中提出的FusionNet模型已被应用于微软Bing的问答产品中。

他还在中国计算机学会(CCF)原秘书长杜子德的邀请下,将自己在机器阅读理解上的学习与研究经历汇总成“机器阅读理解:如何让计算机读懂文章 ”一文,发表在2019年2月的《中国计算机学会通讯》上。

文章大火,于是朱晨光又在机械工业出版社的邀请下写了《机器阅读理解:算法与实践》一书。杜子德老师欣然为此书作序。

6.jpg

图注:《机器阅读理解:算法与实践》中英文双版

2019年,随着业务的调整,朱晨光又将研究重点转向了文本总结与知识图谱。

他认为,在一个信息爆炸的时代,大家对信息获取的速度与质量有很高的要求,所以文本总结对吸引阅读至关重要。于是,他开发了一种利用新闻的倒金字塔结构训练大规模文本总结模型的方法,不用任何人工标注的总结,就可以达到很好的效果。这项研究发表在SIGIR 2021会议,并应用于Microsoft News等产品上,不断提升了用户的阅读体验。

而知识图谱的研究是针对当前许多深度学习模型的“黑盒”特性而缺少可解释性,希望通过以图的形式呈现人类知识,供机器模型学习,提高机器的智能程度。通过融入知识,使得用户可以手动控制大规模模型的预测,这使得整个模型决策的过程更加透明。他们团队的成果在CommonsenseQA、CommonGen等赛事中多次登上榜首,并发表在ACL, EMNLP, NAACL等顶级NLP会议上。

朱晨光提到,成绩的取得与整个团队的努力是分不开的。他非常看好现在负责的知识与语言研究组。朱晨光得意地称,“我觉得我们是一个明星小组。组内一共有8个研究员,3个毕业于斯坦福,2个毕业于CMU,还有2个是姚班的毕业生,都拥有自然语言处理方向的博士学历。”

在管理研究组时,他的主要工作是根据公司需求定下基本的研究方向,然后给研究员提供自由研究的空间,让大家发挥各自的特长。“方向定好后,采取什么方法解决,他们自己选,然后我和他们一起讨论。”

他几乎可以肯定,在未来5年,他的研究方向会发生更大的改变,因为技术的更新迭代非常快。在不断成长的同时,朱晨光也要求自己不断学习。

比如,他坚持每天至少阅读一篇学术论文,以此来掌握NLP领域的最新知识与研究动态。既是为了能够及时调整自己的研究内容、以适应产品的需求,也是为了紧跟潮流、不被时代淘汰。

5 写在最后

虽然已离开校园多年,但朱晨光在少年时养成的“竞争生存意识”仍在不断驱使他继续学习。他称:“无论是公司还是个人,不进步都会被淘汰。”

在微软做科研,最忙碌的情况一般是顶会投稿截止时间逼近,以及产品准备上线前夕。但总的来说,他在下班之后还是有时间看看书、充充电。

他看书的种类很广,不只限于自然语言处理,还有统计、机器学习、信息论等。他认为,如果只关注自己的工作内容本身,很快就会落后。而且,在带组后,他不仅需要关注个人的科研,还要保证组内的成员都走在正确的道路上,这就要求他走在前沿,当一个合格的掌舵人。

在带小组时,他也要求组内的成员至少同时进行两项工作,以备在一项工作没有进展时、随时有另一项工作顶替,不至于一溃即散。

对于立志从事人工智能研究的学生,朱晨光提了三点建议:

首先,有三门课一定要学好,那就是数学、英语与计算机。“学计算机并非是只学编程,还要经常阅读前沿的研究成果,这就需要一定的英语能力;要弄清楚研究背后更深层次的原理,那就需要了解数据。”

其次,要勤于沟通,与前辈、师长及同学多交流,避免方向出错。他提到,在申请学校、实习与做研究时,他与竞赛时认识的朋友、清华与斯坦福的同学与老师、微软的领导与同事交流,他们都给了他很多指导与建议,让他少走了很多弯路。

最后,一定要在广泛涉猎的基础上坚持一个方向,比如机器学习。朱晨光说:“只要保持专注,坚持不懈,成功一定在不远处。”

*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。



关键词: AI

相关推荐

技术专区

关闭