两年前读Rachel_Zhang的技术博客,她的关于反思的文章往往写在回家之前,她在文章中写道,“换一种心情,准备好回家。”,当时不能理解,如今却深有感触。生活不止眼前的paper和代码,还有家。毕业的时候有一次和杨乐老师聊,谈到男人的三十岁焦虑危机,于己,已经走在奔三的路上,有焦虑存在,却也清醒许多。不管怎样,家总是最深的执念。

是的,摘要里的那些书都是给我弟弟买的。现在回家,想着多陪爸妈聊聊天,多陪弟弟读读书,聊聊世界,就已经幸福的不得了。

本科毕业,回炉重造,想做算法而已。从二零一五年到二零一六年九月研究生入学,虽没有获得主流价值观认可的成就,却活出了年轻应该有的样子。磕磕绊绊,心灵受伤后结疤,疤痕破裂后重新愈合,很多事情都是回忆的时候显得异常美好。

经历了一些事情,所以更加懂得好好珍惜读书的时光,不负韶华。

昨天下午把写好的论文发给老板,今天下午去实验室和师兄交代了比赛剩下要做的事情,于是背着包就回来了,心想,大半年过去了,我的夏天来了。

关于比赛

年底的IJCAI2017口碑商家流量预测比赛,首次参赛就遭遇了天池比赛历年参赛人数最多的一次4000+,结果初赛以排名前15%的成绩结束,无缘复赛。首次参赛,代码写了2000+,在印证理论的过程中,对工具的使用不熟悉,导致很多代码需要自己来写,虽然代码显得繁琐,但是对理论的印象却加深了许多。

就像本科做项目一样,每次搞完一个项目,总会留下一大推要继续研究的问题,暴露出的盲点要一一击破。比赛之后,关于编程语言,算法设计,工具使用,开发控制等一大堆问题出现,由于首次参加数据挖掘类的比赛,甚至在分工方面都不是很清楚,以至于很多代码需要自己设计,自己实现。但是队友BboySummer(男神一枚)也是功不可没,所以此处强行安利他的博客。于是赛后,就安安静静的读书看博客读paper,实际上,我很享受这个过程。

有天晚上,张杰突然给我发消息,他刚拿DC的风控比赛的第一名,想让我试一下科赛的比赛。犹豫再三,和以鹏讨论之后,还是决定参加一把,但是第一次参赛的疲惫还没有完全消除,想着纯粹练练代码,一周时间,第30名结束。如果说第一次比赛是模型方法,这次就是规则方法。对于新手,总以为模型为王,想着把模型做的越复杂越好,一定要用Ensemble等。实际上,有些时候规则未必很弱,七月二十二日到七月二十三日,直播观看CCAI 2017大会talk,还有很多谈到规则方法。虽然,这个比赛因为其他原因烂尾,但是第一次认识了模型方法和规则方法。

期间敏姐发微信邀请我和浙工大的团队一块做国际交互设计大赛,心想,我本不是前端码农,汤就不喝了。

来到暑假,时值paper中文版刚写完,闲来无事,读paper度日。老板点将参加全国并行应用挑战赛(PAC-2017),基于NLP的金融营销活动情感分析。虽然自己迟迟不愿入坑DL,这次也算是直接上手了,从理解需求到设计方案,到编码调试,再到后期优化。中间出现过一次方向性的错误,索性并不致命,至目前,由于前两次比赛经验的积累,这次比赛虽然和单纯的数据挖掘类比赛不同,例如数据更加真实,注重业务价值发掘等,但是从分工,设计,编码等过程上,从容了许多。至于结果,成事在天。

关于论文

这半年研究的中心一直在论文上。可能受张杰一篇AAAI的影响,年后我来学校的时候,和他聊旧金山之旅的所见所闻,颇受启发。加之他老板国内做Optimization的前三(他本人排名),各种吹逼后,自己原来想做优化的心就更加按捺不住了。其实关于做的方向,在入学之前就和他讨论过了,所以关于Optimization,并不是全部由他忽悠所致。读优化的文章,真的会掉头发。为第一次研究生组会准备的slides,就是关于ML/DL中的几个优化算法发展的呈现。当然,这是两篇超长review和几篇ICML/NIPS等经典优化方法的汇总。期间有一篇NIPS的文章,follow出了新的想法,在我的博客中有体现,但是由于我写了我现在的文章,加之NIPS那篇文章的idea本身不够fancy,于是就放弃掉了。

读了好多优化的paper,写了好多优化的blog,以至于有些网友和我谈关于optimization的一些问题,能够分享自己的一点儿心得体会,但是终究没有做出文章,还感到很累,头发确实会掉。想到张杰去上海做量化实习之前说,自己不想搞学术了,头发掉的快。此处,心里暗暗发凉,我还没找女朋友呢。

胡师姐发了CEC(A类),我follow了她的一个想法,关于Sampling的,就是我目前的文章,老板准备投WCCI2018(内含CEC)。本身想投学院九月份的一个IEEE的会的文章,也宣告卒。

不管那篇文章能不能中,始终感觉自己还没有做出想做的文章。尝试了很多,卒众,成一。这个夏天,还是要好好考虑这个问题,继续优化,还是换方向转向模型或者应用?

关于博客

从本科到现在,读了太多的技术博客,以至于现在读博客,先从上到下浏览一下大致内容,就能判断这篇博客值不值得读,当然读paper的能力还差的很远很远,以至于认为顶会paper一定都是很棒的,直到踩了几次坑,才清醒了一点儿。之前看一篇文章中谈到,写技术博客要beyond paper,还举了一个例子,pluskid的博客,如果用过xgboost,对此人应该熟悉。对此,我的理解是不同的人写博客有不同的目的,有的是为了求职,有的是为了记录分享等,不管出于什么目的,既然写了,与己都是有益的,虽然有时会坑到别人,踩过坑的你一定懂得。我的博客,主要目的在于,由于科研过程中,失败远多于成功,既然没有那么多成功的经验可以分享,那我就写失败的经历,包括读paper,写代码等。所以大多数博客,更多的是记录自己做过的一些事情,或许博客中零星出现的idea,就是beyond paper的一个体现吧。我的博客不设评论模块,如果对于真正思考的读者,对于问题,应该会找到我的联系方式,就像为了比赛的一个想法,我能找到两年前的一个比赛的参赛者的邮箱,然后认真写出一个问题,耐心等待回复一样。在今天,这样的事情并不困难,只是有心无心罢了。大多数做技术的同行,一定会耐心回复一个好问题!太多的经历能够证明这个结论,前提是你要尊重你自己提出的问题。关于提问题,要讲究提问题的艺术,这个技巧有很多资料可以参考。但是同时也要知道,“常与同好争高下,不同傻瓜论短长”的道理,所以,我们能做的是首先把问题提好

关于社交

师姐经常给我说的一句话是,别老呆在实验室,出去玩玩儿。于是,我去了趟洗手间。以至于,前几天老板看到我一个人十点多在实验室,催我赶紧回宿舍。心想,“这TM才十点多呀,真的不算晚,是吗?”。不过,社交圈小倒是真的,最大的社交圈就是篮球场,不过现在除了每次和胖子他们一周一次的约球,几乎就是宿舍和实验室了,倒也不觉得闷,注定孤独一生。期间,和张杰聊的最多,他本人是周志华实验室的学生,师从张利军老师,做优化出身。顺便还给我介绍了李武军老师的一个博士生,人称“大师兄”,做分布式机器学习出身,毕竟我的”法定”研究方向是分布式机器学习。谢雨飞在华东师范做自然语言处理相关研究,PAC2017这个比赛的最初想法,是在他的帮助下完成的,作为报答,我帮他做阿里在线笔试的算法题,哈哈。由于开源框架的使用,开issues讨论吐槽,也成了常有的事情,以至于这段时间每天早上第一件事打开github,看我的issues大家讨论的怎么样,此处表扬BigDL的官方,issues回复及时有效,大大提升了我们的比赛进度。胖子时不时给我打一针鸡血,你毕业了进华三呀,我保你20W年薪,我笑了笑,投篮打铁。同时见证了搞技术的朋友们毕业两年的发展状态,其实很多时候,本科时候对于技术的态度,基本决定了工作时的发展,爱的一直爱,做的越来越好,不爱的,可能走的不太顺畅,但是相信他们还是会慢慢找到一条属于自己的最优路径。

关于读书

读研究生的时候,已经没有本科时候啃大部头的那股劲头了。所以,研一一年,没有买过一本技术类的书,没有完整读过一本专业性比较强的著作,买书最多的就是这次,一下买了十四本,包括郑渊洁童话等少年读本,服务对象是我家二少。这个时候,看资料的目的是发现新的想法,解决新的问题,针对性更强,目的性更强,如果需要宏观了解,就去读review或者行业报告,如果需要微观打击,就去和同学聊,然后找对应paper和高质量的博客。看过很多同学,一遇到问题,首先想着买书,读paper,难道清晰的定义问题不是重中之重吗?相反,读政史经到成了内心的强烈需求。从考研第一次稍微系统的接触唯物辩证法,政治经济学等一些理论,就开始慢慢理解这些学科的重要作用。印象中这半个学期读了王小波的《黄金时代》,《人类简史》,前不久刚读完了《明朝那些事儿》的第一部,书包里刚借了两部。桌面上加缪的《局外人》已经读了三节,这是小白推荐的。顺便为了稍微明白一点儿房价问题,连续一周读完了秦小明公众号里的几乎所有文章,当然是从货币的角度来解读这件事情,顺便在华联证券开了户,买了人生中的前三支股票。刷了《人民的名义》,《白鹿原》,《鸡毛飞上天》三部电视剧,当然假期可能要刷一波《军师联盟》,看《鸡毛飞上天》的那段日子,正是郁闷的时候,优化找不到切入点,索性自己还能从这部电视剧中受到启发,直到做NIPS那个想法。一直认为,刷剧和打游戏并不是红线,正如每天在实验室待12个小时的可能不如待4个小时的,“勤能致富”这句鬼话,不能信吧。

接下来的时间怎么安排,还不是很清楚。不过心里还是有一种做论文的想法,但是有没有做出好论文的条件和机遇,需要仔细权衡。老板没有逼着自己给他打工,而是给了足够的自由科研的时间和充分的讨论,顺道抱大腿去武汉玩儿了一趟,真心希望他本人“长江学者”申请成功,能者多劳,多劳多得。实验室的小伙伴们也是很给力,保证实验室的学风很棒,以致于我们实验室的温度平均比其他实验室低了0.5度,最近空调坏了,可能温度又高了。

人贵有自知之明,凭借对自己的认知,设置清晰的目标,加上批判的思考,怀着激情,不遗余力的落实,相信虽然事情不好做,但是还是可以做成那么一两件事情的。夏天快乐!