如何客观地审读AI领域的论文，以及怎样确保审读下来的论文足够公平并使论文作者没有异议呢？对于这个话题，每个研究者想必都有自己的理念和方式。
在近日举行的视觉与学习青年学者研讨会（VALSE Webinar）上，IEEE多媒体汇刊TMM总编、CVPR 2012程序委员会主席、美国罗切斯特大学计算机科学系院长罗杰波分享了《如何做一个AI领域审稿人》的主题报告。
VALSE感谢《机器之心》对此报告主要内容的整理。
首先，罗杰波院长剖析了当前学术会议在审稿方面的一些普遍现象，表现在三个方面：
首先，AI领域目前正在爆炸性地发展，许多大会的论文递交量都接近一万篇，因此须要大量的审稿人。如果一个大会有7000篇递交论文，每篇论文须要写3个reviews，假设每位审稿人平均才能写7个reviews，那么将须要3000个审稿人。
其次，在审稿人需求量飙升的形势下，许多新的经验不足的审稿人就加入到这个行列中，包括博士生、硕士生、本科生以及其他领域的研究人员。这也导致了一些问题，比如审稿人欠缺系统的训练，往往都是从个人经验中进行“无监督学习”，而个人经验（往往是不愉快的论文被拒的经验）与优秀的系统经验相差甚远。
最后，有些研究者对好的reviews印象不深，对不好的reviews却耿耿于怀且如法炮制。这就引起了社区华图认的一个问题：冤冤相报何时了。而一个领域的健康发展在很大程度上都依赖于高质量的同行评审。
针对学术会议存在的那些审稿问题，罗杰波院长首先列举了一些有经验的研究者，并介绍了她们对于review质量的看法。同时，罗杰波院士也给出了他对提升评审质量的建议，包括以下六个方面：
己所不欲，勿施于人；
社区是由每一个人组成的；
寻找接收论文的理由；
论文写作是很重要的;
审稿的首要目标是好论文被顶尖大会/期刊接收;
如果你不熟悉该领域要如何办
接下来，我们具体来看这几方面内容。
一、审稿人应负起责任，维护社区学术环境
罗杰波院长指出了社区的重要作用，指出审稿人应当遵守的一些理念。
我们都须要保护而不是破坏社区的学术环境，因为每位人都身在其中。你怎么对待他人，别人才会怎样对待你。维护良好的社区气氛须要每一位成员的共同努力。对于审稿人来说，要及时回复。迟交或不交的review会伤害所有参与的人，当然也包括你自己（因为他人也会这么对待你的论文）。
另外，审稿人要负起责任。如果时间和精力准许，资深研究人员应当审查中学生做的reviews。
就论文本身而言，审稿人应做到以下两个方面：
其一，不要逼迫投稿者引用你自己的论文（如果无关的话）。请勿遗漏重要的引用资料（不夹带私货，但也要避免恶意不引用），还要强调剽窃/重复递交的情况。
其二，不要逼迫作者引用未发表的论文（比如arXiv），这是因为未发表的论文没有经过同行评审。另外未发表的论文中可能包含一些错误和虚假的信息（有些可能是恶意的，比如占坑或欺骗）。
二、审稿人应坚持什么原则？
罗杰波院长剖析了审稿人在审稿过程中应遵循的7大原则，只要这样就能力求审稿的客观公平。
首先，准时递交审稿意见，这是审稿人所应具备的基本素质。迟交在刊物更为严重（会议有审稿deadline）。然后在审稿过程中，一定要耗费足够的时间来理解论文。对于没有充分阅读并理解论文即给出评审意见的审稿人，想必投稿人会疯吧。还有，提出的评审意见要有建设性。
另外，审稿时要着眼于论文整体思路和创新之处，不要以一些细枝末节、无关紧要的托词来拒稿。更不要轻易地下推论，武断地称论文缺少/没有创新之处，或者实验不充分。
最后，不要逼迫投稿人做大量的新实验。还有值得关注的一点是，审稿人要保持开放的学术心态，听取其他审稿人的意见，认真对待作者花了大量心血的rebuttal。
三、审慎对待论文创新、性能
接着，罗杰波院士强调，审稿人一般基于以下几个方面来决定是否接收论文：论文是否有创新、性能怎样、论文新颖的同时是否存在缺陷、论文的实际效用等。但是，这些标准本身是否必须遵守，能不能有所变通呢？他就那些问题展开了具体剖析。
四、正确对待论文的创新
罗院士首先抛出了一个问题：论文的创新是否一定成为接收或拒稿的惟一标准？
他表示，「审稿人其实不想见到一味重复、毫无创新点的论文，但需记住：很少有论文是真正、完全创新的。」有些好论文要么是计算机视觉领域框架创新（比如MRF， Alex net， GAN），要么是算法创新或其他科研领域的思路、方法迁移（比如ResNet）。此外，还有些好论文是将已知方式的巧妙工程实现（比如SIFT， VGG），以及已知技术的全新应用等。
所以，正确意义上的创新按升序应包括：其他研究者从未提过的新问题、已知问题的新的技术解决方案、更好的剖析和理解、以及更佳的实验结果等。
罗杰波院士列出出了他所理解的论文创新的等级，指出在计算机视觉文献中，基于已知组件进行别出心裁的工程应用本身就很稀少了，重大的扩充、算法的创新以及计算机视觉领域的新概念就愈加罕见了，那么对世界上所有人来说都是全新的概念就从来没有出现过了。
相反，计算机视觉文献中频繁出现的只是有用的小更新、新任务的应用、以及原有方式的改进和相关评估基准的构建等。
所以，审稿人在给评审意见时，最好不要轻易地以「创新不足」为由拒稿。
五、不要沉迷于性能
除了要审慎对待论文的创新之外，罗杰波院长还剖析了论文种的性能问题。他表示，「任务新事物的出现都不是建立的，可能并没有达到他人的标准，但其实用了更少的样本，计算的速率似乎比他人快，所以即使如今没有达到SOTA，并不代表之后不会。」一只没见过的小鸟，初展幼翼，安知将来会飞多高远？
他觉得，如果论文本身具备创新点，那么就不要过度地苦恼性能。
另一方面，仅仅性能良好并不能代表该论文就具备创新之处。性能表现良好其实只是由于采用了一种新方式，或者投入的工程量或数据量大，亦或则是因为过拟合。
另一方面，注意对增量扩充（incremental extension）的偏见。已知技术的整合并非总是显而易见的， 往往须要解决一些技术关键。
六、顶级大会/期刊的作用
顶级大会/期刊应当发挥去粕取精的作用，确保优秀的论文能否被发表。千里马常有，而伯乐不常有。当论文的研究内容十分重要或则特别优秀时，审稿人一定要慧眼识珠，选出应发表的优秀论文。而一些糟糕的论文“水货”，即使发表也不会得到赞扬，会逐渐流失，不必太在乎。
此外，罗院长强调时间才是检验好论文的惟一标准，oral论文未必比poster论文更好。目前早已有很多学术会议筹建了时间检验奖。获得时间检验奖的论文其实才应当是最佳论文（反之不一定）。作为一个优秀的审稿人，应该开掘出有潜力的论文，让时间进一步检验论文的质量。
不同级别的学术会议/期刊等的标准自然也是不同的，审稿人也应当了解各个学术会议的级别，以确定审查论文的标准。
七、如果对论文涉及的领域不是很了解如何办？
首先要保持开放的思维。当你对一个领域比较陌生时，恰恰是个学习新知识的好机会。你可能须要学习该领域的相关知识，有时都会收获意外的启发。何乐而不为呢？同时要尽最大努力细读该论文，需要时可以查阅相关引用资料。
要注意的是：不要被个人喜好所影响，例如有些研究者在数据驱动和模型驱动两者之间有所偏好，这可能会影响你对论文的判别。一定要仔细研究论文本身，考虑其是否值得在社区中推广。
还要意识到你作为一个非该领域专家的评价是极其重要的。在任何涉及利益冲突的情况下，都是当局者迷，旁观者清。而作为非该领域审稿人的你，应该是最公正的，比基于论文匹配算法选出的审稿人更能保持公正公平（因为匹配算法选出的审稿人经常非友即敌， 都是conflict of interest）。
最后，罗杰波院士给审稿人提供了一个review流程图。审稿人可以依循右图中的流程来提升审稿质量。
在问答阶段，罗杰波院士回答了一个审稿中着力的问题，问：如何对待数据或代码不能开源的论文？答：开源带来了领域的高速发展， 这毋庸置疑。以至于很多人觉得开源天经地义，否则就是罪过。但是有的情况下，数据集不能公开（医疗，隐私等等缘由），这是情有可原的。有时代码也有某种诱因不能（马上）公开（比如涉及公司产品）。审稿人不能一概而论， 一概抹杀。审稿人有责任依据对论文的理解作出判定。毕竟我们的研究成果是思路方式，不是代码！复现他人算法也是一个研究者份内工作。很多初入领域的人动不动就索取他人代码，甚至在他人论文即将发表之前。这都是对他人的工作和知识产权不尊重的表现。已经有一些学术不端的案例， 把他人的代码数据拿去以后，稍加改动抢鲜发表。
对罗杰波院士报告内容感兴趣的读者可以观看官方b站视频：
。
活动参与形式
1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看见Slides，听到讲者的语音，并通过聊天功能与讲者交互；
2、为出席活动，请关注VALSE微信公众号：valse_wechat或加入VALSE QQ群（目前A、B、C、D、E、F、G、H、I、J、K群已满，除讲者等嘉宾外，只能申请加入VALSE N群，群号：942264004）；
*注：申请加入VALSE QQ群时需验证姓名、单位和身分，缺一不可。入群后，请实名，姓名身分单位。身份：学校及科研单位人员T；企业研制I；博士D；硕士M。
3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可出席活动，支持安装Windows系统的笔记本、MAC笔记本、手机等设备；
4、活动过程中，请不要说无关话语，以免影响活动正常进行；
5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新步入，一般都能解决问题；
6、建议勿必在速率较快的网路上出席活动，优先采用有线网路联接；
7、VALSE微信公众号会在每周四发布下一周Webinar报告的通知及直播链接。
8、Webinar报告的PPT（经讲者准许后），会在VALSE官网每期报告通知的最下方更新[slides]。
9、Webinar报告的视频（经讲者准许后），会更新在VALSE爱奇艺、B站、西瓜视频，请搜索Valse Webinar进行观看。
