昨天，一个“修复老北京街道”的视频刷屏全网。一段由美国摄影师在100年前的上海被AI修补后，活灵活现地展现今人们面前，一百年前人们打招呼的形式、使用的二胡、交通工具，在这段视频中，都清晰可见。配上颇合时宜的音乐，24小时内，已经有了将近50万的点赞量，10万多次的转发，接近3万的留言，看来周末你们也有在好好工作啊。
这个视频来自一位名叫“大谷Spitzer”的博主，据他所说，接触老片修补是一个碰巧，整个项目也只花了7天时间就顺利完成了。
先来一起瞧瞧这惊人的修补疗效。
老视频
修复后疗效
修复后的视频把当时的北京城诠释的活灵活现，下边的片断中，左下角小哥愣愣的看着镜头，连细微的表情都清晰可见，青涩中带有一点甜美，想象一下那位直率的小哥来自一百年前，还是让文摘菌感慨万千。
怪不得网友们纷纷钦佩。有网友表示，不仅整体气氛没话说，连细节部份也分毫毕显，“每个人身上都是新奇又不敢接近的表情”。
甚至有网友留言表示，“博物馆应当收藏你的作品”！
链接指路：
:4502352820895785
博主在视频最开始就说道，想用技术为社会做一些有意义的事情，怀着敬仰的心情，文摘菌联系到了那位“大谷Spizer”，来瞧瞧他是怎样说的吧~
7天竣工，难在主板！整体满意，颜色上还有不足
自称将AI视为业余爱好的大谷现在身在伦敦，接受文摘菌专访的时侯，他慨叹道，自己做AI科普视频做了三年，没想到一下子火了，现在完全处于“被信息吞没”的状态。
大谷透漏道，其实此次接触老片修补纯属碰巧，在搜索其他资料时侯，偶然间在YouTube见到了人民日报上传的一段老上海视频，对其中对视镜头的部份非常有感慨，“有一种穿越时空的觉得”。同时，一想到一百年前的人们有哪个年代的思想，看问题的角度和现代有所差异，是很有趣的体验，自己刚好了解相关技术，为何不将老片勾线补帧，做成活灵活现的60帧，和你们分享呢？
具体到操作上，根据大谷介绍，可以大致分为补帧、扩码率、上色三个环节，每个环节也都用了不同的工具，整体框架的流程则主要参考了Denis Shiryaev在社交媒体上分享的经验贴。
大谷说道，整个项目只用了7天时间，大部分都是硬性的时间消耗，比如补帧须要一到两天，扩帧率起码三天，上色也须要耗费三天时间，再加上要做到4K60fps，渲染速率很慢。多方审视之下，他把人民日报14分钟的原片剪到了10分钟。
相比而言，去年国庆164分钟修复版《开国大典》让人们亲眼目睹三次会战胜利到开国大典的历史过程。除了利用AI，胶片的撕裂、划痕等都是专业的修补师一帧一帧地修复。“修复过程中，我们70%的时间都在完成资料片镜头的修复工作。”负责本片修补工作的三维六度公司的首席技术官周苏岳说道，虽然修补时间只用了40天，但这却是600人每晚工作20小时的鏖战结果！
除了硬性的时间消耗，大谷还笑称，最大的问题就是自己笔记本电脑的主板不够好，“要1070的主板才带得动，否则会out of memory”，迫不得已之下向女朋友求了助。
再困难的部份，大谷选择了微软的Colab Notebook在线系统，通过远端分配一台带主板的笔记本，就无需在本地操作了，“这也是选择开源AI的诱因”，“很多开源的AI就会把代码上传起来”。
对于最后的结果，大谷表示，“还是比较满意的”，不过在颜色上还存在可以改进的地方。
在视频中，相信你们也会看见时不时会出现颜色跳来跳去的情况，大谷表示，在补帧之前用工具把老影片中常常出现的画面闪动除去了，否则会更严重，整体的色调上，AI的渲染疗效也显著偏淡。
除此之外，大谷此次借助的是美国的一套模型，显然未能直接将其套用到100年前的中国电影修补上，在颜色上就难以做到历史性的确切，视频中的勾线都是AI学习的成果，虽然唇色大致还原了，但是在红绿服饰等方面的真实性还有待商榷。
也正是考虑到这种不足，大谷对今年参与《开国大典》修补的工作人员抒发了歉意，“AI没办法做到艺术家这么确切，尤其是在历史方面，而《开国大典》对历史准确性的要求更高”，随后他也取笑地说道，或许可以“让AI瞧瞧清宫剧，提升一下准确率”。
就像大谷在视频开头所说，他想用技术做一些对社会有意义的事，在此次视频爆红以后，他表现得相当乐观，“太深刻的大意义倒也说不上”，主要是想借机让人们对历史有所反省。不少网友强调，视频中几乎看不到女人，这正是历史生动性的彰显，既有光鲜也有不足，让你们意识到现今的生活是多么来之不易。
同时，作为老上海人，大谷也想通过视频分享他的切身体会，让更多人听到一百年前的民俗，尤其是上了色帧率提升以后，“感觉确实不一样，也感叹这一百年的变化”。
对于目前收到得反馈，大谷表示“完全没想到”，他看了好多评论，也受感慨于一些留言，还有人私信向他表示，给太奶奶看后，也很想念哪个年代。
大谷透漏道，这也许是他第一次尝试做视频修补，后续似乎会出一期视频介绍一下具体的操作。对于后续的视频更新计划，他想要介绍一下国外早已成熟的语音修补技术。
目前，大谷在研究一款换衣AI，通过把名模导出系统，在Photoshop里换好大衣，就能生成超模穿上校服的各类坐姿，听起来是天猫店家会喜欢的AI。不过，大谷介绍道，这个AI目前还处于“婴儿状态”，精度上不是很豁达，未来须要大量的训练，以后恐怕也会做个视频介绍一下。
AI推动，老片修补一直在路上
对于此次用到的技术，大谷表示，上色主要还是应用在黑白照片和影片上，补帧技术就可以遍地开花了，比如修补象素动漫的跳帧问题，或者在动漫领域加以应用，因为动漫好多是12帧/秒，甚至6帧/秒，补帧以后疗效挺好，也总算可以看更流畅的EVA了。
作为一名独立游戏开发者，大谷透漏道，因为一个人做游戏开发，接触到AI是想要了解AI能够为他节约时间，后来发觉AI能做的不止那些，在社会公益上也有不少应用，比如老片修补。
正如大谷所说，这次的视频修补“技术管道参考自Denis Shiryae的影像修补教程”，针对Denis的欧美老片修补，大谷也做过汉化视频进行了专门的介绍。
视频链接：
Denis Shiryaev通过神经网路修补老视频的内容去年在油管爆红了一阵子，他使用Topaz Labs的Gigapixel AI和DAIN图象编辑应用程序将1896胶卷缩放到4K分辨率，不仅将素材降低到4K，还将分辨率提升到每秒60帧。
Shiryaev最火的作品是用Gigapixel AI将1896年拍摄的50秒无声短片《火车进站》(the Arrival of a Train at La Ciotat Station)做成了4K格式，把模糊的原片弄成了高清音质，完全符合当下的高清视频标准！
尽管存在一些缺陷，如图象会出现跳跃或个别细节仍然模糊，但早已很棒了！为了使这一作品愈发完整，Shiryaev还为这部无声电影添加了声音。
这些图象是通过生成对抗网路(GANs)得来的。
科普一下，GANs是由两个相反的神经网路组成的。第一个网路基于训练对象的数据生成对象，而第二个的作用是确定对象的真实性。第一个网路通过不断尝试，直到它的作品完美到足以误导第二个网路。通过这些方法，才得以生成最有可能的图象。
Gigapixel AI软件使用一种专有的配准算法来剖析图象，它可以使图象更清晰，甚至在放大了600%然后。
再来谈谈DAIN(深度感知视频帧插补)，它可以将帧想像并插入现有视频剪辑的关键帧之间。换句话说，DAIN首先剖析并映射视频片断，然后插入在现有图象之间生成填充图象。这与4K电视的运动平滑功能是同一个概念。为了在这段1896年的视频中达到同样的疗效，Shiryaev添加了足够多的图象来将速率提升到60帧每秒。因此，DAIN手动生成，然后在最初记录的24张图象之外，每秒添加36张额外的图象。
Shiryaev的“火车”的视频修补版本看起来像是一部使用智能手机或GoPro拍摄的最新影片。与原始视频相比，效果十分惊人，尤其是在新版本中获得了流畅性。列车上的阳光反射和月台上的男士首饰都被记录的很完整，也许是最显着的改进之一。
Shiryaev也用神经网路对这一修补视频进行了着色：从一堆彩色相片开始，将它们转换为黑白，然后训练神经网路以重建彩色图稿。
修复后的视频传送门：
Shiryaev的新技术也因而在技术圈火了上去，激发了包括大谷在内的更多技术人，修复珍稀的影像文献。
除了上文提及的《开国大典》，在老片修补上，“中影·神思”的开发，能减短修补影片所需时间的四分之三，成本可以降低一半，目前已成功应用于《厉害了，我的国》《血色浪漫》《亮剑》等多部影视剧的图象修补与提高当中。
爱奇艺也推出了其自主研制的视频提高技术ZoomAI，为影片修补提出解决方案，这是业内第一个借助较低成本、将深度学习技术应用在视频帧率提高场景中的方案。
但不可证实的是，这种技术倘若被有恶意的人使用，例如，可以用于制做“伪造品”并容许视频中的身分窃取，也会导致巨大的社会问题。
遍地开花的大谷：AI在游戏领域完全可以大展拳脚
往前翻翻大谷的微博会发觉，他做了好多有趣的小项目，比如AI足球队，大谷介绍道，他用了Unity的AI系统MLagent来训练球队，这些球队从最开始哪些都不会到最后相互配合，到如今他早已打不过了。大谷感慨道，“AI在游戏领域完全可以大展拳脚”。
大谷想用AI把这款游戏做得更具体，比如弄成回合制。大谷相信，如果训练时间足够，可以让AI学会如何包抄、怎么做战术防略，以往的游戏AI很傻，玩家操作好能够赢，但若果用AI训练AI，它还会阴险好多，什么战术都能用上，会有很神奇的化学反应。
大谷还介绍到，Unity近来推出了一个新的AI系统Artengine，主要是做游戏帖图的，在生还者、战神一类的游戏中，草、岩石等贴图之前还须要人去画，或者用相片修剪，但是Artengine可以复制不同的岩石图片，在花纹上会显示出差异，或者接合图片时，对图片中间的接缝可以凭经验把接缝涂掉。“有了AI，就可以做好多曾经一个人无法实现的高分辨率的游戏场景”。
自称“程序员里最会绘画的作曲家”，大谷也介绍了一些素描和音乐领域上的AI应用。
在游戏音乐上，大谷表示，OpenAI的MuseNet非常强悍，只需自己作前两小节乐曲，就可以让AI手动补完后续，而且风格可以自选，莫扎特、巴特，都不在话下。
在书法上，大谷之前专门做了一期节目介绍书法AI，比如英伟达的GauGAN，不少原画师都用这个来画背景；再例如Artbreeder，这个网站能“杂交”输入模型，生成超现实主义风格的诡异纹样，但同时又非常写视，很多艺术家在网站上进行创作，生成的作品可以商用也可以开源。
比如大谷透漏道，之前他用Artbreeder合成了诸葛亮和冬兵，效果很棒。心痒的文摘菌也去试了一下，不过在这儿先卖个关子，大家可以猜猜这是如何“杂交”出来的。
现在，大谷正在开发一款叫作漫展模拟器的游戏，以模拟经营漫展为核心企画，其中旅客假如用AI来训练的话都会智能好多，“让她们自己逛漫展、买东西，这样会更自然”。现在旅客都是用状态机控制的，必须告诉她们饿了就得去吃东西，想上公厕就得去找公厕，否则就得尿地上。
大谷介绍道，从17年底开始即将做这款游戏，B站会负责发行。玩家步入游戏后变身主播或则coser等身分成为漫展主办方，通过搭建电竞舞台、招租档口、邀请名星嘉宾等方法，让患上肥宅综合征的人们来出席漫展，以推动虚拟世界的经济发展。
在诸多网友催更之下，大谷说道，年底前这款游戏总算会出抢鲜体验版了，到时候文摘菌一定要玩爆它！
实习/全职编辑记者急聘ing
加入我们，亲身体验一家专业科技媒体采写的每位细节，在最有前景的行业，和一群遍及全球最优秀的人一起成长。坐标上海·清华东门，在大数据文摘主页对话页回复“招聘”了解详情。简历请直接发送至zz@bigdatadigest.cn
点「在看」的人都变好看了哦！
