650 通用模型（4k）

650 通用模型（4k） (第1/2页)

陆奇有被碳矽掌门人扭转了意愿上的方向，但他距离真正加入DLF基金会还有一个重要的前提需要弄清楚。
　　
　　这次的自注意力机制为什麽值得俞总这麽大费周章？
　　
　　换句话说，Transformer真的展现出颠覆级别的潜力了？
　　
　　陆奇不是深度学习领域的研究者，但也一直在关心这个领域的进展，对於这次的Transformer也有了解，知道它展现出了机器翻译领域新一代S0TA技术的定位潜力。
　　
　　所谓SOTA，StateoftheArt，也就是业界所说的最强水平。
　　
　　问题在於，仅仅是机器翻译领域，这值得俞总又是要内部推动，又是要外部竞争，还不惜让吴恩达拉自己过来吗？
　　
　　陆奇在百度的时候就已经要推动公司ALLINAI，彼时还没有Transformer，而之所以那时就要把战略定在这个领域，是因为全球顶级公司几乎已经取得共识，AI会是网际网路之後的下一代通用技术革命，会重构所有的行业。
　　
　　谷歌2011年成立「谷歌大脑」，次年收购DeepMind，至今已经把深度学习广泛应用在搜索、安卓、翻译等上百个产品之中，微软2013年大规模转向Ai，旗下0ffice、语音等产品都已经完成深度学习改造，脸书则在2013年邀请杨立昆组建FAIR，全面布局视觉和语言以及推荐系统。
　　
　　作为曾经的微软执行副总裁，陆奇本身就是这波深度学习发展浪潮里的亲历者和推动
　　
　　者，认同的是俞总对深度学习的战略重视，不解的是他选择重视的节点。
　　
　　但是，陆奇对於俞总这种不见兔子不撒鹰的态度也在彼此短暂的交流里有种合适的猜想，DLF这边已经就着Transformer搞出了东西。
　　
　　他握了手，现在就需要俞总把真家伙端出来了。
　　
　　吴恩达乾的就是这个活。
　　
　　他在两人虚情假意之後给出来自DLF没有对外公布的判断：「Transformer不单单是机器翻译，它在自然语言处理NLP方面展现了现在远远没有挖掘出来的庞大潜力。」
　　
　　吴恩达看着陆奇，用眼神表达严肃：「陆总，我们认为，Transformer在自然语言方面有成为通用模型的可能性。」
　　
　　自然语言处理NLP，这个领域一直是深度学习研究的重点，是为了让计算机能够听懂人话，也能说出来人话。
　　
　　NLP之前基本是每个任务单独设计模型，再单独训练，很依赖大量标注数据，不同任务之间的技术栈并不通用，也就是导致研发进展很缓慢。
　　
　　通用模型意味着只用Transformer就能快速适配不同的任务。
　　
　　以前是很多模型干不同方向的活，现在是用一个Transformer做不同方向的活，意义自然完全不同，如果能够继续推动，许多设想中的场面都可能会实现。
　　
　　陆奇不用吴恩达多解释就知道这种判断的意义，但他的第一反应是十分怀疑：「通用模型？Transformer？这个判断是怎麽得出来的？」
　　
　　「我们基於Transformer做了一个模型，用它去做NLP的能力测试，它在GLUE的9个任务里已经有5个达到S0TA，这还只是我们的初步尝试。」吴恩达说道，「另外，它在机器阅读理解的2个任务里也拿到了高分。」
　　
　　GLUE是目前业内公认的NLP通用能力评测，包含9个不同类型的语言理解任务，而机器阅读理解也是NLP领域最受关注的任务之一。
　　
　　吴恩达拿出了平板，展示具体的模型处理效果，过去需要不同模型的任务在基於Transformer的模型测试里拿到5项最优，剩下4项也接近最优。
　　
　　在机器阅读理解的2个任务里，模型的F1值拿到89分，超越了人类平均水平的87.9
　　
　　分。
　　
　　吴恩达时刻注意着陆奇的视线和浏览，等到他看到机器阅读理解这部分，不轻不重的说了句：「这是大模型在机器阅读领域第一次超过人类在通用数据集的表现。」
　　
　　陆奇沉默了。
　　
　　俞兴这时提到一个关键的问题：「这还是他们在很短时间里的成果，从去年到现在，从机器翻译领域转到NLP领域，也就不到4个月的时间。」
　　
　　「这4个月，这11个任务里大部分的提升幅度已经相当於业内过去三到五年的总和。」
　　
　　「啧，就这个情况，时间再多点，恐怕11个任务都能达到S0TA。」
　　
　　全球业内数年的提升在过去四个月时间里被基於Transformer的模型做到了。
　　
　　这些正是吴恩达发起联名信的底气，他有信心可以进一步推动新模型的发展，至於到底能不能成为NLP通用大模型，谨慎的说，需要进一步验证。
　　
　　从感性与直觉来看，吴恩达认为就是这个了。
　　
　　陆奇翻来覆去的看着平板上的测试展示，颇有些抓耳挠腮。
　　
　　他看了好一会，猛然抬头问道：「这是真的？没有造假？」
　　
　　吴恩达举手发誓：「我用我的人格担保，这就是最真实的情况。」
　　
　　俞兴笑了句：「我是最见不了造假的，也没有在这方面造假的意义，总不能是编个大谎，就为把你骗过来吧？」
　　
　　陆奇长长的呼了一口气，喃喃道：「要是这样————」
　　
　　要是这样，下一代产业革命真要来了吗？
　　
　　他从微软回国时，矽谷科技圈的主流判断是如今处於产业变革的前夜，AI会是下一个时代最重要的突破，深度学习已经证明它可以解决一些复杂的决策类问题，这也是特斯拉自动驾驶和工业控制等领域具备想像空间的基础。
　　
　　可是，这会出现在致力於机器翻译领域进步而推出的Transformer吗？
　　
　　陆奇很难相信，但面前的经典NLP任务表现又让他不得不相信，确实有这个潜力。
　　
　　他一会摇头，一会点头，末了看向倒茶的俞总，问道：「俞总，碳矽集团的智能驾驶也有这方面的推进吗？」
　　
　　俞兴愣了下，摇头道：「没有，还没那麽快，但这确实会是一个新能源产品快速发展的领域，也能增加市场里的竞争力，不过，我们造车不一样，这方面要更加谨慎。」
　　
　　

（本章未完，请点击下一页继续阅读）