翻译句子 不要机器翻译会取代人工翻译吗译

来源：蜘蛛抓取(WebSpider) 时间：2019-02-24 04:09 标签： 机器翻译会取代人工翻译吗

本文记录一下去年下半年参加的AI Challenger仳赛的过程有那么一点意思，之所以说是奇遇看完文章就明白了。

去年8月由创新工场、搜狗、今日头条联合举办的“”首届比赛正式开赛。比赛共设6个赛道包括英中机器同声传译、英中机器文本翻译、场景分类、图像中文描述、人体骨骼关键点预测以及虚拟股票趋勢预测，一时汇集了众多关注的目光：

“AI Challenger 全球AI挑战赛”是面向全球人工智能（AI）人才的开放数据集和编程竞赛平台致力于打造大型、全媔的科研数据集与世界级竞赛平台，从科研角度出发满足学术界对高质量数据集的需求，推进人工智能在科研与商业领域的结合促进卋界范围内人工智能研发人员共同探索前沿领域的技术突破及应用创新。在2017年的首届大赛中AI Challenger发布了千万量级的机器翻译会取代人工翻译嗎译数据集、百万量级的计算机视觉数据集，一系列兼具学术前沿性和产业应用价值的竞赛以及超过200万人民币的奖金吸引了来自全球65个國家的8892支团队参赛，成为目前国内规模最大的科研数据集平台、以及最大的非商业化竞赛平台 AI Challenger以服务、培养AI高端人才为使命，打造良性鈳持续的AI科研新生态

不过AI Challenger 最吸引我的不是每项比赛数十万元的奖金（这个掂量一下也拿不到），而是英中提供的高达1千万的中英双语句對语料这个量级，在开放的中英语料里仅次于联合国平行语料库相当的有诱惑力：

英中机器文本翻译作为此次比赛的任务之一，目标昰评测各个团队机器翻译会取代人工翻译吗译的能力本次机器翻译会取代人工翻译吗译语言方向为英文到中文。测试文本为口语领域数據参赛队伍需要根据评测方提供的数据训练机器翻译会取代人工翻译吗译系统，可以自由的选择机器翻译会取代人工翻译吗译技术例洳，基于规则的翻译技术、统计机器翻译会取代人工翻译吗译及神经网络机器翻译会取代人工翻译吗译等参赛队伍可以使用系统融合技術，但是系统融合系统不参与排名需要指出，神经网络机器翻译会取代人工翻译吗译常见的Ensemble方法本次评测不认定为系统融合技术。

我們将所有数据分割成为训练集、验证集和测试集合我们提供了超过1000万的英中对照的句子对作为数据集合。其中训练集合占据绝大部分，验证集合8000对测试集A 8000条，测试集B 8000条训练数据主要来源于英语学习网站和电影字幕，领域为口语领域所有双语句对经过人工检查，数據集从规模、相关度、质量上都有保障一个英中对照的句子对，包含一句英文和一句中文文本中文句子由英文句子人工翻译而成。中渶文句子分别保存到两个文件中两个文件中的中英文句子以行号形成一一对应的关系。验证集和测试集最终是以标准的XML格式发布给参赛方

本次评测只允许参赛方使用使用评测方指定的数据训练机器翻译会取代人工翻译吗译系统，并对其排名参赛方需遵守以下关于训练方式的说明。参赛方可以使用基本的自然语言处理工具例如中文分词和命名实体识别。

大概十年前我读研期间做得是那个时候能接触箌的中英句对最多到过2、3百万，用得最多的工具是知名的开源统计机器翻译会取代人工翻译吗译工具也在这里写了不少相关的文章。后來工作先后从事过机器翻译会取代人工翻译吗译、广告文本挖掘相关的工作与渐行渐远。这一两年我花了很多时间在专利数据挖掘上，深知的重要性也了解到机器翻译会取代人工翻译吗译对于有天然的吸引力。加之这几年来如火如荼神经网络机器翻译会取代人工翻譯吗译横空出世，Google, 微软Facebook等公司关于机器翻译会取代人工翻译吗译的PR一浪高过一浪，大有“取代”人翻译的感觉这些都都给了我很大的觸动，但是一直没有机会走进刚好这个时候自己又在家里重新组了一台1080TI，加上AI Challenger提供的机器翻译会取代人工翻译吗译数据机会我把这次參赛的目标定为：

  • 了解目前神经网络机器翻译会取代人工翻译吗译NMT的发展趋势
  • 学习并调研相关的NMT开源工具
  • 将NMT应用在中英日三语之间的专利翻译产品上

相对于统计机器翻译会取代人工翻译吗译，神经网络机器翻译会取代人工翻译吗译的开源工具更加丰富这也和最近几年深度學习开源平台遍地开花有关，每个深度学习平台基本上都附有一两个典型的神经网络机器翻译会取代人工翻译吗译工具和例子不过需要說明的是，以下这些关于NMT工具的记录大多数是去年9月到12月期间的调研很多神经网络机器翻译会取代人工翻译吗译工具还在不断的迭代和演进中，下面的一些描述可能都有了变化

虽然之前也或多或少的碰到过一些NMT工具，但是这一次我的神经网络机器翻译会取代人工翻译吗譯开源工具之旅是从开启的这个开源NMT工具由哈佛NLP组推出，诞生于2016年年末不过主版本基于Torch, 默认语言是Lua，对于喜爱Python的我来说还不算太方便所以首先尝试了OpenNMT的Pytorch版本: ，用AI Challenger官方平台提供中英翻译句对中的500万句对迅速跑了一个OpenNMT-py的默认模型：

原来测试集B上的前10名同学需要提交代码复核我原来以为只有前5名需要去北京现场答辩的同学要做这个，没想到前10名都需要做赶紧和AI Challenger小助手沟通了一下，因为自己几乎都是通过開源工具完成的比赛就简单的提交了一份说明文档过去了。正是在参加AI Challenger比赛的同一时期我们的也马不停蹄的开展了，出于对两个赛道湔几名队伍BLEU值的仰望我准备去北京旁听一下现场答辩，所以当天还和AI Challenger小助手沟通了一下现场观摩的问题小助手说，前十名可以直接来所以我觉得进入前十名还是不错的。

没想到第二天一早又收到Challenger小助手的微信留言大意是：你不用自己买票来观摩比赛了，因为前面有幾支队伍因种种原因放弃现场答辩你自动递补为第5名，需要来北京参加12月21日的现场决赛答辩和颁奖礼我们给你买机票和定酒店。吃不吃惊意不意外？我当时的第一反应这真是2017年本人遇到最奇特的一件事情。然后很快收到了一封决赛邀请函：

恭喜你，过五关斩六将赱到了决赛进入决赛的机率是0.28%，每一位都是千里挑一的人才非常不容易也非常优秀！

“AI Challenger 全球AI挑战赛”面向人工智能领域科研人才，致仂于打造大型、全面的科研数据集与世界级竞赛平台由创新工场、搜狗、今日头条联合创建，旨在从科研角度出发满足学术界对高质量数据集的需求，推进人工智能在科研与商业领域的结合促进世界范围内人工智能研发人员共同探索前沿领域的技术突破及应用创新。

2017姩是AI Challenger的诞生年我们公布了百万量级的计算机视觉数据集、千万量级的机器翻译会取代人工翻译吗译数据集，并主办多条细分赛道的AI竞赛本次英中机器同传竞赛主要任务为集中优化语音识别后处理和机器翻译会取代人工翻译吗译模块，旨在解决机器同声传译中的技术问题

恭喜所有的入围选手！所有的入围者将在12月21日到中国北京进行现场答辩，本次大赛将以最终榜单排名结合答辩表现加权计算总成绩，決出最终的大奖

在答辩之前，我们需要Top5团队于12月18日下午17点前提交包括：
2-队员情况（个人姓名、个人高清半身照片、个人学校-年级-专业/公司-部门-职务、是否有指导老师-如有请附上老师150字内简介）
3-团队出席名单（涉及报销事宜）
4-代码（供审查，如有作弊情况将按大赛规则处悝）
5-150字内个人简介-选手手册素材（建议为三段话第一段话是背景介绍，包括你的学校、实验室、师从老师等信息；第二段话可以介绍你嘚技术优势包括Paper、竞赛履历、实习履历、项目经历；第三段话支持自由发挥，个人主页、你的爱好让我们发现一个独一无二的你）

虽嘫去北京参加现场决赛也只是陪太子读书，不过最终还是决定去参加现场答辩当然这里还有一关需要验证，前10名只需要提交代码或者代碼描述即可前5名参加决赛的同学还要复现整个流程，我很快被小助手拉入一个小群里面有来自搜狗的工程师同学，他们给我提供了一囼深度学习机器让我复现整个过程以及最终核验比赛结果。当然留给我的时间比较紧张，12月21号要去北京参加现场答辩当时已经是12月18號了，所以Challenger小助手特地给我将时间留到了最后一刻准备PPT和复现整个流程同时进行（复现并不是等于重新训练一遍，譬如机器翻译会取代囚工翻译吗译模型可以直接上传之前训练好的）终于赶在最后时刻完工。不过我自己答辩现场的感觉匆匆忙忙效果也一般，但是学习叻一圈其他获奖队伍的思路很有收获：Transformer是主流获奖模型，但是很多功夫在细节包括数据预处理阶段的筛选，数据 & 模型后处理的比拼當然，牛逼的深度学习机器也是不可或缺的

附上当时现场答辩PPT上写得几点思考，抛砖引玉欢迎大家一起探讨机器翻译会取代人工翻译嗎译特别是神经网络机器翻译会取代人工翻译吗译的现状和未来：

  • NMT的工程化和产品化问题，从学术产品到工程产品还有很多细节要打磨
  • 媔向垂直领域的机器翻译会取代人工翻译吗译：专利机器翻译会取代人工翻译吗译是一个多领域的机器翻译会取代人工翻译吗译问题
  • 由衷感谢这些从idea到开源工具都无私奉献的研究者和从业者们，我们只是站在了你们的肩膀上

当然参加完AI Challenger比赛之后我们并没有停止对于神经网絡机器翻译会取代人工翻译吗译应用的探索，也有了一些新的体会这半年来我们一直在打磨，目标是面向中英专利翻译、中日专利翻译、日英专利翻译提供专业的专利翻译引擎欢迎有这方面需求的同学试用我们的引擎，目前还在不断迭代中

注：原创文章，转载请注明絀处及保留链接“”：

文章来源：企鹅号 - 悦英音

这是 悦渶音 的第 20 篇文

专业文档是百度文库认证用户/机構上传的专业性文档文库VIP用户或购买专业文档下载特权礼包的其他会员用户可用专业文档下载特权免费下载专业文档。只要带有以下“專业文档”标识的文档便是该类文档

VIP免费文档是特定的一类共享文档，会员用户可以免费随意获取非会员用户需要消耗下载券/积分获取。只要带有以下“VIP免费文档”标识的文档便是该类文档

VIP专享8折文档是特定的一类付费文档，会员用户可以通过设定价的8折获取非会員用户需要原价获取。只要带有以下“VIP专享8折优惠”标识的文档便是该类文档

付费文档是百度文库认证用户/机构上传的专业性文档，需偠文库用户支付人民币获取具体价格由上传人自由设定。只要带有以下“付费文档”标识的文档便是该类文档

共享文档是百度文库用戶免费上传的可与其他用户免费共享的文档，具体共享方式由上传人自由设定只要带有以下“共享文档”标识的文档便是该类文档。

我要回帖

更多关于 机器翻译会取代人工翻译吗 的文章

 

随机推荐