
机器翻译(MT)系统是指利用技术将文本翻译成其所支持的任何语言的应用程序或在线服务。在采用机器翻译之前,翻译主要是手动进行的过程。如今,翻译人员经常借助机器翻译工具来显著提高工作效率。这些技术改变了翻译和本地化行业,实现了更高的生产率、更低的成本、更好的一致性和可扩展性,并且能够轻松处理特定领域的术语。尽管机器翻译背后的概念和操作界面相对简单,但其背后的科学却错综复杂,融合了多种前沿技术。
过去的和现在的机器翻译方法
随着时间的推移,机器翻译的方法不断演变,包括:
- 基于规则的机器翻译:依赖于每种语言的词典和语法规则。
- 统计机器翻译(SMT):基于双语文本语料库的统计分析。
- 神经机器翻译(NMT):使用统计分析来预测词序列的可能性,并依赖神经网络对整个句子进行建模。
当前许多最先进的翻译应用都基于神经机器翻译,这是对传统基于统计机器翻译方法的改进。神经机器翻译使用更多维度来表示源文本和目标文本的标记(如单词、词素和标点符号)。
机器翻译的未来:生成式人工智能
现在,一种新的机器翻译方法已经扎根:生成式人工智能(GenAI)。生成式人工智能依赖于大型语言模型(LLM),这是一种深度学习的人工智能模型,可消费和训练大规模数据集,从而在语言处理任务(如翻译)中表现出色。在这些模型完成学习过程后,它们会在受到提示时生成统计上可能的输出。这些模型会根据其训练数据创建模仿自然语言的新文本组合。
大型语言模型的发展是一个渐进的过程。最早的大型语言模型相对较小,只能执行简单的语言任务。然而,随着深度神经网络的发展,更大、更强大的大型语言模型被创建出来。2020年发布的生成式预训练Transformer 3(GPT-3)模型标志着大型语言模型发展的一个重要里程碑。GPT-3展示了生成连贯且听起来自然的文本的能力。GPT-3及其后续模型已经在多种语言的数据集上进行了训练,因此可以生成这些语言的输出。
神经机器翻译与大型语言模型
大型语言模型有可能在成本、速度和翻译质量方面超越神经机器翻译,同时支持多语言应用程序中自然语言处理功能的开发。然而,神经机器翻译和大型语言模型各有优缺点。对于某些翻译任务,神经机器翻译将是最合适的技术;而对于其他任务,大型语言模型将更有意义。
神经机器翻译与大型语言模型之间存在相似之处:
- 两者都使用双语(或多语)语料库进行预训练。
- 两者都可以进行训练或微调,以更好地执行特定任务。
然而,也存在重要差异:
- 针对特定领域(如医疗保健)对神经机器翻译进行微调更容易且成本更低。
- 大型语言模型通常会产生听起来更自然的文本,而神经机器翻译则会产生更准确的文本。
- 神经机器翻译通常逐段处理文本,而大型语言模型可以一次处理整个文档。因此,大型语言模型在明确的上下文中表现更好。
- 与大型语言模型相比,将现有的词汇表和术语库与神经机器翻译集成可能更容易。
- 目前,神经机器翻译的执行速度比大型语言模型快;然而,新型的大型语言模型比之前的模型性能更好。对于处理大量文本而言,速度可能是一个重要问题。
- 目前,使用大型语言模型处理翻译比神经机器翻译更昂贵。对于资源较少的语言尤其如此。
- 神经机器翻译可以针对语言变体进行优化。大型语言模型可能在区分和为不同语言变体(如葡萄牙葡萄牙语和巴西葡萄牙语)生成文本方面遇到困难。
- 神经机器翻译是专门为翻译而优化的,而大型语言模型可用于各种语言处理任务。例如,可以使用大型语言模型创建日语商务电子邮件。
对语言行业的影响
与机器翻译的早期演变一样,生成式人工智能使翻译过程比纯粹的人工翻译更快、更便宜。然而,与之前的演变不同的是,生成式人工智能还可以改变翻译过程的其他方面,如源文审查、术语提取、上下文提取以及翻译质量评估。
尽管大型语言模型并非专门针对翻译进行训练,但它们在自然语言任务中的广泛应用意味着它们在翻译任务上表现出色,尤其是对于训练了大量数据集的语言而言。大型语言模型可以生成听起来自然的源文本翻译,甚至在目标文本中使用地道的表达。这些特质使大型语言模型有望成为未来几年翻译领域的变革性技术。