2024年3月21日，悉尼大学、中国石油大学、南洋理工大学和JD Explore Academy的研究团队共同推出了一项革命性的技术——两阶段微调技术，旨在解决大型语言模型（LLM）在翻译任务中常见的偏离目标翻译问题。这一问题在零快照翻译设置中尤为突出，即模型需要在训练期间未曾接触过的语言对之间进行翻译。

尽管LLM在翻译任务中展现出强大的能力，有时甚至可以媲美商业广告机器翻译（MT）系统，但非目标翻译仍然是一个亟待解决的难题，特别是在涉及低资源语言时。为了解决这一挑战，研究人员提出了一种创新的两阶段微调方法，专注于提升LLM对指令的遵循能力，特别是确保其严格遵循语言翻译方向。

在第一阶段，研究团队利用多语言翻译数据集，通过最大似然损失（MLE）对LLM进行微调。MLE损失函数旨在评估模型根据给定输入和参数生成正确输出的可能性。通过最小化这种损失，模型能够基于训练数据以及提供的说明和目标输出，生成更为准确的翻译。这一阶段的微调旨在初步释放LLM内在的翻译潜能。

进入第二阶段，研究团队创建了与指令相冲突的样本，即提供的指令与实际需要执行的内容或任务之间存在矛盾的示例。这些样本通过用不正确的语言翻译指令替换原本的指令来构建，从而模拟模型在实际应用中可能遇到的冲突情境。

在这一阶段，团队引入了一个额外的不可能性损失，以针对这些指令冲突样本对模型进行训练。通过整合这一额外的损失函数，模型被鼓励为错误的翻译分配更低的概率。这一过程有助于模型学会处理冲突的指令，进而增强其遵循正确语言翻译方向的能力，并在零快照场景中生成精确无误的翻译。

为了验证该技术的有效性，研究人员将这一方法应用于LLaMA模型，并在16个语言翻译方向上进行了实验。结果表明，在IWSLT和WMT基准测试中，偏离目标的翻译率显著下降，分别实现了高达92.2%和29.9%的改善。研究人员进一步指出，这一改进显著提升了翻译质量，IWSLT/WMT数据集中BLEURT和SacreBLEU的平均增长率分别为23.0/12.4和5.2/6.1。