到目前为止，口译仍然是一个相对不变的职业，软件的进步，很大程度上是因为它是一种细微的艺术形式。

虽然在翻译生产力工具，机器翻译（MT）和测量MT质量等主题上已经说了很多，但是之前对于如何将相似的质量评估（QE）方法应用于翻译领域的研究相对较少。

由马里兰大学的Jordan Boyd-Graber和卡内基梅隆大学的Graham Neubig领导的一组美国研究人员刚刚发表了一篇题为“自动估计同声传译器性能”的论文。在这里，我们概述了论文的发现并研究了它的含义。我们还包括作者的问答和专业口译员的评论。
构建实时质量反馈循环

旨在帮助口译员（CAI）的软件工具已经存在并通过在口译任务期间提供术语提示而起作用。这些结果好坏参半，因为没有任何真正的方法可以计算出提供翻译的信息量和时间。

太多或无关的信息会分散注意力，并且会干扰认知过程，从而妨碍翻译的表现。

为了解决这个问题，该团队希望开发一种实时评估口译员表现的方法，即能够判断口译员是否可以从那里获得软件帮助。如果是，生产力软件工具将选择提供术语提示。

生成可靠的实时性能评估是使解释器的软件辅助具有选择性，因此更有用，以及提高同声传译（SI）输出质量的关键。

为此，首先需要基于SI输出的样本开发质量估计（QE）方法，然后将其应用于实时性能方案。

开发质量评估方法

简单地使用现有的机器翻译（MT）QE方法是不够好的，因为有许多线索表明SI输出的质量与指示良好MT输出的那些不同。例如，当翻译公司的人员挣扎时，他们可能会产生大量暂停的不稳定翻译，或丢弃他们无法正确解释的大部分内容。

仅使用现有的机器翻译（MT）QE方法就不够好了

尽管如此，现有的MT QE方法被认为是一个很好的起点，研究人员团队决定使用名为QuEst ++的MT QE模型作为基线。然后，他们通过添加许多功能来定制QuEst ++以用于SI输出，这些功能是解释器性能的特定指标。

1）暂停/犹豫/不完整单词的比例 – 因为“翻译输出中的犹豫或不完整单词数量的增加可能表明翻译正在努力产生准确的输出。”

2）非特定单词的比例 – 因为“口译员经常通过替换或省略常用名词来压缩输出，以避免使用特定术语来防止冗余或减轻认知负荷。”

3）“准”认知的比例 – 因为“解释性语音中的音译词语可以通过语言接近度来表示便利翻译，或者试图产生翻译公司不知道的单词的近似值”。

4）单词数量的比率 – “比较源和目标长度以及转录标点符号的数量”。

研究人员开始在使用英语 – 法语，英语 – 意大利语和英语 – 日语翻译输出的一系列实验中测试这些附加功能的有效性。他们发现他们的SI QE模型具有统计上相关的收益，并且在所有语言中都优于METEOR。这对英日语言特别有效。
接下来是什么？

基于这些结果，该团队提出可以立即使用SI QE方法来改进现有解释器辅助软件的性能，以便提高SI输出。他们还建议未来的研究工作可以探索其他特征组合可以帮助调整模型，使其更加适应口译员表现的特殊性。