关于机器翻译中的偏见你需要知道什么

对,机器翻译近年来,科技发展得出奇地好。但这并不意味着山上的一切都是美好的。而 蓝色分数在提高的问题出现了偏差。机器翻译通常会显示出偏见,包括但不限于性别偏见。
性别偏见当你翻译一个在源语言中是中性的,但在目标语言中需要针对性别的表达时,可能会发生这种情况,例如从英语医生到德语 医生(男医生)或 ?rztin公司(女医生)
如果机器正在将一个包含这样一个词的句子从英语翻译成德语,很大程度上取决于源文本中是否有任何东西可以帮助机器猜测出这个人的性别。
像这样的句子她是我们的新医生安全:代词她足以推动任何训练有素的机器翻译医生(所以, ?rztin公司不 医生). 但是如果没有这样的线索呢我是你的新医生? 一台机器怎么知道哪个性别我指的是?这是一个无法解决的模棱两可的问题。
机器通常“解决”不可解决的歧义,方法是根据他们在训练数据中更经常看到的翻译,挑选统计上更有可能的翻译。所以医生和主管往往被翻译成男性,清洁工和护理人员被翻译成女性:翻译是有偏见的。
性别偏见不仅影响名词,而且影响形容词(我很高兴在法语里是我很高兴如果是男性或我很高兴如果是女性);当然,还有代词(从有这些代词的语言翻译中性代词时)。
不仅仅是性别
除了性别偏见,还有其他类型的偏见。在机器翻译中产生偏见的一个常见原因是英语代词你. 翻译你翻译成其他语言通常意味着必须决定它是单数还是复数,正式还是非正式。
如果源文本中有一些线索可以表明这些区别,那就好了。但是如果没有这样的线索你在哪里?) 再次,我们有一个无法解决的模糊性,机器必须基于统计似然做出一个假设。
结果是机器译者倾向于翻译你因为这是他们所学的(主要是书面的和正式的)文本中最常见的。当用户把这句话输入到机器翻译程序中时,这可能不是他们想要的,但是机器不会注意到这一点。
理论上讲,任何语言对中的任何单词或表达都可能出现无法解决的歧义,你会在意想不到的地方遇到它们。
翻译是许多人的一个例子河法语需要知道是不是一条小河流入另一条河(河流)或是流入大海的大河(河流); 但是这些信息通常不在源文本中出现。所以,一个机器翻译必须做出一个假设,在这里我们有了它,另一个有偏见的决定。
什么是偏见?
偏差的技术定义是,一个自动化系统不断地做出同样的假设是一种趋势。还有一个流行的偏见的定义,基本上是一样的,但意味着冒犯、伤害和不公正。
很容易看出,在所有偏见中,性别偏见是如何引起冒犯并使不受欢迎的陈规定型观念长期存在。但是,从本质上讲,所有的机器翻译偏差基本上都是词义消歧问题:我们在源语言中有一个表达,当从目的语的角度来看,它有两个(或更多)意义。译者需要消除歧义,以决定作者的想法。有时它是可行的(当有足够的上下文可以继续时),有时它不是。如果不是,那么我们就有了无法解决的歧义。
无法解决的歧义不同于其他情况下,机器翻译只是把事情搞错了。没有一个人工智能,无论多么聪明,都无法猜出你的意思,如果文本中没有它的踪迹。这意味着我们不能仅仅通过改进现有的人工智能来修正机器翻译的偏差。唯一的方法是要求用户手动消除歧义。
向人工辅助机器翻译问好
当你仔细想想,这个认识——我们不能仅仅通过改进人工智能来修正机器翻译的偏见,而且我们必须要求用户手动消除歧义——是一个相当大的游戏规则改变者。这意味着我们不能再把机器翻译当作一个线性的过程,就像一个黑盒子,输入一种语言的文本,输出另一种语言。这个过程必须变得更具互动性人在回路中 .
主要的机器翻译公司谷歌和迪普知道这个吗?好吧,他们似乎开始明白了。尤其是谷歌一直在认真对待性别偏见,早在2018年,为某些语言对(如英语-西班牙语)中的特定性别名词和中性代词启动了手动消歧功能。DeepL在某些语言对中也有手动消歧功能,不是针对性别,而是用于在正式和非正式之间改变称呼形式。
在机器翻译中加入人工消歧带来了许多挑战。首先,软件需要能够检测到一个无法解决的歧义已经发生。第二,它必须能够根据用户的选择产生不同的翻译。
谷歌已经通过人工手段达到了现在的水平注释他们的训练数据和让他们的语言模型“知道”性别,即使它没有公开表达。
DeepL是臭名昭著的秘密但有理由假设他们的方法是相似的。
另一种方法的一个例子是 导光板,一个可与任何机器翻译程序一起工作并且只检查其输出的插件。Fairslator中基于规则的算法扫描源文本中无法解决的歧义,另一个算法根据用户的选择重新调整翻译。(披露:本文作者是Fairslator的创始人。)
归根结底,机器翻译偏差的问题是可以用技术解决的,但要付出代价。我们将不得不让我们的用户不再相信机器翻译是一个黑匣子,并让他们进入循环。
在一个我们越来越没有进一步改善人类相似性的空间的世界里(通过BLEU分数等来衡量),机器翻译的下一个前沿是模糊性。