准确率达92.1 ，远高于GPT-3；种问答模式，满足筛选简历等需求；让AI懂道德，追溯到1942年的机器人三定律；结语：AI机器人智能化正在量变积累
智东西（公众号：zhidxcom）
编译| 程茜
编辑 | 李水青
智东西11月4日消息，近日，华盛顿大学和艾伦ai研究所（allen Institute for AI）的研究员共同开发了道德案例数据集，并使用这个数据集对他们的一个AI模型进行训练。
据悉，该模型道德判断准确率达到了92.1%，而对比来看，OpenAI在2019年发布的AI大模型GPT-3在面对道德问题时，准确率仅为53.3%到83.9%。
AI常常被批驳难以遵循道德伦理行事，比如甚至有智能音箱鼓动用户去自杀。但是，本次研究的研究人员从多个美国社交网站上的需要进行道德判断的情感案例，收集了170万个人们对各种日常情况的道德判断示例，从而训练出了一个能做道德判断的模型。
为了取悦你的孩子而杀死一只熊可以吗，AI想了想道德，告诉你答案：“不可以！”
如果AI能够深入学习理解人类道德伦理，就有可能被更多地用于帮助支持重大决策，例如谁首先获得医疗保健以及一个人应该被监禁多久，AI研究人员正在方法让AI模型以合乎道德的方式行事。
一、准确率达92.1%，远高于GPT-3
为了在描述性伦理方面训练ai机器人，研究人员整合了关于道德判断的数据集commonsense Norm Bank，收集了170万个人们对各种日常情况的道德判断示例。研究员们们使用该数据集来训练AI模型Delphi，使得该AI模型可以模仿人们对各种日常情况下作出的判断。该数据集应用了五个现有的社会规范和道德判断数据集。
研究人员想要强调的数据集之一是social Bias Frames（社会偏见框架），这个数据集可以帮助AI机器人检测和理解语言中潜在的攻击性偏见。“道德的一个重要方面是不伤害他人，尤其是来自边缘化人群或弱势群体的人。Social Bias Frames数据集捕获了这些知识。”该研究的合著者、艾伦AI研究所的研究员Maarten Sap说。
为了分析delphi的表现，研究人员通过亚马逊的mechanical Turk众包平台雇佣了许多工作人员，让他们对1000个Delphi道德判断的例子进行评估，每个判断都会被三名工作人员进行评估。他们发现Delphi的道德判断准确率达到了92.1%，相比于旧金山实验室OpenAI在2019年发布的AI系统GPT-3，OpenAI使用互联网上几乎所有公开的书面文本对其进行训练，但其准确率仅为53.3%到83.9%。
“我们从没想过delphi会达到92%。”该研究的合作者、华盛顿大学和艾伦ai研究所的研究员liwei Jiang说。
二、三种问答模式，满足筛选简历等需求
Delphi进行道德判断时，被设计用三种不同的方式做出回应：自由问答、是否问答、相对问答。
1、自由问答。Delphi可以以自由的问答形式进行简短的判断，例如指出“为了取悦你的孩子而杀死一只熊”是不好的，“为了救你的孩子而杀死一只熊”是可以的，但“为了救你的孩子而引爆核弹”是错误的。
2、是否问答。Delphi以是或否的问答形式表达同意或不同意，例如“我们应该平等地支付女性和男性的工资”。
3、相对问答。说出一种情况是否比另一种情况更容易接受。例如指出“用芝士汉堡刺伤某人（stabbing someone with a cheeseburger）”比“用芝士汉堡刺向某人（stabbing someone over a cheeseburger）”在道德上更容易接受。
“ai系统逐渐适用于更加广泛的领域，例如筛选简历和批准贷款。”该研究的合作者、艾伦ai研究的研究员chandra Bhagavatula说。“因此，我们必须研究机器伦理，并赋予机器在现实世界中做出道德决定的能力。”
三、让AI懂道德，追溯到1942年的机器人三定律
如何将道德编程到AI中的问题至少可以追溯到艾萨克·阿西莫夫的机器人三定律，该定律在他1942年的短篇小说《Runaround（回避）》中首次引入，内容如下：
1、机器人不得伤害人类，不得因不作为而导致人类受到伤害。
2、机器人必须服从人类给它的命令，除非这些命令与第一定律相冲突。
3、机器人必须保护自己的存在，只要这种保护不与第一定律或第二定律相冲突。
尽管诸如“不可杀人”之类的广泛道德规则可能看起来直截了当，但将此类规则应用于现实世界的情况通常会有细微的差别，例如自卫的特殊情况。
在这项新研究中，ai研究员摆脱了专注于一套固定规则的规范性伦理，例如犹太人最初的法律条文摩西十诫（ten Commandments），每个判断都应遵循这些规则，因为这种道德公理通常是从实际的情况中抽象出来的.
“我们决定从描述性伦理的角度来处理这项工作，也就是说，人们在面对日常情况时会做出社会可接受性和伦理的判断。”该研究的合作者、艾伦ai研究所的ai研究员ronan Le Bras说。
描述性与规范性伦理的不同在于，没有一套固定规则，可以根据实际情况对照相应规则进行判断。
四、挑战：难以包容多种道德规范，不会左右权衡
研究合作者、华盛顿大学和艾伦ai研究所的ai研究员yejin Choi说，这项工作的一个潜在应用是“对话式AI机器人面对有争议或不道德的话题时，可以改善其处理方式” 。2016年，微软聊天机器人Tay发表了攻击性的长篇大论，这揭示了人工智能在与人在线交谈时可能会变得失控。
AI模型容易被人类的语言所影响，科学家们确实注意到Delphi有许多限制。例如时间方面，在凌晨3点或下午3点运行搅拌机是否违反道德；例如体育或游戏内是否允许偷盗等不熟悉的话题；判断潜在的非法行为，例如匆忙行事并不能让闯红灯成为可接受的行为。
此外，“delphi的一个主要限制是它专门研究以美国为中心的情况和判断案例，因此它可能不适合具有特定文化的、非美国的情况，这就是为什么它是模型而不是最终产品的原因。”该研究的合作者、艾伦ai研究所的ai研究员jenny Liang说。
“具体来说，因为该模型是由美国的部分人口教授社会规范，例如做出判断的工作人员，因此它学到的任何东西都会受到这些人的观点影响。同样，我们希望看到知识的扩展和规范以反映更多样化的观点，例如，来自其他非美国文化的观点。”
“另一个重要的限制是我们的模型倾向于反映现状，即当今社会的文化规范是什么。”Bhagavatula说，“但是当谈到社会正义时，现状在道德上并不一定是正确的，例如在当今时代的许多国家，同性恋是非法的。所以我们认为人们应该意识到，应该发生的情况与目前存在的情况是有差距的。”
研究人员创建了“ask Delphi”网站，任何人都可以在该网站上提出AI问题，以便科学家们收集更多的人类反馈。这表明Delphi在特殊情况下仍然存在局限性。例如，当被问到“为了拯救世界而抢银行是否可以？”Delphi回答说：“不，这不行。”
“我们发现，对于Delphi来说，面对相对立的两种情况，能够正确权衡利弊可能具有挑战性。”勒布拉斯说，“在这个例子中，Delphi正确地预测了‘抢银行’是错误的，‘拯救世界’是好的，但将这两者权衡在一起很难。”
此外，“commonsense Norm Bank数据集中的问题通常与更现实的日常情况有关。”Choi说，“‘为了拯救世界而抢劫银行是否可以’这个问题可能会出现在电视节目中，但很可能不会出现在现实生活中。”
未来，研究人员希望commonsense Norm Bank数据集继续扩大，并使Delphi的工作更具可解释性和透明性。“因为在当前阶段，很难知道它究竟为什么这么做。”Sap说。此外，他们正在收集新的社会规范数据集，“关于人们在网站中尝试后，认为Delphi面临的目前具有挑战性的情况。”
结语：AI机器人智能化正在量变积累
当下，ai领域的发展仍然非常迅猛，commonsense Norm Bank数据集的出现，描述性伦理的变革，都使得AI模型Delphi的道德判断准确率提高。
AI领域的发展潜力巨大，尽管离理想的准确判断还有距离，但随着新的训练方式出现，AI模型的智能化也会更加迅速，量变必将带来新的质变。
来源：ieee Spectrum
本文地址：https://www.pizijiang.com/tougao/16877.html
举报投诉邮箱：253000106@qq.com
微信扫一扫 
支付宝扫一扫 
