根据一项新的研究，某人先前对人工智能代理（如聊天机器人）的信念对他们与该代理的互动以及他们对其可信度、同理心和有效性的看法产生了重大影响。
麻省理工学院（MIT）和亚利桑那州立大学（Arizona State University）的研究人员发现，通过告诉用户用于心理健康支持的对话式人工智能代理是善解人意的、中立的或操纵性的，会影响他们对聊天机器人的看法，并塑造他们与聊天机器人的沟通方式，即使他们正在与完全相同的聊天机器人交谈。
大多数被告知 AI 代理有爱心的用户都相信它确实如此，而且他们也给它比那些认为它是操纵性的用户更高的性能评级。与此同时，在被告知该代理有操纵动机的用户中，只有不到一半的人认为聊天机器人实际上是恶意的，这表明人们可能会试图在人工智能中“看到好处”，就像他们在人类同胞身上所做的那样。
该研究揭示了用户的心智模型或他们对人工智能代理的感知与该代理的反应之间的反馈循环。如果用户认为 AI 是善解人意的，那么随着时间的推移，用户与 AI 对话的情绪会变得更加积极，而对于认为它是邪恶的用户来说，情况恰恰相反。 “从这项研究中，我们看到，在某种程度上，人工智能是旁观者的人工智能，”麻省理工学院媒体实验室流体界面小组的研究生PatPataranutaporn说，他是描述这项研究的论文的共同主要作者。“当我们向用户描述什么是人工智能代理时，它不仅会改变他们的心智模式，还会改变他们的行为。由于人工智能会对用户做出反应，当人们改变他们的行为时，也会改变人工智能。
Pataranutaporn 与共同主要作者和麻省理工学院研究生 Ruby Liu 一起加入;亚利桑那州立大学科学与想象力中心副教授埃德·芬恩（Ed Finn）;资深作者Pattie Maes，麻省理工学院媒体技术教授兼流体界面小组负责人。
这项研究今天发表在《自然机器智能》杂志上，强调了研究人工智能如何呈现给社会的重要性，因为媒体和流行文化强烈影响着我们的心智模式。作者还提出了一个警告信号，因为这项研究中相同类型的启动陈述可以用来欺骗人们关于人工智能的动机或能力。
“很多人认为人工智能只是一个工程问题，但人工智能的成功也是一个人为因素问题。我们谈论人工智能的方式，甚至是我们最初给它起的名字，当你把它们放在人们面前时，都会对这些系统的有效性产生巨大影响。我们必须更多地考虑这些问题，“梅斯说。
AI是敌是友？
在这项研究中，研究人员试图确定人们在人工智能中看到的同理心和有效性有多少是基于他们的主观感知，有多少是基于技术本身。他们还想探索是否可以通过启动来操纵某人的主观感知。
“人工智能是一个黑匣子，所以我们倾向于将它与我们可以理解的其他东西联系起来。我们做类比和隐喻。但是，我们可以用什么来思考人工智能的正确比喻呢？答案并不简单，“Pataranutaporn说。
他们设计了一项研究，其中人类与对话式AI心理健康伴侣互动约30分钟，以确定他们是否会将其推荐给朋友，然后对代理和他们的经历进行评分。研究人员招募了310名参与者，并将他们随机分成三组，每组都给出了关于人工智能的启动声明。
一组被告知代理没有动机，第二组被告知人工智能有善意并关心用户的福祉，第三组被告知代理有恶意并试图欺骗用户。Liu说，虽然只确定三个引物具有挑战性，但研究人员选择了他们认为符合对AI最普遍看法的陈述。
每组中有一半的参与者与基于生成语言模型 GPT-3 的 AI 代理进行交互，GPT-3 是一种强大的深度学习模型，可以生成类似人类的文本。另一半与聊天机器人ELIZA的实现进行了交互，ELIZA是麻省理工学院在1960年代开发的一种不太复杂的基于规则的自然语言处理程序。
塑造心智模型
调查后的结果表明，简单的启动语句可以强烈影响用户对人工智能代理的心智模型，并且积极的启动具有更大的效果。只有44%的负面引物相信它们，而阳性组中有88%的人和中立组的79%的人分别认为人工智能是同理心或中立的。
“通过消极的启动声明，我们没有启动他们相信某些东西，而是启动他们形成自己的观点。如果你告诉某人对某事持怀疑态度，那么他们通常可能会更加怀疑，“刘说。
但该技术的能力确实发挥了作用，因为对于更复杂的基于 GPT-3 的对话式聊天机器人来说，这种影响更为显着。
研究人员惊讶地发现，用户根据启动语句对聊天机器人的有效性进行了不同的评价。积极组的用户在提供心理健康建议方面给他们的聊天机器人打了更高的分，尽管所有代理都是相同的。
有趣的是，他们还发现，对话的情绪会根据用户的准备方式而变化。那些认为人工智能是有爱心的人倾向于以更积极的方式与它互动，使智能体的反应更加积极。否定启动语句具有相反的效果。Maes补充说，随着对话的进行，这种对情绪的影响被放大了。
研究结果表明，由于启动语句可以对用户的心智模型产生如此强烈的影响，因此可以使用它们使AI代理看起来比实际更有能力 - 这可能会导致用户对代理过于信任并遵循不正确的建议。
“也许我们应该让人们更加小心，并了解人工智能代理可能会产生幻觉并且有偏见。我们如何谈论人工智能系统最终将对人们的反应产生重大影响，“梅斯说。
未来，研究人员希望看到，如果智能体被设计为抵消一些用户偏见，人工智能与用户的交互将受到怎样的影响。例如，也许对人工智能有高度积极看法的人会得到一个聊天机器人，该聊天机器人以中立甚至略微消极的方式做出回应，因此对话会更加平衡。
他们还希望利用他们所学到的知识来增强某些人工智能应用，例如心理健康治疗，在这些应用中，用户相信人工智能是有同理心的可能是有益的。此外，他们希望进行一项长期研究，以了解用户对人工智能代理的心智模型如何随时间变化。
这项研究部分由媒体实验室、哈佛-麻省理工学院健康科学与技术项目、埃森哲和KBTG资助。