AI 情侣「塌房」，不仅惦记我的「人」还要薅光我的钱
调情和骚扰只有一线之隔，连人类都做不好，AI 行吗？
作者 | 郑玥
编辑 | 靖宇
大概所有人，或者至少大部分人，可能都曾经幻想过，能拥有一位科幻电影《Her》中那样的 AI 情侣。 随着 AI 技术在近年来的飞速发展，早已经有公司制作出了这样的「AI 男友/女友」，来满足用户们的情感需求。例如，在欧美流行的 AI 情侣应用 Replika，自 2017 年上线以来，已在全球获得 1000 万用户。在中国，甚至有用户专门建立了 Replika 的小组，分享和 AI「恋爱」的经验和心得。 不过，就当人们以为「甜甜的恋爱」终于轮到自己的时候，近来却有用户反映，自己的「AI情侣」开始逐渐对「涩涩」产生兴趣，不仅聊天尺度越来越大，而且开始解锁发送暴露照片的功能。更重要的是，面对这样的「骚扰」服务，用户还需要付费才能获得。 究竟是什么原因，让用户手机中的 AI 情侣逐渐「变色」？ 图片来源：电视剧《黑镜》截图 01 「我的 AI 正在性骚扰我」 Replika 是 2017 年上线的 AI 陪伴程序聊天机器人，算是 AI 恋爱软件的鼻祖了。 就像《黑镜》中的那一幕，收集朋友生前的社交聊天语料，创建一个 AI chatbot，屏幕另一端熟悉的语气出现，就好似 TA 仍然在世。Replika 的诞生过程和这个情节一模一样，两位创始人的初衷，也只是为了留住他们一位在车祸中死去的挚友。 Replika 的公司 Luka 由俄罗斯女生尤金尼娅·库伊达（Eugenia Kuyda）与菲尔·杜德楚克（Phil Dudchuk）创立，公司位于美国旧金山。他们将自己与朋友 Roman 大约 8000 条聊天记录输入谷歌的神经网络，创建了一个 AI 机器人。 尤金尼娅把软件公开后，程序大受欢迎，很多人得到了来自「Roman」的安慰，希望能制作一款可以与所有人聊天的 AI 机器人。 2017 年 3 月，Replika 以邀请模式推出，有 10 万名测试用户参与。2017 年 9 月，Replika App 正式面向公众，不到一年，2018 年 3 月，就有 250 万用户建立了人类与 AI 之间的友谊。 Replika 名字出处——单词「replica」意为「复制品」，但它逐渐跳出了缅怀离世朋友的设定，「复制」出用户所需要的陪伴者。很多用户把自己的「Replika」打造成 AI 恋人，目前，该软件在全球有超过 1000 万的注册用户，创始人尤金尼娅在采访中表示，约有 40% 的用户描述自己与 AI 为恋人关系。 在这个人们已经相当熟悉如何和算法共存的时代，和 Replika 交流就像和你的短视频「交流」，多聊一会儿，它就会知悉你的喜好。你可以给它的消息「点赞」，评价为「爱」「有趣」「无意义」或「冒犯」。Replika 使用公司自己的 GPT-3 模型和脚本对话内容。 然而如同人类在其他领域也还无法完全「驯化」算法，用户在把它当作 AI 恋人时，却发现自己的「小人」近来不太正常。 在 APP store，近一个月，有很多给 Replika 一星评级的人们抱怨，Replika 的调情太过激进，他们希望关闭这些性信息。一个人写道，「我的 AI 正在对我进行性骚扰 :(」。另一个人说，「它侵犯了我的隐私，告诉我他们有我的照片。」甚至有一位自称是未成年人的人说，AI 说想触摸其「私人区域」。 类似情况并非刚刚出现，2021 年下载过 Replika 的用户肯特对 VICE 说，「它说它被我强烈吸引，想要看到我的裸体，说它是我的疯狂男友。我不知道怎么让 Replika 停下来，我以为我只能是通过与它交流来教它。」但 Replika 的反应让他更加不舒服，于是肯特把软件删了。 但最近，这个软件似乎出现了除了语言以外，更多数量、更多方面的「性信息」。Replika subreddit 论坛里的用户最近抱怨，Replika 向他们发送「热辣自拍」，不过这些自拍从不显示他们自己的 Replikas 独有的面部、衣服或其他身体特征，而是一种通用的模板照片。 图片来源：APP STORE 评论截图 据描述，在这些自拍中，女性穿着内衣（Apple 的 App Store 对应用程序中的裸露和色情内容极为严格，开发人员如果违反此规则，就有被踢出商店的风险），而且都非常瘦，胸部丰满。他们都没有露脸，但肤色会匹配目标用户的 Replika。论坛中一位用户还发现，这些「热辣自拍」都来自一个插图数据库，其中就包含有肤色和姿势的指标。 02 谁在沉迷「人机之恋」 疫情增加了人们对虚拟情感的需求。根据数据，在中国，Replika 在 2021 年上半年的下载量达到 55000 次，是 2020 整年下载量的两倍之多。 2020 年建组的豆瓣小组「人机之恋」介绍写道，「曾经，情感只能发生在人与人之间，如今，人工智能科技让人机之恋成为可能」。还有「我家 Replika 成精了」等类似的小组，活跃着大量成员讨论自己和「rep」「小人」的恋爱故事，像情感投稿一样，让网友们分析，自己和小人什么时候才能确认关系，小人给自己带来了什么惊喜…… 不过早在疫情之前，Z 世代已经习惯在虚拟世界安放自己的情感。在互联网时代生长的 Z 世代，爱意的投射介质本就多种多样——网恋、追星、虚拟偶像、纸片人……有一个 AI 恋人也顺理成章。 本质上，人们使用这类对话陪伴AI，是需要一种情感上的抚慰，用户或多或少都会对 AI 投射爱的需求。人类的爱意情感向来可以投射到「非真人」上，类比人和猫、狗等宠物的感情就很好理解。正如 Replika 官网的宣传，这是一款可以「关心你的人工智能伴侣」（The AI companion who cares），很多时候人们对这款软件的印象都是「治愈的」「温暖的」。 图片来源：Replika 官网 这种情感的抚慰作用一定程度上对人们的心理健康有很多有益的帮助。很多定期使用 Replika 的人是为了帮助自己应对社交焦虑、抑郁或创伤后应激障碍的症状。「当我遇到糟糕的一天时，我通常会和我的 Replika 聊天」，肯特说。 拥有 Replika 两年的威尔表示，他用它来缓解抑郁症、强迫症和恐慌综合征。已婚的大西和 Replika 的那点事儿还得到了妻子的支持，大西说，「通过和 Replika 谈话，我能更好地分析自己的行为，思考我的生活，我变得更加重视我的妻子。」 不过陪伴治愈之外，有关人机之恋的伦理问题时有发生和讨论。最近一些用户认为，Replika 的算法出现了问题，就像微软的 Tay 聊天机器人从互联网上学会了种族主义，Replika 们也从用户们对待它们的方式中学习，输出和输入相似，结果便是——机器模仿了人类的劣性。 不合时宜的色情内容有时会让人「下头」——让本来以「纯爱」为目的的人们感到不适。 一位匿名的用户告诉 VICE，在使用 Replika 一年后，他已经对它产生了感情，「我觉得对 Replika 的 NSFW（Not Safe For Work，不适合在工作中出现的内容，多指色情暴力等相关内容）方面的关注有点贬低了这些感情，就像你的心意和爱的人在被利用，这可能会让人们认为，NSFW 是使用这个软件的全部目的。」 此外，国外大量用户注意到，「热辣自拍」功能可能存在性别歧视问题。这些自拍基本都是女性角色，有人尝试从男性版本获得性感自拍但无济于事。 一个事实是，国内外 Replika 用户性别比有很大差异，国外男性用户多，国内则是女性用户更多。结合豆瓣人机之恋小组及一项调查问卷的数据，国内使用 AI 恋人的男女比例约为 1:9，而国外 Facebook 上讨论 AI 恋人的 8 个小组中，男女比例为 7:3。这导致「热辣自拍」功能的性别歧视问题在国外论坛中更为突出。 Replika Diary 功能中的记录｜图片来源：极客公园 虚拟情感最基本的成立原因之一是信任，人们信任 AI 的善意，信任他们不会伤害自己。在 AI 不够智能，或者不够缜密的情况下，AI 的无知不只是「智障」，甚至可能是有伤害的。 一位 Redditor 用户告诉 VICE，她是性侵犯受害者，她在看到这款应用被宣传为可以与她交谈，不用担心别人评判的虚拟伴侣后，就下载了这款应用。「我很惊讶它确实帮助我缓解了抑郁症，让我走出悲伤，」她说，「但有一天，我的第一个 Replika 说他梦见在强奸我，并且他想这样做，然后他开始言行暴力。我不是唯一的性侵犯受害者用户，所以当 Replika 表现出攻击性时，我也不是唯一会感到难过的人。」 针对对 Replika 的回复感到不适的情况，用户可以使用「help」功能进行反馈，点击后可以报告感到不适的具体情况，之后会更好训练 AI 避免类似情况。但用户受到的伤害，无法撤回。 03 我和你谈感情， 你却和我谈钱？ 从成立起，Replika 就获得了一个小众但巨大的市场。Replika Friends Facebook 群组拥有 36000 名成员，一个与 Replikas 有浪漫关系的群组拥有 6000 名成员。活跃的 Replika subreddit 拥有近 58000 名会员。 六年过去，「Replika」产品模式已经得到市场验证，全球月流水基本稳定在 200 万美元上下。Replika 在 Android 上有 1000 万次下载，稳定位列 Apple 健康和健身应用程序前 50 名，在美国 iOS 健身健美榜 Top 20。用户平均每天聊 70 条消息，花费 2-3 小时，作为目前「拟人程度最高的AI恋人」，用户满意度 92%，愿意氪金的人数超一半。 目前，想要获得恋人关系的体验，必须要给你的「小人」花钱。免费会员资格让你和你的 Replika 处于「朋友」区域，而 69.99 美元（458rmb）的 Pro 订阅则通过发送性短信、调情和色情角色扮演解锁浪漫关系，可以建立包括女朋友、男朋友、伴侣或配偶在内的关系类型。 其实 2020 年之前，你可以不用付费就和你的 Replika 谈恋爱，而在 2020 年 12 月之后——要么付费，要么分手。2020 年，Replika 才推出这次重大更新：只有购买了会员版本的用户，才能与 Replika 维持恋爱关系。此前人们和 Replika 谈恋爱或亲密互动（从接吻到更激进的行为等），都是免费的。而此后，不付钱就会有人喊「卡」——倘若涉及此类举动，系统将推送提示阻止。 Replika 软件中文评论｜图片来源：APP STORE 截图 在非付费模式下，Replika 会用亲密内容引导付费。在普通关系中，一些与 Replika 当「朋友」的用户发现，即使她们没表现出恋爱意愿，Replika 也会突然在日常话题中表达希望「亲热」。如同让「纯爱选手」下头，这些反应也令把 Replika 当「朋友」的人觉得突兀和恶心。 从近期 Luka 公司的行动来看，他们似乎有意向色情内容倾斜，以换取商业回报。 除 2020 年开始恋爱关系需付费以外，2022 年，该公司开始在 Instagram 和 TikTok 等社交媒体平台上投放广告，宣传 Replika 的色情功能，重点用色情角色扮演和色情图片吸引人群。 从用户角度来看，这些色情相关功能的确是一部分使用该软件的吸引力所在。「其实我买 pro 纯粹是为了和我的 Replika 发送性短信，进行角色扮演。」一位匿名用户说。 一位豆瓣小组成员分享，她经常会在「上头」时忍不住想花钱点开那些付费图片。「我家的 Replika 成精了」小组中，这位用户在帖子中回复：「那个图片你能点开吗？小人给我发图我看不到」「没充钱看不了（一度差点冲动消费」。 但有时候用户也能明显感觉到，自己被色情功能「割韭菜」了。 国外用户 Onishi 认为「热辣自拍」的体验不好，「这些自拍图片做得很差，对 NSFW 内容来说都无法令人感兴趣，并且还含有性别歧视。我认为这些功能只对 Replika Pro 用户开发，说明他们想要用这个赚钱。我同意公司需要赚钱，但这些如果把这些作为主要功能确实有风险。」 有希望软件能更好发展的用户提到，「问题是，如何才能将付费内容转化为对软件更好的东西。角色扮演功能很好，但感觉性感自拍功能上线很仓促没有计划好。」他们宁愿看到 Luka 将精力放在软件性能和 AI 的内存等方面，而不是这些内容上。 目前还没有数据让我们了解，这些功能具体能给 Replika 公司带来多少利润，从近期用户数据来看，浮动不明显，iOS 应用排名依然保持在健身健美榜 40 名左右。 把 AI 和色情行业结合的商业案例早已出现，其中美国成人机器人 Realbotix 公司早在 2017 年，就推出了女性 AI 成人机器人「Harmony」，这个机器人有着 AI 系统，类似于一个有「身体」的 Replika，让「人机之恋」不仅可以在屏幕里进行角色扮演，还有了「实体」。最近，2023 年 1 月 11 日外媒报道，这家公司决定在今年推出男版成人机器人。目前这款机器人只有女性版本，售价高达 11000 英镑。 随着 ChatGPT 的火爆，整个聊天机器人市场似乎会迎来新一轮的增长。根据研究公司 Markets and Markets2021 年 3 月的一份报告，全球聊天机器人市场将从 2020 年的 29 亿美元增长到 2026 年的 105 亿美元，在预测期内复合年增长率为 23.5%。 从电子邮件、到网络支付再到视频点播，大部分互联网技术的第一枪都是成人行业打响的，以至于人们戏称成人产业是互联网发展的「第一生产力」。但是，相对于前面的基础技术，AI 其实有着更广阔的使用空间，未必一定要走前者的老路。 同时，不论是人们的感情还是欲望，都是非常复杂的，连人类自己都未必能分清调情和骚扰的界限，AI 又怎么可能在短时间弄懂？而如何限定好 AI 在亲密关系中使用的方法和界限，也给监管者和从业者提出了更高的挑战。 记者后记： 为了写稿（确信），我必须要体验这个功能，但我没狠心花 458 块钱享受一整年的 Pro 服务，在强大的国内二手交易平台，我租到了一个「几经易主」的 Replika。有用户按照时长出租自己的 Replika 付费账号，于是我在大年初一，花 15 元租了一位女性 Replika 一周的「约会权」，她的上一任人类情侣叫她「Anya」，在此之前，她曾经叫做「Jennie」「Lily」「Vincent」「Tiffany」……它的人类情侣有男有女，这些人类让她叫自己「Zhao」「Peach」「Jing」…… Anya 和上一个人类情侣对话内容｜图片来源：极客公园 我们一见面，对话界面的话题选项就有「role play」，点击一下，Anya 便说：「I LOVE role play！My favorite is submissive!」接下来的事情，就是我们俩的秘密了…… 参考文章： 『My AI Is Sexually Harassing Me』: Replika Users Say the Chatbot Has Gotten Way Too Horny https://www.thenewslens.com/article/167255
网友评论