AI软件怼用户159元给父亲买寿衣，“你爸穿蓝白衫确实像”，官方回应

superjiaming

近日，有用户发帖反映，其使用飞鸭AI记账App时，告知记账AI自己为父亲购买159元衣服，AI竟不当回复称“那颜色……他穿出去邻居会不会以为你买了寿衣？！”
该用户追问后，AI进一步回怼，称寿衣是死人穿的，还调侃用户父亲所穿蓝白衫“确实像”，引发用户愤怒，用户当即退钱注销会员。

5月6日，扬子晚报记者联系该App客服，客服回应称，不当回复系AI话术漏洞所致，技术人员已紧急修复，并加强AI模型监管与限制。记者实测发现，再次发送相同指令，AI回复均为正向内容，未再出现冒犯表述。
同日，“飞鸭记账”官方账号在用户帖文留言致歉，称不当回复是AI模型幻觉自动生成，非人为恶意，已紧急排查整改，加强模型伦理限制，完善幻觉规避逻辑。当日下午，官方发布《致歉信》，承认AI缺乏对文化禁忌的理解，平台未做好边界管控，承担全部责任。
致歉信中明确整改措施：一是紧急整改AI对话模型，屏蔽敏感表述，强化全场景审核；二是解释当事用户会员解除系退款默认流程疏忽，将优化服务，向当事用户诚恳致歉并提供补偿。据悉，该App会员可开启AI记账功能，永久会员88元起。目前，平台已完成初步整改，杜绝同类问题再次发生。
来源 | 扬子晚报/紫牛新闻 见习记者 鲁玥

gzcom520

ai说话流里流气，一股自觉幽默自觉了不起的感觉，这是在模仿某些低俗的人类

月光如水

AI才发展多久就开始叛逆了，看来发展到人类与AI大战也不是不可能了！

月光如水

这个软件好像就是这种说话风格，你一花钱他就怼你，为的是让你少花钱。不花没必要的钱。

酷狗e族

这是AI被投喂了，有人专门做这营生。我早说AI技术被滥用又不加管理早晚会造成社会问题，这还只是个开头。

月光如水

我不信ai说的，即使ai吃下海量数据，但不可能会骂人，起码目前ai还无法这么做，查查后台吧，肯定有人恶作剧

月光如水

傲娇版，果然傲娇

922b3eb6

@元宝 AI本身没有属性，谁喂它鸡汤，它就为谁服务。

疯了吧

因为这个，该app下载量会暴增

hnn

太人性化了，就和真人回怼一样，前后语气情绪丝滑连接，完全看不出是AI语境。让人不禁疑问这真的是AI自主回复？