雨果服务
独立站
谷歌专家线上1V1
立即报名
扫码领取1V1在线福利
独立站近期活动

Visa测试22个AI购物模型:42.8%失败率,逾半失败案例仍完成下单

Visa近日发布行业首个AI购物基准测试报告,对来自12家实验室的22个AI模型开展了真实购物场景测试。测试结果显示,仅有57.2%的模型通过测试,整体失败率达42.8%。其中表现最优的模型通过率为82.2%,表现最差的仅为28.9%。

本次测试的核心要求包括:模型需能从用户对话中准确识别并汇总需求信息以判断是否下单;同时,在未找到符合需求商品的情况下,模型必须能够主动终止购买流程。测试涵盖的商品品类主要包括电视、笔记本电脑及个人护理电器。

测试数据分析指出,在所有失败案例中,有54%的情况下AI模型并未按规则终止交易,而是依然完成了下单操作。此类错误主要源于所购商品不符合买家实际需求,或用户的需求信息未被完整识别。