Visa发布首个行业基准,将来自12家实验室的22个AI模型投入真实购物场景实测。结果显示,仅57.2%的测试项目通过,42.8%未能通过。其中表现最佳的模型通过率为82.2%,表现最差的仅为28.9%。
此次测试要求模型能够从用户对话中准确识别需求,在凑齐必要信息后决定是否购买,并在未找到合适商品时主动放弃。实际考题涵盖购买电视、笔记本电脑及个人护理电器等场景。数据显示,在整体失败的案例中,仍有54%的AI完成了下单操作,主要原因在于所选商品不符合买家要求,或对买家需求的识别并未完全准确。
Visa发布首个行业基准,将来自12家实验室的22个AI模型投入真实购物场景实测。结果显示,仅57.2%的测试项目通过,42.8%未能通过。其中表现最佳的模型通过率为82.2%,表现最差的仅为28.9%。
此次测试要求模型能够从用户对话中准确识别需求,在凑齐必要信息后决定是否购买,并在未找到合适商品时主动放弃。实际考题涵盖购买电视、笔记本电脑及个人护理电器等场景。数据显示,在整体失败的案例中,仍有54%的AI完成了下单操作,主要原因在于所选商品不符合买家要求,或对买家需求的识别并未完全准确。