ChatGPT

ChatGPT 基于 GPT-3.5 模型微调而成，以语言服务模型 InstructGPT 为基础，通过人类回馈增强学习训练模型 RLHF，不过数据设置略有不同。它以对话方式进行交互，既能够做到回答问题，也能承认错误、质疑不正确的前提以及拒绝不恰当的请求，能以更贴近一般人的对话方式与使用者互动。

有了GPT-3.5的加持，ChatGPT经训练后提升了对答如流的能力。GPT-3只预测任何给定的单词串之后的文本，而ChatGPT则试图以一种更像人类的方式与用户发生互动。ChatGPT的互动通常是非常流畅的，并且有能力参与各种主题，与几年前才面世的聊天机器人相比，显示出了巨大的改进。

OpenAI官方称，ChatGPT是在人类的帮助下创建并训练的，人类训练师对该AI早期版本回答查询的方式进行排名和评级。然后，这些信息被反馈到系统中，系统会根据训练师的偏好来调整答案——这是一种训练人工智能的标准方法，被称为强化学习。