【TechWeb】6 月 28 日消息，据外媒报道，随着 GPT 系列大模型的不断升级，OpenAI 所训练的 ChatGPT 也在拥有更强的能力，但这也带来了一些挑战，它所生成的内容中存在的错误也越来越隐蔽，逐渐到了 AI 训练师难以发现的程度。
而为了应对这一挑战，OpenAI 也想出了新招，他们基于 GPT-4 模型，训练了一个用于发现 ChatGPT 输出代码错误的模型。
OpenAI 当地时间周四，已在官网宣布了这一消息，他们训练的模型名为 CriticGPT，从名称来看就是用于发现不足，以便让相关的应用变得更好。
从 OpenAI 在官网公布的消息来看，CriticGPT 在他们的应用中有不错的效果，他们发现在新模型的辅助下，使用者在检查 ChatGPT 的输出代码时，比没有 CriticGPT 的协助要好 60%。
在官网上，OpenAI 提到，他们也是通过 RLHF（从人类反馈中强化学习，Reinforcement Learning from Human Feedback） 来训练 CriticGPT，与训练 ChatGPT 类似。但与训练 ChatGPT 不同的是，他们在训练 CriticGPT 时，看了大量包含错误的输入。
虽然 CriticGPT 能帮助发现更多的问题，但也存在不足，还有改进的空间。OpenAI 在官网上就提到，并不是所有的发现都是准确的，用于训练的 ChatGPT 生成内容也普遍很短，还需要开发新的方式，以协助训练师理解更长和更复杂的任务。
此外，OpenAI 在官网上也提到，在研发 CriticGPT 的过程中，他们发现将 RLHF 应用于 GPT-4 时，能帮助生成更好的 RLHF 数据，他们计划扩大这一项工作的规模，并付诸实践。（海蓝）