Skip to content

Latest commit

 

History

History
15 lines (8 loc) · 1.91 KB

File metadata and controls

15 lines (8 loc) · 1.91 KB

OpenAI → ChatGPT 是如何工作的?

  • ChatGPT 的算法看起来可能是随机的,但实际上并不是。这是一种“技巧”:一切其实都是已经确定的。举个例子:向 ChatGPT 提问 → 给我一个 0 到 100 之间的数字 → 它会回答 73。然后说 再来一次 → 它会回答 42。继续重复:再来一次,在 96.04% 的情况下它会回答 88 和 96.04。但为什么前两个是可预测的,而之后的却更不稳定?

那么它真的可以预测吗?并不完全是。

  • 问题在于,“第三个数字”已经不再存在于模型的内部记忆中;它位于“外部记忆”中 → 例如数据集或数据库中(我也不太确定)。解释一下:当它在数据库中检索时,它会尽可能快速地给出回答,因为这是它被设计的目的。因此它会进行搜索,而在 96.04% 的情况下,找到的第一个结果是 88。所以如果你尝试,多数情况下你会得到 88。但这是否意味着我们可以预测 ChatGPT 的所有回答或行为?答案是:可以……也不可以。问题是,如果我们想完全预测它的输出,我们需要一个巨大的数据库,其中包含在数十万个账户上、持续 2–3 周测试的精确提示词。如果成功,ChatGPT 就会在各处给出相同的回答,因为它会“学习”这种行为是有效的。而越是对它的某种行为进行强化,它就越会重复这种行为。这就是算法的运作方式。

我们如何做到这一点?

如上所述,ChatGPT 只是一个数学算法。因此,如果我们想通过某些提示词来预测它的输出,就需要在数十万个账户上测试同一个提示词,持续 2–3 周。如果成功,它就会在全球范围内表现一致,因为它会认为这种行为是有效的。

xql 等人的研究

  • 以上内容目前纯属理论,除了最上面的第一部分。就这样 :)