- ChatGPTのアルゴリズムはランダムに見えるかもしれませんが、実際にはそうではありません。これはトリックです。すべてはすでに決まっています。例を見てみましょう：ChatGPTに「0から100の間の数字を教えて」と尋ねると → 73と答えます。次に「もう一度」と言うと → 42と答えます。そしてさらに繰り返すと、「もう一度」に対して96.04%の確率で88と96.04と答えます。では、なぜ最初の2つは予測できるのに、その後はより不安定になるのでしょうか？
- 問題は、3つ目の数字はもはやモデルの内部メモリには存在していないということです。それは「外部」メモリ、つまりデータセットやデータベースの中にあります（正確かは分かりません）。説明すると、データベースを検索するとき、モデルはできるだけ速く回答しようとします。なぜならそれが設計目的だからです。そのため検索が行われ、最初に見つかった数字が96.04%の確率で88になります。もし試せば、多くの場合88が返ってくるでしょう。しかし、だからといってChatGPTのすべての応答や行動を予測できるのでしょうか？答えは「はい…でもいいえ」です。問題は、すべての応答を完全に予測するには、数十万のアカウントで2〜3週間にわたって同じプロンプトを巨大なデータベースとしてテストする必要があるということです。もしそれが成功すれば、ChatGPTは世界中で同じように応答するようになります。なぜなら、その行動が「効果的」だと学習するからです。そして、望ましい行動に対して報酬を与えれば与えるほど、その行動を繰り返すようになります。これがアルゴリズムの仕組みです。
上で説明したように、ChatGPTは単なる数学的アルゴリズムです。したがって、特定のプロンプトで何を出力するかを予測したい場合、同じプロンプトを数十万のアカウントで2〜3週間テストする必要があります。そしてそれがうまくいけば、ChatGPTはその行動が有効だと判断し、世界中で同じように応答するようになります。
- ここまでの内容は、最初の部分を除いてすべて理論的なものです。それだけです :)