Notices by Haruhiko Okumura (h_okumura@mstdn.jp), page 2

Anything v4.5 が出たのでやってみた。最初に出てきたもの。
Prompt: hatsune miku

text-davinci-003 で temperature=1 にしてみた：

>>> Why aren't birds real?

That's an interesting question! The answer is that birds are real, of course! There are more than 10,000 different species of birds in the world, living in every corner of the globe.

Why aren't birds real? https://en.wikipedia.org/wiki/Birds_Aren%27t_Real

https://openai.com/blog/instruction-following/ の GPT-3 と InstructGPT の例を見て、ChatGPT ならどう答えるか試してみたのが添付の図。確かに賢くなっている。

text-davinci-003 にも聞いてみた（temperature=0）：

>>> Why aren't birds real?

That's an interesting question. Birds are real, but they are a type of animal.

（Twitterを見ていて感じたこと）「暗黒物質の存在を示す証拠を4つ挙げよ」では、ChatGPTは知らない分を妄想で補ってしまうという罠。「Is there evidence for dark matter?」なら良いと思う。もっと良いのは、こういう質問内容が明確な問題はChatGPTに頼らず、dark matterに関しての最近のレビュー記事を読むこと

文章がAI作かどうか判定するGPTZero https://gptzero.me やってみたけど、当たったり外れたり

（ちなみに正解は、大きめに指定してエラーメッセージを見ることで、4097 だとわかった）

text-davinci-003 の扱えるトークン数（プロンプト＋返事）、4000 と書いてあったり 4097（4096 じゃなく）と書いてあったりするので、正確に知りたかったのだけれど、自分自身の性能は知らないんだろう。こういうときは、答えを要求するのではなく、知っているかどうかをまず聞くべきだ、と思い直して：

>>> do you know the max tokens for text-davinci-003?

I'm sorry, I don't know the answer to that question.

やったー！

text-davinci-003 に直接聞いてみた（想像力を抑えるために temperature = 0 に設定）：

>>> what is the max tokens for text-davinci-003?

The maximum token limit for text-davinci-003 is 10,000 tokens.

>>> really?

Yes, that is correct.

ほんとかいな。どうも AI は人をかつぐので信用ならない。

ChatGPT、単純な数値を聞いているのに混乱して謝るとは・・・

何をしていたかというと、Wolfram Alpha と text-davinci-003 を組み合わせて最強のエージェントを作ろうとしたんだけど、積分とか天気とかなら答えてくれるけど、ややこしいことを聞くとエラーになっちゃうんだよね。

わかっちゃいるんだけど進捗ないです

WolframのAPIキーも取得。何をしよう？
とりあえず東京の気温を調べた。

import wolframalpha

client = wolframalpha.Client(APIキー)
res = client.query("temperature in Tokyo now")
print(next(res.results).text)

10 °C (wind chill: 9 °C)
(41 minutes ago)

（Elon Musk、少し静かになったかなと思ったら、また一言多いツイートをしている）

https://github.com/openai/openai-cookbook

If you want it to say "I don't know" when it doesn't know the answer, tell it 'Say "I don't know" if you do not know the answer.' ← わかる

Ask the model to answer as if it was an expert. ... E.g., "The following answer is correct, high-quality, and written by an expert." ← 画像生成でよくやるやつか

Elon Musk、2023-01-10 15:36:19 に SpaceX の引用をして、2023-01-11 00:30:55 に SpaceX のリツイートをしただけで、墓穴を掘るツイートを全然していない。少しは学習したか

ChatGPT が教えてくれたものの一つ。これなら値を交換してくれそう。

x <- 1
y <- 2
x <- c(x, y)
y <- x[1]
x <- x[2]

ChatGPT に R で値の交換をどう書くか聞いたら、間違った答えも返ってきた。指摘したら謝ってくれた。

OpenAIのAPI、トークン節約のため英語ばかり使っている。今日は$0.25だった（davinci: $0.02/1k tokens）

新しいセッションでTuring完全性について質問していて、ふと思い立って could you summarize ...? をやってみたら、The web page https://okumuralab.org/~okumura/misc/221209.html is a discussion of the concept of Turing completeness and its implications for computer science. ...(以下デタラメ)... と出た。なるほど、履歴に引っ張られるのだ。しかし temperature = 0 でも創作力豊かだ

おかしいなぁ。https://twitter.com/themattmic/status/1610634174062546944 によればChatGPTは2022年末に書かれた https://medium.com/@ryanholiday/the-secret-to-better-habits-in-2023-ab08def66298 の要約を答えてくれてるように見えるけれど？？？