Conversation

スティーヴン・ウルフラム『ChatGPTの頭の中』（ハヤカワ新書）読了。ニューラルネットワークを基盤として、「与えられた文章の一部に続く内容を見つける」処理しかしていないが、大規模言語モデルで「たった」1750億個の重みを使うと人間にそっくりな応答ができるようになったという。「「ニューラルネットに1750億個の重みがあると、なぜだかそうなる」という以上の説明は、おそらくできない」というところが面白い。TransformerとAttentionのところはよく判らなかったが、その辺りはこれからまた別の本を読んだりしていくということで。