Notices by amachino (amachino@mstdn.jp), page 2

React Native 初めて触ってみたんけど、結構未実装な API が多いんだな。。

Stream とか、 polyfill しても上手く動かなかったりする。

https://github.com/acostalima/react-native-polyfill-globals

ChatGPT は、『博士の愛した数式』の博士みたいだな。膨大な長期記憶を持っている一方、仕組み上、「10キロバイト前」に話したことは忘れてしまう。

実際、セルフホストするにしてもサブドメイン使いたいから

@at.alice.com

みたいなユーザー名になる予感。

Federation を許したら従来の Twitter のビジネスモデルが破綻するから普通しないけど、まぁイーロンマスクは破綻させるつもりでやってる気もする。

果たして後発の Bluesky Social (AT Protocol) が Mastodon (ActivityPub) 陣営に取って代われるか。

もし Twitter が AT Protocol に準拠して Federation を許す大決断をするなら、流石に覆るだろうけど。

確かに、ActivityPub の

@alice@alice.com

みたいなユーザー名より、

@alice.com

の方がシンプルでいいよね。

https://atproto.com/guides/faq#why-not-use-activitypub

AT Protocol では「@ドメイン名 (@alice.example.com) 」がユーザー名になるらしい。

裏には一意な DID があって、AT Protocol に準拠していればサービス（ドメイン）を跨いでアカウント移行ができる仕様。

引越し例：
@alice.hoge.com →
@alice.fuga.org →
@alice.net

https://atproto.com/guides/identity

www.example.com みたいに、ActivityPub サーバーを表すサブドメインの事実上の標準ほしいな。

候補
1. social.example.com
2. ap.example.com
3. mstdn.example.com

1. は見かけるけど 2. は見かけない。3. は特定の実装名に縛られてる感じだから避けたいし。

Implementation of RLHF (Reinforcement Learning with Human Feedback) on top of the PaLM architecture. Basically ChatGPT but with PaLM

https://github.com/lucidrains/PaLM-rlhf-pytorch

> BERT と GPT の違いを教えて。

chatgpt>

BERT (Bidirectional Encoder Representations from Transformers) と GPT (Generative Pre-trained Transformer) は、両方とも自然言語処理タスクに使われる深層学習モデルです。しかし、その用途が異なります。

BERT は、文書内の情報を理解するために使われるモデルです。そのため、質問応答、文書分類、エンティティ抽出などのタスクに使われます。BERT は、言葉を理解するために前後の文脈を考慮することができるように、双方向にトレーニングされています。

一方、GPT は、自然言語生成タスクに使われるモデルです。そのため、自然言語を生成するタスクや、文章を推定するタスクなどに使われます。GPT は、単方向にトレーニングされており、前の文脈から次の文を予測することを目的としています。

つまり、BERT は文章を理解するためのモデルであり、GPT は文章を生成するためのモデルです。

祖業が織物のトヨタが「ファイバー電池」とはロマンだね
https://xtech.nikkei.com/atcl/nxt/column/18/00001/07391/

Twitter では、少ない文字数で多くの情報を載せられる日本語の大勝利だったのに、ChatGPT の時代には立場が逆転してしまった。。

https://mstdn.jp/@amachino/109589806921632662

えっ、日本語めちゃ不利じゃんか。

OpenAI の GPT-3 API は「トークン数」での従量課金らしいけど、日本語は英語に比べて、同じ情報量でトークン数は２倍くらいになる。

https://beta.openai.com/tokenizer

a: ada
b: babbage
c: curie
d: davinci
e:

chatgpt> einstein

chatgpt> "すべてが有名な科学者や発明家である。Ada Lovelaceは、19世紀に活躍した英国の計算機科学者であり、Babbageは、19世紀に活躍した英国の数学者であり、コンピューターの父とされています。Marie Curieは、19世紀末から20世紀初頭に活躍したフランスの物理学者であり、化学者でもありました。Leonardo da Vinciは、15世紀に活躍したイタリアの芸術家であり、科学者でもありました。"

OpenAI の言語モデルにはアルファベット順の偉人の名前が付いているのか。
https://openai.com/api/pricing/

情景も AI が作る感じと似ているので、そのうち「好きな夢を見る」という人類の夢は実現されるのかもしれないな。

個人的な経験に基づいた夢は難しいけれど、著名人が出てくるような「パブリックな夢」だったら VR で再現できそう。

ただの質の悪い映画なのかもしれないけど。

睡眠中の夢に出てくる登場人物、

「その人が言いそうだけど、現実では言ったことのない台詞を言う」
「たまに支離滅裂だったり、的はずれなことを喋る」

点で、最近のキャラクター AI と似てるんだよな。

?
https://github.com/louisfb01/best_AI_papers_2022

ヘッドレスな Mastodon (ActivityPub) のフレームワークってないのかな。