「Google Colab」で「RWKV」を試したので、まとめました。 ・rwkv 0.7.3 1. RWKV 「RWKV」は、TransformerレベルのLLM性能を備えたRNNです。高性能、高速推論、VRAMの節約、高速学習、長い文脈長、自由な埋め込みを実現しています。
rwkv
The RWKV Language Model
pypi.org
2. Colabでの実行 Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」を選択。 (2) Googleドラ