GNU social JP
  • FAQ
  • Login
GNU social JPは日本のGNU socialサーバーです。
Usage/ToS/admin/test/Pleroma FE

  • Public

    • Public
    • Network
    • Groups
    • Featured
    • Popular
    • People

Conversation

Notices

  1. Embed this notice
    ピッカマンV (pikkamanv@social.nauka.moe)'s status on Thursday, 23-Jan-2025 09:37:09 JST ピッカマンV ピッカマンV
    日本語に強くてエロも書けるそこそこ賢いモデルとしては東工大のLlama 3.1 Swallow 70B Instruct v0.3があるが、70BあるのでVRAM 16GB x2ではIQ3_M量子化モデルが限界で、4bit量子化ではメインメモリにはみ出してしまいチャットで使うには遅すぎる

    https://social.nauka.moe/notice/AqLFlWIcVwVwEnKvYm
    In conversation about 19 days ago from social.nauka.moe permalink

    Attachments

    1. Domain not in remote thumbnail source whitelist: social.nauka.moe
      ピッカマンV (@PikkamanV@social.nauka.moe)
      DeepSeek-R1-Distill-Qwen-32B 逸般のPCでローカルで動くモデルとは思えないほど賢いが、エロい話は全然できないので、エロエロなCALM3-22B-Chatが愛しいぜ。アホだけど。

    Feeds

    • Activity Streams
    • RSS 2.0
    • Atom
    • Help
    • About
    • FAQ
    • TOS
    • Privacy
    • Source
    • Version
    • Contact

    GNU social JP is a social network, courtesy of GNU social JP管理人. It runs on GNU social, version 2.0.2-dev, available under the GNU Affero General Public License.

    Creative Commons Attribution 3.0 All GNU social JP content and data are available under the Creative Commons Attribution 3.0 license.