Conversation

Notices

1. Embed this notice
   Erika Heidi ✨ (erikaheidi@fosstodon.org)'s status on Saturday, 15-Nov-2025 07:46:24 JST Erika Heidi ✨

   Acabei de publicar e já queria trazer aqui pra vocês em primeira mão! Meus primeiros experimentos com open source LLMs.

   https://eheidi.dev/posts/raspberry-llama/

   • Embed this notice
     Erika Heidi ✨ (erikaheidi@fosstodon.org)'s status on Sunday, 16-Nov-2025 05:58:06 JST Erika Heidi ✨

     in reply to

     Agora sim, cheguei no resultado que queria :) Usando a API do llama server e um shell script, agora posso rodar um CLI passando o path da imagem e obter o ALT para ela!

   • Embed this notice
     Erika Heidi ✨ (erikaheidi@fosstodon.org)'s status on Sunday, 16-Nov-2025 05:58:07 JST Erika Heidi ✨

     in reply to

     A minha idéia desde o começo era criar algo como o AltBot que eu pudesse usar pra qualquer rede, rodando localmente. Então comecei criando uma imagem de container pra rodar o llama.cpp e depois levei esse setup pra a Raspberry. Lá eu rodei uma imagem da Chainguard que já vem com o Docker daemon então é só clonar o repo, buildar a imagem e rodar o llama server com o modelo que quiser. O Qwen3-VL foi lançado mês passado, é bem novo!