print de um llama.cpp atendido no navegador, com o prompt: "I'm using sqlite and it there a table Aluno on it and a Name column. What'd be the query to retrieve all lines where Name contains "Fernandes"?" o modelo responde bonitinho: The query to retrieve all lines where the Name column contains "Fernandes" would be: SELECT * FROM Aluno WHERE Name LIKE '%Fernandes%'; e ainda continua explicando a estrutura do comando.

Notices where this attachment appears

1. Embed this notice
   (random) rick.e (random_rick_e@ursal.zone)'s status on Tuesday, 26-Nov-2024 07:05:26 JST (random) rick.e

   olha, temos algo interessante aqui: llama.cpp rodando local, a partir das orientações em https://medium.com/@manuelescobar-dev/achieve-state-of-the-art-llm-inference-llama-3-with-llama-cpp-c919eaeaac24.

   o LLM, tal como veio, é fp16 e fica bem lentinho rodando em i5 7gen @ 2.50GHz com 24GB de RAM. com a sugestão de quantização para 4-bit, a interação de prompt não é instantânea, mas fica bem aceitável. e veja, sem GPU!

   gosto das possibilidades que se abrem:
   1. rodar no meu hardware, não precisar de internet;
   2. os dados ficarem comigo;
   3. otimizar o modelo para meus casos.

   um uso imediato que tenho é para classificação de texto (o projeto de campanhas de financiamento coletivo de HQ)