Public
- Public
- Network
- Groups
- Featured
- Popular
- People

outro print do llama.cpp atendido no navegador. a resposta para meu prompt fica: You can use the sqlite3 library to connect to the SQLite database, then use the pd.read_sql_query function from pandas to load the data into a DataFrame. Here's an example: import sqlite3 import pandas as pd # Connect to the SQLite database conn = sqlite3.connect('your_database.db') # SQL query to select the data query = "SELECT * FROM Aluno WHERE Name LIKE '%Fernandes%'" ... destaque na parte de baixo de duas CPU rodando a 100% (ainda sobram duas disponíveis para o resto do sistema)

Download link

outro print do llama.cpp atendido no navegador. a resposta para meu prompt fica: You can use the sqlite3 library to connect to the SQLite database, then use the pd.read_sql_query function from pandas to load the data into a DataFrame. Here's an example: import sqlite3 import pandas as pd # Connect to the SQLite database conn = sqlite3.connect('your_database.db') # SQL query to select the data query = "SELECT * FROM Aluno WHERE Name LIKE '%Fernandes%'" ... destaque na parte de baixo de duas CPU rodando a 100% (ainda sobram duas disponíveis para o resto do sistema)
https://cdn.ursal.zone/media_attachments/files/113/545/502/030/147/836/original/c5afaf5d6eb4ed06.png

Notices where this attachment appears

Embed this notice
(random) rick.e (random_rick_e@ursal.zone)'s status on Tuesday, 26-Nov-2024 07:05:26 JST (random) rick.e

olha, temos algo interessante aqui: llama.cpp rodando local, a partir das orientações em https://medium.com/@manuelescobar-dev/achieve-state-of-the-art-llm-inference-llama-3-with-llama-cpp-c919eaeaac24.
o LLM, tal como veio, é fp16 e fica bem lentinho rodando em i5 7gen @ 2.50GHz com 24GB de RAM. com a sugestão de quantização para 4-bit, a interação de prompt não é instantânea, mas fica bem aceitável. e veja, sem GPU!
gosto das possibilidades que se abrem:
1. rodar no meu hardware, não precisar de internet;
2. os dados ficarem comigo;
3. otimizar o modelo para meus casos.
um uso imediato que tenho é para classificação de texto (o projeto de campanhas de financiamento coletivo de HQ)

In conversation about 5 months ago from ursal.zone permalink