Untitled attachment

Notices where this attachment appears

1. Embed this notice
   ピッカマンV (pikkamanv@social.nauka.moe)'s status on Sunday, 30-Mar-2025 11:56:00 JST ピッカマンV
   CUDAを人質に取られているので結局RTX 5070Tiを買ってしまった。70番台なのに3スロットのクソデカグラボなだけあってヒエヒエ
   
   同じVRAM 16GBの4060Tiと推論速度を比較するためollamaでgemma3:12 4bitを動かしてみたが、OSやCUDAコアの違いはあるものの、やはりVRAM容量は同じでも大きくなったメモリ帯域幅が推論速度に影響しているのを感じる。やっぱ時代はメモリ帯域幅なんすわ