Hardware para LLM local abaixo de US$ 2000
A máquina completa abaixo de US$ 2000, não apenas a placa. São as configurações que cabem no orçamento de um estudante e ainda rodam um modelo de classe 125B.
| # | Hardware | Memória | Leitura tok/s | Potência | Conjunto | Local $/M | Retorno |
|---|---|---|---|---|---|---|---|
| 1 | AMD Radeon RX 6900 XT 16GB | 16 GB | 466 | 450 W | $1.669 | $0.118 | 994 d |
| 2 | 2x RTX 3060 12 GB | 24 GB | 1.240 | 490 W | $1.814 | $0.101 | 738 d |
| 3 | AMD Radeon RX 7900 XTX | 24 GB | 1.459 | 475 W | $2.000 | $0.063 | 390 d |
| 4 | AMD Radeon RX 9070 XT 16GB | 16 GB | 1.652 | 454 W | $2.000 | $0.076 | 514 d |
O que estas listas não cobrem
- Os preços são preços de mercado com data. Usados e promoções se movem mais rápido que esta tabela: confira o preço antes de comprar.
- Todos os números são medições de fluxo único em uma carga. Atendimento multiusuário, fine-tuning e hardware de servidor se comportam de forma diferente.