v0.2.19
125B-KI auf dem Schreibtisch
NVIDIA oder AMD · 12 GB+ VRAM · Windows & Linux

v0.2.19
Strata 0.2.19
Strata 0.2.19 The app and the Terminal are 0.2.19. The engines (strata-engine, the new strata-inkling shape engine, and the updated Linux SYCL strata-hy4 package) are 0.1.65, and so is Control, the program that installs and updates them. The update feeds are sequence 131 (shared)…

Nichts verlässt deinen PC
Nach dem Setup bleiben Modelle und Chats auf diesem PC.

60+ tok/s auf RTX-5070-Klasse
Auf der Benchmark-Seite: Tokens pro Tag, Strom und Amortisation.

OpenAI-kompatible API
Engine laden und Cursor oder Codex auf 127.0.0.1:8080 legen.
Jetzt lesen
- Project Maya deep dive: running GLM-5.3-Flash (321B MoE) on your own NVIDIA GPUs, built on Strata
@coldniko · vor 46 Tagen · Releases · Benchmarks
- New release is out!
@coldniko · vor 46 Tagen · Releases · Benchmarks
- Strata wins by a tight margin against other Strix Halo inference engines on first try release
@coldniko · vor 47 Tagen · Releases · Benchmarks
- Strata wins by a tight margin against all other Strix Halo inference engines in it’s first try release. Did not expect that! 🥳 https://t.co/7Ie0lXa85c
@coldniko · vor 47 Tagen · Releases · Benchmarks
Einsatz
Beginne mit deiner Frage. Jede Anleitung endet mit dem nächsten Schritt.
- Stratat rtx4090-iq2-xs: lokales iq2-xs quantisieren
- rtx4090-iq3-xxs on local AI: measured performance and power use
- RTX 4090-iq3-s: local IQ3-s quantization on the flagship consumer GPU
- rtx4090 coder quantization: 24GB VRAM fast local inference
- rtx4090-ud-iq4-xs on local: fast inference with ud-iq4-xs quantization
- rtx5090-q2-0 runnen lokal mit Strata: 5,8k tokens/s auf einer RTX 5090
KI installiert Strata
Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.
Autor-Feed
Neues von @coldniko
- Project Maya deep dive: running GLM-5.3-Flash (321B MoE) on your own NVIDIA GPUs, built on Strata
- Small patch coming in approx 1h for this issue
- Only loses to @ciruai engine on Hermes benchmarks. Kudos 🫡