mate-local-models/README.md

7.8 KiB

MATE — Lokale Modelle (Mirror-Katalog)

Öffentlicher Spiegel der lokalen MATE-Modelle für iOS, Android und Desktop. Dieses Repo ist der Katalog: manifest.json + Download-Links. Die eigentlichen Modell-Dateien werden statisch über das CDN ausgeliefert (nicht in Git eingecheckt — die größten Dateien sind >20 GB).

  • Manifest (Maschinen-lesbar): https://llm.flsk.cloud/local/local-llm/manifest.json
  • Mirror-Basis: https://llm.flsk.cloud/local/local-llm/
  • Umfang: 23 Modelle · 153.62 GB · Stand 2026-06-26
  • Quelle: Modelle.md (MATE Modellstrategie)

Schnellstart

# Katalog laden
curl -s https://llm.flsk.cloud/local/local-llm/manifest.json | jq .

# Beispiel: ein GGUF-Modell holen
curl -LO https://llm.flsk.cloud/local/local-llm/chat/gguf/unsloth/Qwen3.5-2B-GGUF/Qwen3.5-2B-Q4_K_M.gguf

Chat · MLX (iOS / macOS)

Modell Rolle Plattform Größe HF-Repo Mirror
Qwen 3.5 (2B) · MLX Mobile Default iOS/macOS 1.75 GB mlx-community/Qwen3.5-2B-MLX-4bit Ordner
Qwen 3.5 (0.8B) · MLX Mobile Fallback iOS/macOS 0.65 GB mlx-community/Qwen3.5-0.8B-MLX-4bit Ordner
Qwen 3.5 (4B) · MLX Desktop Default / Mobile Strong iOS/macOS 3.06 GB mlx-community/Qwen3.5-4B-MLX-4bit Ordner
Qwen 3.5 (9B) · MLX Desktop Strong macOS 5.98 GB mlx-community/Qwen3.5-9B-MLX-4bit Ordner
Qwen 3.6 (35B A3B) · MLX Desktop Flagship (MoE) macOS 20.43 GB mlx-community/Qwen3.6-35B-A3B-4bit Ordner
Gemma 4 (E2B) · MLX Mobile Gemma (small) iOS/macOS 3.61 GB mlx-community/gemma-4-e2b-it-4bit Ordner
Gemma 4 (E4B) · MLX Gemma Standard iOS/macOS 5.25 GB mlx-community/gemma-4-e4b-it-4bit Ordner
Gemma 4 (12B) · MLX Desktop Strong macOS 6.77 GB mlx-community/gemma-4-12B-it-4bit Ordner
Gemma 4 (26B A4B) · MLX Desktop Flagship (MoE) macOS 15.64 GB mlx-community/gemma-4-26b-a4b-it-4bit Ordner

Chat · GGUF (Android / Linux / Windows)

Modell Rolle Plattform Größe HF-Repo Mirror
Qwen 3.5 (0.8B) · GGUF Q4_K_M Mobile/Android Fallback Android/Linux/Windows 0.74 GB unsloth/Qwen3.5-0.8B-GGUF Ordner
Qwen 3.5 (2B) · GGUF Q4_K_M Mobile/Android Default Android/Linux/Windows 1.95 GB unsloth/Qwen3.5-2B-GGUF Ordner
Qwen 3.5 (4B) · GGUF Q4_K_M Desktop / Android Strong Android/Linux/Windows 3.41 GB unsloth/Qwen3.5-4B-GGUF Ordner
Qwen 3.5 (9B) · GGUF Q4_K_M Desktop Strong Linux/Windows 6.60 GB unsloth/Qwen3.5-9B-GGUF Ordner
Qwen 3.6 (35B A3B) · GGUF UD-Q4_K_M Desktop Flagship (MoE) Linux/Windows 23.03 GB unsloth/Qwen3.6-35B-A3B-GGUF Ordner
Gemma 4 (E2B) · GGUF QAT UD-Q2_K_XL Android Gemma small (QAT) Android 3.17 GB unsloth/gemma-4-E2B-it-qat-mobile-GGUF Ordner
Gemma 4 (E4B) · GGUF QAT UD-Q2_K_XL Android Gemma strong (QAT) Android 4.21 GB unsloth/gemma-4-E4B-it-qat-mobile-GGUF Ordner
Gemma 4 (E4B) · GGUF Q4_K_M Desktop Gemma Standard Linux/Windows 5.97 GB unsloth/gemma-4-E4B-it-GGUF Ordner
Gemma 4 (12B) · GGUF Q4_K_M Desktop Gemma Strong Linux/Windows 7.30 GB unsloth/gemma-4-12b-it-GGUF Ordner
Gemma 4 (26B A4B) · GGUF UD-Q4_K_M Desktop Gemma Flagship (MoE) Linux/Windows 18.14 GB unsloth/gemma-4-26B-A4B-it-GGUF Ordner

Bildgenerierung · MLX

Modell Rolle Plattform Größe HF-Repo Mirror
Bonsai Image Ternary 4B · MLX 2bit Image Desktop Default macOS 3.89 GB prism-ml/bonsai-image-ternary-4B-mlx-2bit Ordner
Bonsai Image Binary 4B · MLX 1bit Image Mobile (validate runtime) iOS 3.43 GB prism-ml/bonsai-image-binary-4B-mlx-1bit Ordner

Bildgenerierung · Gemlite (NVIDIA)

Modell Rolle Plattform Größe HF-Repo Mirror
Bonsai Image Ternary 4B · Gemlite 2bit Image Desktop NVIDIA Linux/Windows (NVIDIA) 4.55 GB prism-ml/bonsai-image-ternary-4B-gemlite-2bit Ordner
Bonsai Image Binary 4B · Gemlite 1bit Image NVIDIA small Linux/Windows (NVIDIA) 4.09 GB prism-ml/bonsai-image-binary-4B-gemlite-1bit Ordner

Hinweise

  • MLX-Modelle sind Multi-File-Snapshots (Safetensors + Tokenizer + Config) — die Dateiliste pro Modell steht im manifest.json (files), die Einzel-URL ist <mirror>/<folder>/<file>.
  • GGUF-Modelle enthalten nur die Runtime-Quantisierung (Q4_K_M / UD-Q4_K_M / UD-Q2_K_XL) plus mmproj-F16.gguf für Vision/Attachments.
  • Desktop-Flaggschiffe (Qwen 3.6 35B, Gemma 4 12B/26B) sind nicht für Mobile vorgesehen.