72 lines
11 KiB
Markdown
72 lines
11 KiB
Markdown
# MATE — Lokale Modelle
|
|
|
|
Öffentliches Repository der lokalen MATE-Modelle für iOS, Android und Desktop. **Die Modell-Dateien liegen direkt in diesem Repo** (als Git-LFS-Objekte). Ganzes Modell holen: Repo klonen + `git lfs pull`. Einzelne GGUF-Datei: direkt herunterladen.
|
|
|
|
- **Repo:** https://git.flsk.cloud/hackit/mate-local-models
|
|
- **Manifest (maschinenlesbar):** [`manifest.json`](https://git.flsk.cloud/hackit/mate-local-models/raw/branch/main/manifest.json)
|
|
- **Umfang:** 23 Modelle · 153.62 GB · Stand 2026-06-28
|
|
|
|
## Schnellstart
|
|
|
|
```bash
|
|
# Git LFS einmalig aktivieren
|
|
git lfs install
|
|
|
|
# Repo + alle Modelle holen (Pointer bei Bedarf nachladen)
|
|
git clone https://git.flsk.cloud/hackit/mate-local-models.git
|
|
cd mate-local-models && git lfs pull
|
|
|
|
# Oder nur eine GGUF-Datei (Beispiel: Android-Standard)
|
|
curl -LO https://git.flsk.cloud/hackit/mate-local-models/media/branch/main/chat/gguf/unsloth/Qwen3.5-2B-GGUF/Qwen3.5-2B-Q4_K_M.gguf
|
|
```
|
|
|
|
## Chat · MLX (iOS / macOS)
|
|
|
|
| Modell | Rolle | Plattform | Größe | HF-Quelle | Im Repo | Einzeldatei |
|
|
|---|---|---|---:|---|---|---|
|
|
| Qwen 3.5 (2B) · MLX | Mobile-Standard | iOS/macOS | 1.75 GB | [Qwen3.5-2B-MLX-4bit](https://huggingface.co/mlx-community/Qwen3.5-2B-MLX-4bit) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/mlx/mlx-community/Qwen3.5-2B-MLX-4bit) | *mehrere Dateien* |
|
|
| Qwen 3.5 (0.8B) · MLX | Mobile-Fallback | iOS/macOS | 0.65 GB | [Qwen3.5-0.8B-MLX-4bit](https://huggingface.co/mlx-community/Qwen3.5-0.8B-MLX-4bit) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/mlx/mlx-community/Qwen3.5-0.8B-MLX-4bit) | *mehrere Dateien* |
|
|
| Qwen 3.5 (4B) · MLX | Desktop-Standard · Mobile stark | iOS/macOS | 3.06 GB | [Qwen3.5-4B-MLX-4bit](https://huggingface.co/mlx-community/Qwen3.5-4B-MLX-4bit) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/mlx/mlx-community/Qwen3.5-4B-MLX-4bit) | *mehrere Dateien* |
|
|
| Qwen 3.5 (9B) · MLX | Desktop stark | macOS | 5.98 GB | [Qwen3.5-9B-MLX-4bit](https://huggingface.co/mlx-community/Qwen3.5-9B-MLX-4bit) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/mlx/mlx-community/Qwen3.5-9B-MLX-4bit) | *mehrere Dateien* |
|
|
| Qwen 3.6 (35B A3B) · MLX | Desktop-Flaggschiff (MoE) | macOS | 20.43 GB | [Qwen3.6-35B-A3B-4bit](https://huggingface.co/mlx-community/Qwen3.6-35B-A3B-4bit) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/mlx/mlx-community/Qwen3.6-35B-A3B-4bit) | *mehrere Dateien* |
|
|
| Gemma 4 (E2B) · MLX | Mobile Gemma (klein) | iOS/macOS | 3.61 GB | [gemma-4-e2b-it-4bit](https://huggingface.co/mlx-community/gemma-4-e2b-it-4bit) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/mlx/mlx-community/gemma-4-e2b-it-4bit) | *mehrere Dateien* |
|
|
| Gemma 4 (E4B) · MLX | Gemma-Standard | iOS/macOS | 5.25 GB | [gemma-4-e4b-it-4bit](https://huggingface.co/mlx-community/gemma-4-e4b-it-4bit) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/mlx/mlx-community/gemma-4-e4b-it-4bit) | *mehrere Dateien* |
|
|
| Gemma 4 (12B) · MLX | Desktop stark | macOS | 6.77 GB | [gemma-4-12B-it-4bit](https://huggingface.co/mlx-community/gemma-4-12B-it-4bit) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/mlx/mlx-community/gemma-4-12B-it-4bit) | *mehrere Dateien* |
|
|
| Gemma 4 (26B A4B) · MLX | Desktop-Flaggschiff (MoE) | macOS | 15.64 GB | [gemma-4-26b-a4b-it-4bit](https://huggingface.co/mlx-community/gemma-4-26b-a4b-it-4bit) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/mlx/mlx-community/gemma-4-26b-a4b-it-4bit) | *mehrere Dateien* |
|
|
|
|
## Chat · GGUF (Android / Linux / Windows)
|
|
|
|
| Modell | Rolle | Plattform | Größe | HF-Quelle | Im Repo | Einzeldatei |
|
|
|---|---|---|---:|---|---|---|
|
|
| Qwen 3.5 (0.8B) · GGUF Q4_K_M | Mobile/Android-Fallback | Android/Linux/Windows | 0.74 GB | [Qwen3.5-0.8B-GGUF](https://huggingface.co/unsloth/Qwen3.5-0.8B-GGUF) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/gguf/unsloth/Qwen3.5-0.8B-GGUF) | [Qwen3.5-0.8B-Q4_K_M.gguf](https://git.flsk.cloud/hackit/mate-local-models/media/branch/main/chat/gguf/unsloth/Qwen3.5-0.8B-GGUF/Qwen3.5-0.8B-Q4_K_M.gguf) |
|
|
| Qwen 3.5 (2B) · GGUF Q4_K_M | Mobile/Android-Standard | Android/Linux/Windows | 1.95 GB | [Qwen3.5-2B-GGUF](https://huggingface.co/unsloth/Qwen3.5-2B-GGUF) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/gguf/unsloth/Qwen3.5-2B-GGUF) | [Qwen3.5-2B-Q4_K_M.gguf](https://git.flsk.cloud/hackit/mate-local-models/media/branch/main/chat/gguf/unsloth/Qwen3.5-2B-GGUF/Qwen3.5-2B-Q4_K_M.gguf) |
|
|
| Qwen 3.5 (4B) · GGUF Q4_K_M | Desktop · Android stark | Android/Linux/Windows | 3.41 GB | [Qwen3.5-4B-GGUF](https://huggingface.co/unsloth/Qwen3.5-4B-GGUF) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/gguf/unsloth/Qwen3.5-4B-GGUF) | [Qwen3.5-4B-Q4_K_M.gguf](https://git.flsk.cloud/hackit/mate-local-models/media/branch/main/chat/gguf/unsloth/Qwen3.5-4B-GGUF/Qwen3.5-4B-Q4_K_M.gguf) |
|
|
| Qwen 3.5 (9B) · GGUF Q4_K_M | Desktop stark | Linux/Windows | 6.60 GB | [Qwen3.5-9B-GGUF](https://huggingface.co/unsloth/Qwen3.5-9B-GGUF) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/gguf/unsloth/Qwen3.5-9B-GGUF) | [Qwen3.5-9B-Q4_K_M.gguf](https://git.flsk.cloud/hackit/mate-local-models/media/branch/main/chat/gguf/unsloth/Qwen3.5-9B-GGUF/Qwen3.5-9B-Q4_K_M.gguf) |
|
|
| Qwen 3.6 (35B A3B) · GGUF UD-Q4_K_M | Desktop-Flaggschiff (MoE) | Linux/Windows | 23.03 GB | [Qwen3.6-35B-A3B-GGUF](https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/gguf/unsloth/Qwen3.6-35B-A3B-GGUF) | [Qwen3.6-35B-A3B-UD-Q4_K_M.gguf](https://git.flsk.cloud/hackit/mate-local-models/media/branch/main/chat/gguf/unsloth/Qwen3.6-35B-A3B-GGUF/Qwen3.6-35B-A3B-UD-Q4_K_M.gguf) |
|
|
| Gemma 4 (E2B) · GGUF QAT UD-Q2_K_XL | Android Gemma klein (QAT) | Android | 3.17 GB | [gemma-4-E2B-it-qat-mobile-GGUF](https://huggingface.co/unsloth/gemma-4-E2B-it-qat-mobile-GGUF) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/gguf/unsloth/gemma-4-E2B-it-qat-mobile-GGUF) | [gemma-4-E2B-it-qat-UD-Q2_K_XL.gguf](https://git.flsk.cloud/hackit/mate-local-models/media/branch/main/chat/gguf/unsloth/gemma-4-E2B-it-qat-mobile-GGUF/gemma-4-E2B-it-qat-UD-Q2_K_XL.gguf) |
|
|
| Gemma 4 (E4B) · GGUF QAT UD-Q2_K_XL | Android Gemma stark (QAT) | Android | 4.21 GB | [gemma-4-E4B-it-qat-mobile-GGUF](https://huggingface.co/unsloth/gemma-4-E4B-it-qat-mobile-GGUF) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/gguf/unsloth/gemma-4-E4B-it-qat-mobile-GGUF) | [gemma-4-E4B-it-qat-UD-Q2_K_XL.gguf](https://git.flsk.cloud/hackit/mate-local-models/media/branch/main/chat/gguf/unsloth/gemma-4-E4B-it-qat-mobile-GGUF/gemma-4-E4B-it-qat-UD-Q2_K_XL.gguf) |
|
|
| Gemma 4 (E4B) · GGUF Q4_K_M | Desktop Gemma-Standard | Linux/Windows | 5.97 GB | [gemma-4-E4B-it-GGUF](https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/gguf/unsloth/gemma-4-E4B-it-GGUF) | [gemma-4-E4B-it-Q4_K_M.gguf](https://git.flsk.cloud/hackit/mate-local-models/media/branch/main/chat/gguf/unsloth/gemma-4-E4B-it-GGUF/gemma-4-E4B-it-Q4_K_M.gguf) |
|
|
| Gemma 4 (12B) · GGUF Q4_K_M | Desktop Gemma stark | Linux/Windows | 7.30 GB | [gemma-4-12b-it-GGUF](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/gguf/unsloth/gemma-4-12b-it-GGUF) | [gemma-4-12b-it-Q4_K_M.gguf](https://git.flsk.cloud/hackit/mate-local-models/media/branch/main/chat/gguf/unsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q4_K_M.gguf) |
|
|
| Gemma 4 (26B A4B) · GGUF UD-Q4_K_M | Desktop Gemma-Flaggschiff (MoE) | Linux/Windows | 18.14 GB | [gemma-4-26B-A4B-it-GGUF](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/chat/gguf/unsloth/gemma-4-26B-A4B-it-GGUF) | [gemma-4-26B-A4B-it-UD-Q4_K_M.gguf](https://git.flsk.cloud/hackit/mate-local-models/media/branch/main/chat/gguf/unsloth/gemma-4-26B-A4B-it-GGUF/gemma-4-26B-A4B-it-UD-Q4_K_M.gguf) |
|
|
|
|
## Bildgenerierung · MLX (macOS)
|
|
|
|
| Modell | Rolle | Plattform | Größe | HF-Quelle | Im Repo | Einzeldatei |
|
|
|---|---|---|---:|---|---|---|
|
|
| Bonsai Image Ternary 4B · MLX 2bit | Bild Desktop-Standard | macOS | 3.89 GB | [bonsai-image-ternary-4B-mlx-2bit](https://huggingface.co/prism-ml/bonsai-image-ternary-4B-mlx-2bit) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/image/mlx/prism-ml/bonsai-image-ternary-4B-mlx-2bit) | *mehrere Dateien* |
|
|
| Bonsai Image Binary 4B · MLX 1bit | Bild Mobile (Runtime prüfen) | iOS | 3.43 GB | [bonsai-image-binary-4B-mlx-1bit](https://huggingface.co/prism-ml/bonsai-image-binary-4B-mlx-1bit) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/image/mlx/prism-ml/bonsai-image-binary-4B-mlx-1bit) | *mehrere Dateien* |
|
|
|
|
## Bildgenerierung · Gemlite (Linux/Windows · NVIDIA)
|
|
|
|
| Modell | Rolle | Plattform | Größe | HF-Quelle | Im Repo | Einzeldatei |
|
|
|---|---|---|---:|---|---|---|
|
|
| Bonsai Image Ternary 4B · Gemlite 2bit | Bild Desktop NVIDIA | Linux/Windows (NVIDIA) | 4.55 GB | [bonsai-image-ternary-4B-gemlite-2bit](https://huggingface.co/prism-ml/bonsai-image-ternary-4B-gemlite-2bit) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/image/gemlite/prism-ml/bonsai-image-ternary-4B-gemlite-2bit) | *mehrere Dateien* |
|
|
| Bonsai Image Binary 4B · Gemlite 1bit | Bild NVIDIA klein | Linux/Windows (NVIDIA) | 4.09 GB | [bonsai-image-binary-4B-gemlite-1bit](https://huggingface.co/prism-ml/bonsai-image-binary-4B-gemlite-1bit) | [Ordner](https://git.flsk.cloud/hackit/mate-local-models/src/branch/main/image/gemlite/prism-ml/bonsai-image-binary-4B-gemlite-1bit) | *mehrere Dateien* |
|
|
|
|
## Hinweise
|
|
|
|
- Die großen Modell-/Gewichtsdateien (v. a. `*.safetensors`, `*.gguf`) sind **Git-LFS-Objekte** (maßgeblich ist `.gitattributes`) — nicht der gesamte Repo-Inhalt. `git lfs install` vor dem Klonen; bleiben Dateien als Pointer, hilft `git lfs pull`.
|
|
- **MLX- und Bild-Modelle bestehen aus mehreren Dateien** (Safetensors-Shards + Tokenizer + Config). Hol sie als ganzen Ordner (Klon/`git lfs pull`); die exakte Dateiliste je Modell steht im `manifest.json` (`files`). Die Spalte *Einzeldatei* gibt es nur für die selbstständigen GGUF-Modelle.
|
|
- GGUF-Modelle enthalten nur die Runtime-Quantisierung (Q4_K_M / UD-Q4_K_M / UD-Q2_K_XL) plus `mmproj-F16.gguf` für Vision/Attachments.
|
|
- Desktop-Flaggschiffe (Qwen 3.6 35B, Gemma 4 12B/26B) sind **nicht** für Mobile vorgesehen.
|
|
- Datei im Browser ansehen: `…/src/branch/main/<pfad>` · LFS-Inhalt direkt laden: `…/media/branch/main/<pfad>`.
|