Lokale KI-Infrastruktur (Open WebUI)
Beschreibung:
Diese Plattform stellt eine vollständig autarke, dezentrale KI-Infrastruktur im Heimnetzwerk bereit – ohne jegliche Abhängigkeit von externen Cloud-Servern.
System-Architektur:
- Frontend (Open WebUI): Läuft isoliert als Docker-Container auf dem
google-blueline-Host.- Backend (Modell-Runner): Die Rechenlast wird auf ein ausgemustertes OnePlus 6T Smartphone ausgelagert. Dort läuft ein Linux-Subsystem (Debian in Termux via NanoPi-Infrastruktur), das die LLMs nativ antreibt.
Verfügbare lokale Modelle:
qwen2.5-coder:7b(Standard): Spezialisiertes Open-Source-Modell für Code-Generierung, Refactoring und Linux-Administration (z. B. Docker Compose Files &nftables-Regeln).llama3.2:3b/qwen2.5:3b: Leichtgewichtige, schnelle Sprachmodelle für allgemeine Textaufgaben und Alltagsfragen.qwen2.5-coder:1.5b: Ultraschneller Code-Assistent für ressourcenschonende Aufgaben.
Leave a Reply