2026 geht es in der KI-Open-Source-Szene nicht mehr nur um „noch ein ChatGPT-Frontend“. Was auf GitHub wirklich an Stars zulegt, ist Infrastruktur: Sie verwandelt unsaubere PDFs in sauberes Markdown, gibt Agenten Gedächtnis über Sitzungen hinweg und lässt sogar eine 4GB-Grafikkarte 70B-Modelle ausführen. Wer RAG, Unternehmenswissen oder Multi-Agent-Produkte baut, profitiert oft mehr von der richtigen Open-Source-Komponente als vom Wechsel zu einem größeren Closed-Source-Modell.
Auf Basis aktueller Kvmzen-Deployments und Community-Signale stellt dieser Leitfaden zehn KI-Open-Source-Projekte vor, die 2026 Aufmerksamkeit verdienen — geordnet nach PDF-Verarbeitung, Agent-Gedächtnis, Extrem-Low-VRAM-Inferenz, Orchestrierung und lokalem Deployment — mit Auswahlkriterien, Stack-Kombinationen, typischen Fallstricken und dem Bezug zu Cloud Mac.
Auswahlkriterien: Was zählt als „angesagt“
Wir haben nicht nach Star-Zahlen sortiert. Jedes Projekt musste vier Prüfungen bestehen:
- Aktive Wartung in den letzten 12 Monaten — regelmäßige Releases, reaktive Issues, aktuelle Dokumentation
- Löst einen echten Schmerzpunkt — verstümmelte PDFs, vergessliche Agenten, zu wenig VRAM, fragmentierte API-Anbieter
- Lässt sich in bestehende Stacks einbinden — Python-SDK oder OpenAI-kompatible API, kein geschlossenes Black Box
- In Produktion beobachtbar — Logging, Metriken oder klare Abgrenzung Experiment vs. Produktion
Wer Agent-Entwicklung systematisch lernt, startet am besten mit unserem AI-Agent-Lernpfad (2026): Bücher, Kurse und Open-Source-Projekte und arbeitet diese Liste danach hands-on durch.
PDF- und Dokumentenverarbeitung: das Trio
Bei RAG beginnt Garbage in, garbage out meist beim PDF-Parsing. Der Community-Konsens 2026: Kein einzelner Parser gewinnt jedes Korpus — aber diese drei decken etwa 80 % der Fälle ab.
1. Docling (IBM)
MIT-Lizenz, gepflegt von IBM Research. Verarbeitet PDF, DOCX, PPTX, HTML und mehr. Stärken: strukturierte Wiederherstellung von Tabellen, Kopf- und Fußzeilen sowie Mehrspalten-Layouts, Ausgabe als JSON oder Markdown für die Indexierung. Passt zu Unternehmens-Wissens-Pipelines — Docker-fähig, mit offiziellen LangChain- und LlamaIndex-Beispielen.
2. Marker
Fokus auf hochwertige Konvertierung von PDF und EPUB nach Markdown. Verarbeitet wissenschaftliche Arbeiten und technische Whitepaper — Formeln und Fußnoten — besser als die meisten Allzweck-OCR-Tools. Auf der GPU sind Dutzende Seiten pro Minute realistisch. Ist das Korpus vorwiegend englischsprachig und das Ziel saubere Markdown-Chunks, ist Marker oft der beste erste Schritt.
3. MinerU
Eine Open-Source-Lösung mit starken Community-Ergebnissen bei chinesischen Scan-Dokumenten, komplexen Tabellen und Lehrbuch-Layouts. Lässt sich gut mit Docling kombinieren: MinerU für OCR-lastige Seiten, Docling für einheitliche Schema-Ausgabe.
Agent-Gedächtnis: Mem0 und Zep
Ein Agent ohne Gedächtnis behandelt jedes Gespräch wie ein erstes Treffen. 2026 hat sich die Gedächtnisschicht über „die ganze Historie in den Context stopfen“ hinaus zu abrufbaren, aktualisierbaren und auditierbaren Diensten entwickelt.
4. Mem0
Positioniert als „memory layer for AI apps“. APIs für langfristiges Benutzer- und Sitzungsgedächtnis extrahieren Fakten aus Dialogen und deduplizieren sie. Integrations-Docs für LangGraph, CrewAI und AutoGen sind solide — schnellster Weg zu „Nutzerpräferenzen merken“. Geeignet für persönliche Assistenten, Coding-Agenten und SaaS-Prototypen.
5. Zep
2025–2026 hat Zep Graphiti-Temporalknowledge-Graphen vorangetrieben: nicht nur „Nutzer bevorzugt Dark Mode“, sondern wann ein Fakt gültig wurde und wann er überholt wurde — mit Graph-Abfragen und compliance-freundlichen Audit-Trails. Passt zu Support, CRM und Healthcare-Workflows mit nachvollziehbaren Gedächtnisketten. Deployment und Modellierung sind schwerer als bei Mem0.
70B auf 4GB VRAM: AirLLM
6. AirLLM
Die Schlagzeile „4GB-GPU und 70B“ in diesem Leitfaden meint vor allem AirLLM. Schichtweise Inferenz hält Gewichte auf der SSD und lädt jeweils nur eine Transformer-Schicht auf die GPU. Llama 3.1 70B erreicht einen Peak von etwa 4GB VRAM, mit Apple-Silicon- und MLX-Unterstützung. Der Preis: typischerweise 0,5–3 Tokens/s und beim ersten Lauf ein Download von rund 130GB aufgeteilter Gewichte.
Am selben Tag haben wir einen vollständigen Praxistest veröffentlicht — siehe Kann eine 4GB-Grafikkarte 70B-Modelle betreiben? AirLLM im Praxistest und Konfigurationsleitfaden. Kurz gesagt: AirLLM ist ein Machbarkeitswerkzeug, kein Produktions-API-Stack.
Agent-Orchestrierung: LangGraph und CrewAI
7. LangGraph
Vom LangChain-Team: zustandsbehaftete Graph-Orchestrierung für Agenten. Abläufe als Knoten und Kanten mit nativen Schleifen, Human-in-the-Loop-Unterbrechungen und persistenten Checkpoints. 2026 de-facto-Standard für Backend-Agent-Dienste, die feingranulare Kontrolle über Tool-Reihenfolge und Retries brauchen.
8. CrewAI
Abstrahiert Multi-Agent-Arbeit als Rollen und delegierte Aufgaben — Researcher, Writer, Reviewer in YAML definieren. Sanftere Lernkurve als LangGraph, ideal für Prototypen und Demos. In Produktion oft gemischt: CrewAI für Rollenaufteilung, LangGraph für Zustandsmaschinen und Observability.
Lokales Deployment: Ollama und LiteLLM
9. Ollama
Ein Befehl zum Pullen und Ausführen offener Gewichte auf macOS, Linux und Windows. 2026 unterstützt es viele quantisierte und multimodale Varianten — die Standard-Erstmaschine für lokale Entwicklung. Mit Open WebUI entsteht eine interne Team-Chat-Oberfläche.
10. LiteLLM
Einheitliches OpenAI-kompatibles Gateway über Ollama, Anthropic, Azure, Bedrock und mehr — eine API-Oberfläche mit Routing, Retries und Kosten-Tracking. Wenn Cursor, CLI-Tools und eigene Agenten Modelle teilen, vermeidet LiteLLM Keys pro Client. Konzeptionell ähnlich OmniRoute-Gateways in diesem Blog, aber fokussiert auf die LLM-Inferenzschicht.
Vergleichstabelle und empfohlene Stacks
| Projekt | Kategorie | Am besten für | Haupt-Kompromiss |
|---|---|---|---|
| Docling | Unternehmens-Multi-Format-Pipelines | Komplexe Scans brauchen vorgelagertes OCR | |
| Marker | Englische akademische PDF → Markdown | Schwächer bei Chinesisch und Handschrift | |
| MinerU | Chinesische Scans, Lehrbücher | Weniger Integrationen im englischsprachigen Ökosystem | |
| Mem0 | Gedächtnis | Schnelles langfristiges Nutzergedächtnis | Begrenzte komplexe Graph-Logik |
| Zep | Gedächtnis | Temporale Fakten und Audit | Höherer Betriebsaufwand |
| AirLLM | Inferenz | 70B-Validierung mit 4GB VRAM | Sehr langsam, viel Speicherplatz |
| LangGraph | Orchestrierung | Zustandsbehaftete Produktions-Agenten | Steilere Lernkurve |
| CrewAI | Orchestrierung | Multi-Rollen-Prototypen | Weniger Kontrolle als LangGraph |
| Ollama | Deployment | Lokale Modell-Pulls für Dev | Große Modelle brauchen RAM/Platte |
| LiteLLM | Gateway | Einheitliche Multi-Anbieter-API | High Availability selbst sichern |
Empfohlener Minimal-Stack (MVP): Ollama für Modelle → LiteLLM für einen OpenAI-kompatiblen Endpoint → LangGraph für Tools → Mem0 für Gedächtnis → Marker für hochgeladene PDFs. Ein End-to-End-Demo in zwei Wochen ist realistisch.
Bezug zu Cloud Mac und Apple Silicon
Die meisten dieser Projekte laufen nativ auf macOS — aber Speicherplatz, RAM und lange Inferenz-Jobs bleiben Engpässe:
- PDF-Batch-Jobs — Marker und MinerU sind auf der GPU schneller; Mac mini kann CPU-Pfade fahren, große Batches lohnen sich eher über Nacht auf einem Cloud-Knoten
- 70B-Experimente — AirLLM läuft auf Apple Silicon via MLX; 24GB Unified Memory schlägt eine 4GB-Diskret-GPU um Größenordnungen
- Lange Agent-Aufgaben — LangGraph-Checkpoints und Ollama-Modellfiles können Dutzende Gigabyte fressen; ein Cloud Mac bietet feste Umgebung und SSD-Reserve
iOS- und Flutter-Entwickler auf Windows können Ollama- und LangGraph-Experimente auf einen Cloud Mac verlagern — Unix-Toolchain und Apple-Silicon-Inferenz ohne WSL- und Treiber-Pflege.
Kosten, Leistung und Risiken
Die versteckte Rechnung eines „kostenlosen“ Open-Source-Stacks sind Entwicklerzeit, Strom und Speicherplatz. 4GB-Karte plus AirLLM wirkt wie null API-Kosten, aber 130GB Modelle und unter 1 Token/s verlängern Validierungszyklen. Ein monatlicher Cloud Mac amortisiert sich oft in zwei bis drei Wochen gesparter Zeit. Pay-per-Token-APIs passen zu unsicherem Früh-Traffic; lokal mit Ollama entwickeln, Produktion über LiteLLM routen.
Häufige Fragen
Für PDF-Parsing 2026: Docling oder Marker?
Docling für unternehmensweite Multi-Format-Pipelines; Marker für englische akademische PDF zu Markdown; MinerU zuerst bei chinesischen Scans. A/B mit 20 Seiten schlägt Star-Zahlen.
Mem0 oder Zep?
Mem0 für schnelles Nutzergedächtnis; Zep für temporale Fakten, Beziehungslogik und Audit. Beides kann koexistieren — Mem0 für Präferenzen, Zep für Business-Fakten-Graphen.
Kann eine 4GB-GPU 70B betreiben?
Ja — AirLLM-Schicht-Inferenz peakt bei etwa 4GB VRAM bei 0,5–3 Tokens/s mit hohem SSD-Bedarf. Vollständige Zahlen im AirLLM-Praxistest-Artikel.
Einfachster lokaler Agent-Stack?
Ollama + LiteLLM + LangGraph + Mem0 + ein PDF-Parser; macOS hat die wenigsten Abhängigkeiten, Windows-Nutzer sollten Cloud Mac oder WSL einplanen.
Diesen Open-Source-Stack auf dem Mac mini — mit weniger Reibung
Die meisten der zehn Projekte laufen nativ auf macOS: Homebrew für Python, Ollama für Modell-Pulls per Einzeiler, MLX zur Beschleunigung von AirLLM und lokaler Inferenz. Apple Silicons Unified Memory lässt ein Mac mini mit 24GB PDF-Batch-Jobs und quantisiertes 70B parallel fahren — ohne CUDA und WSL auf Windows. Der M4 verbraucht im Leerlauf nur etwa 4 W, praktisch für lange Agent-Läufe und nächtliche Indexierung.
Gegenüber gleich teuren PCs machen niedrige Absturzrate sowie Gatekeeper und FileVault den Mac mini zum verlässlicheren gemeinsamen Remote-Dev-Knoten; das kompakte, lüfterlose Gehäuse senkt Dauerbetriebskosten. Wer iOS oder Flutter auf Windows entwickelt, spart mit einem Cloud Mac für das KI-Labor oft mehr als mit einer neuen GPU.
Von PDF-Parsing über Agent-Gedächtnis — von 4GB-Validierung bis Produktions-Orchestrierung — Hardware sollte Experimente nicht bremsen — Tarife ansehen und den kompletten 2026-Open-Source-Stack auf einem Cloud Mac mini in einem Durchgang ausprobieren.