Nicht meine Daten, nicht meine Entscheidung

Verstehen, bevor man teilt: Wie lokale KI einen Zwischenschritt ermöglicht, den viele auslassen.

Immer mal wieder erreichen mich Anfragen potenzieller Kunden, bei denen ich eine erste Einschätzung liefern soll. Ist das ein Fall für mich? Kann ich hier helfen? Und was genau ist eigentlich das Problem?

Nicht selten hängen an solchen Erstprüfungen Dutzende oder gar Hunderte Seiten Text. Strategiepapiere, interne Analysen, Protokolle. Und oft frage ich mich: Weiss mein Kontakt eigentlich, was er mir da geschickt hat? Wie vertraulich ist das Material? Stehen da Klarnamen drin, interne Zahlen, Einschätzungen, die nie für externe Augen gedacht waren?

Das kann ich nicht wissen, bevor ich reingeschaut habe. Aber reinschauen heisst: Hunderte Seiten lesen. Unter Zeitdruck. Für einen Auftrag, der vielleicht nie zustande kommt. Und nein – einfach alles in ein KI-Tool kippen ist keine Option. Nicht meine Daten, nicht meine Entscheidung.

Lokale KI: Die Daten bleiben, wo sie hingehören

Die Lösung heisst: lokale Sprachmodelle. Statt die Daten zur KI zu schicken, kommt die KI zu den Daten. Keine Cloud, keine Übertragung, keine fremden Server. Ich arbeite dafür mit zwei Tools: LM Studio und Ollama. Beide kostenlos, beide Open Source, beide laufen auf meinem MacBook Pro (M4 Pro mit 48 GB RAM). Viele Modelle laufen aber auch auf deutlich bescheidenerer Hardware.

Ollama ist der simple Einstieg. Die App ist mittlerweile so benutzerfreundlich, dass die Einrichtung keine zehn Minuten dauert. Modell auswählen, starten, chatten. Wer will, kann auch über das Terminal arbeiten – fühlt sich im Vergleich zu ChatGPT oder Claude allerdings eher an wie Balletttanzen in Skischuhen. Die Ergebnisse sind trotzdem brauchbar.

LM Studio geht einen Schritt weiter. Mehr Modelle, mehr Einstellungen, mehr Kontrolle. Je nach Bedarf gibt es Varianten für Einsteiger*innen, Power-User*innen und Entwickler*innen. Wer tiefer einsteigen will, findet hier die Werkzeuge dafür.

Die Auswahl an Modellen ist überwältigend. Qwen, DeepSeek, Llama, Gemma – die Namensliste ist schier endlos. Aktuell arbeite ich mit OpenAIs GPT OSS 20B und mit Apriel 1.6 15B Thinker, wenn’s um Reasoning, also «analytisches Denken» geht. Auf dem Handy (iPhone 15 Pro Max) habe ich mir die App «Locally AI» installiert. Dort experimentiere ich mit den deutlich kleineren, aber immer noch erstaunlich leistungsstarken Modellen Gemma 3n (E2B) und Qwen3 Thinking (4B).

Einen guten Überblick über die aktuell besten Modelle für Desktop- und Mobile-Lösungen findet man z.B. auf Artificial Analysis. Aber auch direkt in Ollama und LM Studio gibt es lange Listen mit nutzbaren Modellen für unterschiedlichste Zwecke. Natürlich sind der Modellgrösse nach oben keine Grenzen gesetzt: wer sich hunderte GB Arbeitsspeicher leisten kann, darf sich auch an den ganz grossen Modellen abarbeiten, die dann schon erstaunlich nah an das rankommen, was GPT und Co. online bieten.

Nichts mehr «einfach mal schnell in die Cloud kippen»

Lokale KI ist ein Werkzeug für digitale Selbstbestimmung, denn wer die Kontrolle über seine Daten nicht mehr einfach abgibt, behält eine relevante Rolle in der Zusammenarbeit mit KI. Das klingt für manche vielleicht banal, ist aber in einer Welt, in der «schnell mal in die Cloud kippen» zum Reflex geworden ist, alles andere als selbstverständlich.

Und keine Sorge: Der Einstieg war nie einfacher als heute. Die Modelle werden gefühlt stündlich besser, die Apps benutzerfreundlicher, die Hardware-Anforderungen sinken. Was vor einem Jahr noch ein Bastelprojekt für Techniknerds war, läuft heute auf einem handelsüblichen Laptop. Und in einem Jahr wird alles natürlich schon wieder noch viel einfacher sein.

Also fangt an. Baut euch euren ersten kleinen Workflow auf, der eure Souveränität stärkt. Lokale KI ersetzt die mächtigen Modelle in der Cloud nicht – aber sie ermöglicht einen Zwischenschritt, den auszulassen riskant sein kann: Verstehen, bevor man teilt. Prüfen, bevor man vertraut.