Lokale KI einführen: die Entscheidungen in der richtigen Reihenfolge
Wer mit dem Kauf eines Rechners beginnt, hat danach ein Gerät und sucht eine Aufgabe. Die umgekehrte Reihenfolge führt schneller zum Nutzen.
Warum die Reihenfolge zählt
Kompakte KI-Rechner wie der NVIDIA DGX Spark und offen verfügbare Modelle haben lokale KI für mittelständische Unternehmen erreichbar gemacht. Das verleitet dazu, mit der Anschaffung zu beginnen. Ein Gerät ist greifbar, eine Bestellung schnell ausgelöst.
Die Entscheidungen, von denen der Nutzen abhängt, liegen jedoch davor: Welche Aufgabe soll gelöst werden, mit welchen Daten, für wie viele Personen, und wer kümmert sich um den Betrieb? Erst aus diesen Antworten ergibt sich, welches Modell gebraucht wird und welche Hardware es trägt.
Erste Entscheidung: die Aufgabe
Am Anfang steht ein Anwendungsfall, der sich in einem Satz beschreiben lässt. „Wir wollen KI nutzen“ ist keiner. „Der Service soll in technischen Unterlagen suchen können und eine Antwort mit Fundstelle erhalten“ ist einer.
Für den lokalen Betrieb eignen sich vor allem Aufgaben, die wiederkehren und klar umrissen sind. Je enger die Aufgabe, desto eher genügt ein kleineres Modell, und desto leichter lässt sich prüfen, ob das Ergebnis stimmt.
- Suche im eigenen Wissensbestand mit Angabe der Fundstelle
- Zusammenfassung von Anfragen, Berichten und Protokollen
- Herauslesen von Angaben aus Bestellungen und Formularen
- Einordnung eingehender Nachrichten nach Anliegen und Dringlichkeit
- Entwürfe nach fester Vorlage, etwa Antworten auf Standardfragen
Zweite Entscheidung: die Daten
Ein Modell antwortet aus dem, was es gelernt hat, und aus dem, was ihm bei der Anfrage mitgegeben wird. Für Auskünfte über Ihr Unternehmen zählt das Zweite. Üblich ist ein Aufbau, bei dem eine Suche passende Abschnitte aus Ihren Unterlagen findet und das Modell daraus die Antwort formuliert.
Damit verlagert sich die Arbeit. Entscheidend ist, welche Unterlagen einbezogen werden, ob sie aktuell sind und wer welche davon sehen darf. Ein Assistent, der allen Mitarbeitenden aus allen Dokumenten antwortet, gibt auch Auskunft über Inhalte, die nicht für alle bestimmt sind. Berechtigungen müssen deshalb aus den Quellsystemen übernommen werden.
Dritte Entscheidung: das Modell
Offen verfügbare Modelle gibt es in vielen Größen und von verschiedenen Herstellern. Drei Eigenschaften sind für die Auswahl wichtig. Die erste ist die Eignung für die Aufgabe und die Sprache: Ein Modell, das auf Englisch überzeugt, kann bei deutschen Fachtexten schwächer sein. Das zeigt nur ein Versuch mit eigenen Unterlagen.
Die zweite ist die Größe. Größere Modelle liefern tendenziell bessere Ergebnisse, brauchen mehr Speicher und antworten langsamer. Für enge Aufgaben ist das kleinere Modell oft die bessere Wahl, weil es mehr gleichzeitige Anfragen erlaubt.
Die dritte ist die Lizenz. Offen verfügbar heißt nicht ohne Bedingungen. Manche Lizenzen erlauben die gewerbliche Nutzung ohne Einschränkung, andere knüpfen sie an Auflagen. Das ist vor dem Einsatz zu prüfen und zu dokumentieren.
Vierte Entscheidung: die Hardware
Erst jetzt stellt sich die Frage nach dem Rechner. Sie hängt an zwei Größen: am Speicherbedarf des gewählten Modells und an der Zahl der Personen, die gleichzeitig anfragen. Ein kompakter KI-Rechner kann für eine Abteilung oder einen einzelnen Vorgang genügen. Für den Einsatz im ganzen Unternehmen mit vielen gleichzeitigen Anfragen sind größere Lösungen nötig.
Wir nennen an dieser Stelle bewusst keine Leistungswerte. Angaben der Hersteller ändern sich, und sie sagen wenig darüber, wie sich ein Gerät mit Ihrem Modell und Ihren Unterlagen verhält. Verlässlich ist nur die Erprobung mit der eigenen Aufgabe.
Die Entscheidungen im Überblick
| Entscheidung | Leitfrage | Ergebnis |
|---|---|---|
| Aufgabe | Was soll in einem Satz gelöst werden? | ein beschriebener Anwendungsfall mit Prüfkriterium |
| Daten | Welche Unterlagen, wie aktuell, für wen sichtbar? | Liste der Quellen mit Berechtigungen |
| Modell | Welches Modell löst die Aufgabe auf Deutsch gut genug? | Auswahl nach Versuch, Lizenz geprüft |
| Hardware | Wie viel Speicher, wie viele gleichzeitige Anfragen? | Gerät passend zu Modell und Nutzerzahl |
| Betrieb | Wer aktualisiert, überwacht und hilft bei Störungen? | benannte Verantwortung im Haus oder beim Dienstleister |
| Regeln | Welche Daten dürfen in welches Modell? | eine Seite, die alle kennen |
Fünfte Entscheidung: der Betrieb
Ein lokaler KI-Rechner ist ein Server. Er braucht Aktualisierungen, eine Sicherung der Einstellungen, eine Überwachung der Auslastung und einen Platz im Netz, an dem ihn die Anwendungen erreichen. Das klingt selbstverständlich und wird doch oft übersehen, weil das Gerät klein ist und auf einem Schreibtisch Platz findet.
Aus unserer eigenen Arbeit mit lokalen Modellen wissen wir, dass die Anbindung im Netz und die Antwortzeiten bei größeren Aufgaben mehr Aufmerksamkeit verlangen als die Einrichtung des Modells selbst. Planen Sie dafür Zeit ein und legen Sie fest, wer zuständig ist.
Zum Betrieb gehört auch die Pflege der Anwendung. Unterlagen ändern sich, Modelle werden abgelöst, Aufgaben kommen hinzu. Wenn die Anwendung vom Modell getrennt gebaut ist, dann lässt sich das Modell tauschen, ohne dass Vorlagen und Anbindungen neu entstehen müssen.
Ein Vorgehen in vier Abschnitten
Erproben
Eine Aufgabe, ein Ausschnitt der Unterlagen, eine kleine Gruppe. Ziel ist die Antwort auf die Frage, ob die Ergebnisse für den Alltag genügen.
Bewerten
Die Gruppe prüft Antworten anhand echter Fälle. Festgehalten wird, wo das Modell richtig lag, wo es irrte und woran das lag.
Einrichten
Berechtigungen, Überwachung, Sicherung und Regeln werden festgelegt. Die Anwendung kommt an den Ort, an dem die Arbeit stattfindet.
Ausweiten
Weitere Unterlagen und Personen kommen hinzu. Eine zweite Aufgabe folgt erst, wenn die erste zuverlässig läuft.
Wann lokale KI nicht die Antwort ist
Nicht jede Aufgabe gehört auf eigene Hardware. Wenn die Daten nicht vertraulich sind, die Nutzung unregelmäßig ist oder die Aufgabe große Modelle verlangt, dann ist ein Dienst aus der Cloud oft die wirtschaftlichere Wahl. Wenn niemand den Betrieb übernehmen kann, gilt dasselbe.
In vielen Unternehmen wird es auf beides hinauslaufen. Dann ist die Regel, welche Daten in welches Modell dürfen, das eigentliche Steuerungsinstrument. Sie entscheidet darüber, ob die Investition in lokale Hardware ihren Zweck erfüllt: dass vertrauliche Inhalte im Haus bleiben.
Jetzt Bedarf klären
Häufige Fragen
Können wir die Eignung prüfen, bevor wir Hardware kaufen?
Ja. Die Aufgabe lässt sich mit einem kleinen Ausschnitt der Unterlagen auf vorhandener oder geliehener Hardware erproben. Erst wenn die Ergebnisse genügen, steht die Entscheidung über ein eigenes Gerät an.
Muss ein Modell mit unseren Daten trainiert werden?
In den meisten Fällen nicht. Für Auskünfte aus eigenen Unterlagen genügt es, dem Modell bei jeder Anfrage die passenden Abschnitte mitzugeben. Ein eigenes Training ist aufwendiger und nur für besondere Aufgaben sinnvoll.
Was geschieht, wenn ein besseres Modell erscheint?
Wenn Anwendung und Modell getrennt sind, wird das neue Modell mit denselben Prüffällen erprobt und bei besserem Ergebnis eingesetzt. Bewahren Sie die Prüffälle deshalb auf.