Eine lokale KI installieren.
Und sie morgen nutzen können.

Festlegen, was wirklich lokal bleiben muss

Das Modell kann auf Ihrem Rechner, auf einem Server im Netzwerk oder bei einem externen Dienst laufen. Die sichtbare Oberfläche genügt nicht, um den Weg der Daten zu bestimmen. Dokumente, Texterkennung, Suche, Embeddings, Logs und Datensicherungen können unterschiedliche Wege nehmen.

Die Ollama-FAQ unterscheidet zwischen lokal ausgeführten Modellen und den Cloud-Funktionen von Ollama. Eine auf Ihrem Computer installierte Software bedeutet daher nicht für sich allein, dass die gesamte Verarbeitung dort bleibt. Der Umfang muss an der gewählten Konfiguration überprüft werden.

Eine erste Aufgabe wählen

Beginnen Sie mit einer erkennbaren Ausgabe: Anfragen einordnen, eine kurze Zusammenfassung vorbereiten oder eine Textstelle in Dokumenten wiederfinden. Ein fiktiver oder freigegebener Korpus genügt, um Qualität, Wartezeit und die Grenzen der Hardware zu beobachten. Ein allgemeines Gespräch ist ein unvollständiger Test, wenn der endgültige Einsatz lange Dokumente betrifft.

Die vollständige Kette zusammenstellen

• Der Motor: ein Modell, dessen Lizenz und Format zum Einsatz passen.
• Die Rechenleistung: Arbeitsspeicher, Beschleunigung, Speicherplatz und Reserve für gleichzeitige Anfragen.
• Die Oberfläche: ein auf die Benutzer abgestimmter Zugang mit den nötigen Konten.
• Die Daten: freigegebene Quellen, Aktualisierungen und Einsichtsrechte.
• Der Betrieb: Start, Überwachung, Datensicherung und Wiederherstellung.

Den Dienst dem ganzen Unternehmen oder dem Internet zugänglich zu machen, ist eine Entscheidung, die von der Installation getrennt ist. Bevorzugen Sie einen auf den vorgesehenen Umfang begrenzten Zugriff und testen Sie die Rechte anschliessend mit einem gewöhnlichen Benutzerkonto.

Die erwartete Unabhängigkeit prüfen

Simulieren Sie in einer Testumgebung, sobald die nötigen Dateien verfügbar sind, den Verlust der externen Verbindung. Was funktioniert noch? Was bleibt stehen? Meldet das System das Fehlen einer externen Quelle? Wiederholen Sie den Test nach einem Neustart: Ein noch im Speicher geladenes Modell kann eine Abhängigkeit beim Start verdecken.

Dieser Test ist für sich allein kein Audit der Vertraulichkeit. Er erlaubt es, eine konkrete Eigenschaft der Verfügbarkeit zu überprüfen. Saphan kann die Einführung und die Einarbeitung nach Ihren Vorgaben vorbereiten, mit oder ohne ergänzende Cloud-Kapazität.