HARDWARE / DIMENSIONIERUNG
Der richtige Rechner.
Für Ihre reale Last.
Ein Modell, das startet, ist nicht unbedingt ein Dienst, den mehrere Personen nutzen können. Vor dem Kauf muss man Qualität, Speicher und Antwortzeit unter den vorgesehenen Bedingungen beobachten.
Überarbeitung Saphan · 7. September 2026
Die Last beschreiben, bevor man konfiguriert
Bereiten Sie ein Beispiel für eine kurze Anfrage, ein repräsentatives Dokument und einen schwierigen Fall vor. Geben Sie an, wie viele Personen das System gleichzeitig nutzen müssen und wie lange sie warten dürfen. Das Lesen eines langen Dossiers stellt nicht dieselben Anforderungen wie das Einordnen weniger Zeilen.
Geben Sie auch an, ob das System Bilder lesen, Audio transkribieren oder eine Dokumentendatenbank abfragen soll. Das Konversationsmodell ist manchmal nur ein Teil der Gesamtlast.
Der Speicher beschränkt sich nicht auf die Datei des Modells
Die Gewichte, die Zwischenberechnungen, der Kontext und die gleichzeitigen Anfragen beanspruchen Ressourcen. Eine quantisierte Version kann gewisse Anforderungen senken, aber ihre Wirkung auf Qualität und Geschwindigkeit muss mit der gewählten Engine getestet werden. Die Anzahl der Parameter allein genügt nicht, um das tatsächliche Nutzungserlebnis vorherzusagen.
Prüfen Sie für ein bestimmtes Tool die unterstützte Hardware und die Optionen in der entsprechenden Dokumentation. Die FAQ von Ollama nennt insbesondere Einstellungen zu Kontext, Parallelität und Laden; ihre Wirkung hängt von der Konfiguration ab.
Der Test, den man vor dem Kauf verlangen sollte
- Die Beispiele mit den protokollierten Modell- und Softwareversionen ausführen.
- Das erste Ergebnis, die vollständige Ausgabe und ihre Qualität beobachten.
- Mit mehreren Anfragen und einem längeren Dokument wiederholen.
- Das Verhalten über längere Zeit prüfen: Speicher, Temperatur, Lärm und Wartezeit.
- Das System neu starten und eine Konfiguration in einer Testumgebung wiederherstellen.
Eine einzelne Durchsatzzahl belegt nicht, dass Ihr Szenario komfortabel sein wird. Fragen Sie nach den Messbedingungen: Kontext, Quantisierung, Last und eingeschlossene Schritte.
An den Standort denken, an dem der Rechner stehen wird
Ein Bürogerät, ein Server im Rack und ein im Feld eingesetztes Gerät stellen unterschiedliche Anforderungen. Netzwerk, Belüftung, physischer Zugang, Datensicherung und Wartung müssen eingeplant werden. Eine dokumentierte Reserve ist nützlicher, als ohne Szenario die grösste Hardware zu wählen.
Saphan kann von Ihrem bestehenden Gerätepark ausgehen, die Möglichkeiten vergleichen und eine passende Konfiguration festlegen. Auch eine Ergänzung durch die Cloud lässt sich prüfen, wenn eine punktuelle Kapazität keine dauerhafte Anschaffung rechtfertigt.