Projekt für die Osterfeiertage, ein neuer KI-Server. Der bisherige Server, ein Primergy RX2540, dient zukünftig als Datenspeicher. Besser für die zukünftige Skalierbarkeit bzw. Lastverteilung und das Backup.

IMG_0955.jpg

Ich bin mal gespannt, die ersten Tests waren schon ganz nett. Antwortzeiten bei einem 8B-Modell im Millisekundenbereich, 70B Modell muss ich noch testen. Mal sehen, wie weit ich über die Feiertage komme.