Der KI / künstliche Intelligenz Thread

[GPX8888]

128GB RAM und 4TB SSD. 1TB hätte auch gereicht, wäre aber erst in einigen Wochen lieferbar gewesen. 64GB wären zu knapp für meine Planung, möchte ein 8B und ein 70B parallel betreiben und es werden nachher bis zu 20 User zugreifen (nicht gleichzeitig, schätze mehr als 5 parallel werden es aber nicht werden). Sollte die Performance dann trotzdem nicht reichen, stell ich halt nen zweiten Mac Studio dazu. Langfristig wird es vermutlich eh in die Richtung gehen, mal abwarten.

Oder das Teil erfüllt meine Erwartungen nicht und steht dann nach Ostern hier im Network...

[MacLeon]

Wenn Du die MWSt. ausweisen kannst, dann ...

Aber ernsthaft, viel Erfolg, Michael! Wirst Du ein RAG aufsetzen?

[GPX8888]

Mwst. ist natürlich ausweisbar

RAG muss drauf, wird auch an die AD angebunden (eigentlich an zwei ADs, aber die haben keine Vertrauensstellung, muss mal schauen, ob das überhaupt umsetzbar ist), dazu dann die beiden Modelle. Das Ding dient nachher intern für den Vertrieb (Lizenz- und Vertragsabfragen aufgrund Bestellungen, Ein- und Ausgangsrechnungen, dazu dann die klassischen Dinge wie Infos zu Produkten und Lizenzierungen bzw. Besonderheiten) und den Support (Vertragsdaten, Zugriff auf Wiki und so Sachen), dazu dann noch n8n lokal drauf für die Verarbeitung von Daten. Next Step dann als interne Plattform für die Bearbeitung von Ausschreibungen und solchen Sachen - aber das hebe ich mir dann für Pfingsten auf

Die Sachen laufen aktuell schon mehr oder weniger auf dem Primergy, allerdings ist die Performance für die tägliche Arbeit zu schlecht und ich bekomme das Ding auch nicht skaliert. Deshalb einmal alles neu geplant, die Erfahrungen mit dem Primergy einfließen lassen und jetzt mal schauen, was die nächsten Tage bringen.

[Hypophyse]

Klingt interessant. Mit 128 GB kann man schon arbeiten ... Ich warte noch auf den M5 und überlege dann, ob sich das für mich überhaupt lohnt. Aktuell ändert sich so viel, dass ich mit dem Ausprobieren gar nicht mehr nachkomme.