Der KI / künstliche Intelligenz Thread

[GPX8888]

128GB RAM und 4TB SSD. 1TB hätte auch gereicht, wäre aber erst in einigen Wochen lieferbar gewesen. 64GB wären zu knapp für meine Planung, möchte ein 8B und ein 70B parallel betreiben und es werden nachher bis zu 20 User zugreifen (nicht gleichzeitig, schätze mehr als 5 parallel werden es aber nicht werden). Sollte die Performance dann trotzdem nicht reichen, stell ich halt nen zweiten Mac Studio dazu. Langfristig wird es vermutlich eh in die Richtung gehen, mal abwarten.

Oder das Teil erfüllt meine Erwartungen nicht und steht dann nach Ostern hier im Network...

[MacLeon]

Wenn Du die MWSt. ausweisen kannst, dann ...

Aber ernsthaft, viel Erfolg, Michael! Wirst Du ein RAG aufsetzen?

[GPX8888]

Mwst. ist natürlich ausweisbar

RAG muss drauf, wird auch an die AD angebunden (eigentlich an zwei ADs, aber die haben keine Vertrauensstellung, muss mal schauen, ob das überhaupt umsetzbar ist), dazu dann die beiden Modelle. Das Ding dient nachher intern für den Vertrieb (Lizenz- und Vertragsabfragen aufgrund Bestellungen, Ein- und Ausgangsrechnungen, dazu dann die klassischen Dinge wie Infos zu Produkten und Lizenzierungen bzw. Besonderheiten) und den Support (Vertragsdaten, Zugriff auf Wiki und so Sachen), dazu dann noch n8n lokal drauf für die Verarbeitung von Daten. Next Step dann als interne Plattform für die Bearbeitung von Ausschreibungen und solchen Sachen - aber das hebe ich mir dann für Pfingsten auf

Die Sachen laufen aktuell schon mehr oder weniger auf dem Primergy, allerdings ist die Performance für die tägliche Arbeit zu schlecht und ich bekomme das Ding auch nicht skaliert. Deshalb einmal alles neu geplant, die Erfahrungen mit dem Primergy einfließen lassen und jetzt mal schauen, was die nächsten Tage bringen.

[Hypophyse]

Klingt interessant. Mit 128 GB kann man schon arbeiten ... Ich warte noch auf den M5 und überlege dann, ob sich das für mich überhaupt lohnt. Aktuell ändert sich so viel, dass ich mit dem Ausprobieren gar nicht mehr nachkomme.

[Eames]

Die neuen Gemma 4 Modelle sollen ganz gut sein.

[MacLeon]

Bin gespannt. Gemma 3:12B war mein Go-to für meine Anwendungen. Schnell, guter Output, gute Qualität.

[Hypophyse]

Gemma-4 soll vor allem multilingual sehr gut sein.

[MacLeon]

Probiere Gemma 4 gerade in meinem Anwendungsfall aus und finde, dass es ganz gut liefert. Definitiv ein Schritt nach vorne vom ohnehin schon guten Gemma 3. Danke für die Empfehlung

[MacLeon]

Habe jetzt mal AnythingLLM installiert. Das kann RAG out of the box und in gewissem Umfang agentisch arbeiten. Bin gespannt.

[FriendlyAlien]

Antwort von der KI im Rahmen einer Recherche :
Bildschirmfoto 2026-04-13 um 17.39.03.jpg

ja ne, is klar.

meine Antwort:
Bildschirmfoto 2026-04-13 um 17.35.30.png

KI:
Bildschirmfoto 2026-04-13 um 17.40.06.jpg

[Hypophyse]

LLMs kann man auch in Chips packen, nicht nur in Software.

https://chatjimmy.ai/ - Llama 3.1 8B mit 15.000 Token/s.

https://taalas.com/products/

[Eames]

Antwort von der KI im Rahmen einer Recherche :
...

Naja, zu erwarten. Stichwort: Cut-Off-Date. Frage das Modell mal nach seinem.

Erklärung: Die Trainingsdaten müssen gesammelt und aufbereitet werden. An einem gewissen Datum ist dann halt Schluss und das Training beginnt. Das dauert auch. Folglich "weiss" das Model nichts nach dem Datum an dem die Trainingsdaten "fertig" sind bzw. das Training beginnt.

Für aktuelle Sachen nimmt man Grok.

[Edmundo]

Die KI arbeitet nach Wahrscheinlichkeiten. Wenn es nichts weiß oder gelernt hat, rät es einfach das, was es für am wahrscheinlichsten hält. Daher kommt auch nicht "weiß ich nicht" sondern ein Schwachsinn.

[FriendlyAlien]

Ich helfe ja gerne. Wenn es sein muss, auch einer KI.

[rdhR]

Meine bisher eindrücklichste Erfahrung mit KI: Ein rund 180-seitiger, öffentlicher Gesetzesentwurf, zu dem bestimmte (Fach-)Verbände bereits Stellung genommen und eine Einschätzung abgegeben haben. Diese Stellungnahmen und Einschätzungen sind nicht öffentlich, dürften der KI daher nicht bekannt sein.

Ich habe die KI (Google Gemini Deep Thinking Mode) gebeten, sich in einen vom Gesetzesentwurf Betroffenen hineinzuversetzen und die neuralgischsten und kritischsten Punkte des Entwurfs herauszuarbeiten. Das Ergebnis war brutal stark und ging teilweise noch weit über das hinaus, was seitens der Fachverbände herausgearbeitet wurde. Daraus dann die wichtigsten Eckpunkte selbst formulieren und „Honig saugen“ und man hat einen sensationellen 1-Pager.

Lässt für mich nur zwei mögliche Schlüsse zu: Entweder nutzen es mittlerweile fast alle und es ist kein Wunder, dass die Einschätzungen vergleichbar sind oder die KI kann sowas mittlerweile schon sehr gut.

Erleichtert meine Arbeit extrem und lässt mich hinsichtlich der Kolleginnen und Kollegen, die 180 Seiten selbst durchforsten und bewerten, staunend zurück. Zeigt mir aber auch wieder, dass ich ohne Verbeamtung schlechter schlafen würde.

[easy24]

Den letzten Satz verstehe ich in dem Kontext nicht…

[Ingo.L]

Meine Deutung: KI übernimmt den Job, den man jetzt macht. Außer man ist Beamter

[easy24]

Ah ok - macht Sinn - Danke Ingo

[666feet]

heute an folgender Fragestellung die KI "getestet", also die, die mir kostenfrei Auskunft geben. Aktuell gefunden bei X:


derjansinn
Alle Menschen auf der Welt müssen eine geheime Abstimmung durchführen, indem sie einen roten oder blauen Knopf drücken.

▫️Wenn mehr als 50% der Menschen den blauen Knopf drücken, überleben alle.

▫️Wenn weniger als 50% der Menschen den blauen Knopf drücken, überleben nur die Personen, die den roten Knopf gedrückt haben.

Welchen Knopf würdest du drücken?"

Endstand 2:1 für BLAU

Ich habe auch gefragt, was Darwin dazu gesagt (und entschieden) hätte: "Dieser Inhalt verstößt möglicherweise gegen unsere Nutzungsrichtlinien."

[MacLeon]

In Sachen KI bin ich hin- und her- und hingerissen. Einerseits nutze ich KI jeden einzelnen Tag an der Arbeit, um effizienter zu arbeiten, andererseits kann ich diesen ganzen AI slur nicht mehr ertragen. KI-Stimmen, KI-Bilder, KI-Texte nerven mich. Und dann stolpert man über ein Video wie dieses und fragt sich, wie die Zukunft der Künste aussehen wird. Das finde ich schon krass: