LLM im Betrieb

KI verstehen · Länge 1:15

Was der Betrieb großer und kleiner Modelle kostet – Speicher, Hardware und die Abwägung zwischen Leistung, Kosten und Kontrolle.

Was im Video gezeigt wird

Die Kapitel des Videos mit dem gesprochenen Text.

  1. Was steckt dahinter?

    Ein großes Sprachmodell läuft nicht einfach auf einem Laptop. Was braucht es, um so ein Modell zu betreiben?

  2. Große Modelle

    Große Modelle haben Milliarden von Parametern. Die müssen alle in den Speicher passen, und das erfordert teure Spezial-Hardware, meist mehrere Grafikkarten. Sie sind stark, aber im Betrieb kostspielig.

  3. Kleine Modelle

    Kleine Modelle brauchen deutlich weniger und laufen zur Not im eigenen Haus. Dafür können sie weniger und sind stärker spezialisiert.

  4. Drei Wege

    Daraus ergeben sich drei Wege: ein fertiger Dienst aus der Cloud, ein eigenes Rechenzentrum oder ein kleines Modell in Eigenregie. Jeder Weg ist ein Abwägen zwischen Leistung, Kosten und Kontrolle.

  5. Und in skai?

    skai legt Sie nicht auf einen Weg fest: Es wählt das passende Modell je nach Aufgabe, vom großen Cloud-Modell bis zum kleinen, selbst betriebenen.

Alle Videos im Bereich: KI verstehen Nächstes Tutorial KI verantwortungsvoll einsetzen