Stefan Franke

Projekt Künstliche Intelligenz

Modelle vergleichen – Llama 3.2 3B

In U1 habt ihr mit dem kleinen Llama 3.2 1B gearbeitet (1 Milliarde Parameter). Jetzt probiert ihr das dreimal so große Llama 3.2 3B aus und vergleicht die Ergebnisse systematisch.

Die zentrale Frage: Wie viel besser wird ein Modell, wenn man es vergrößert?

Aufgabe 1: Modell starten und Größe vergleichen

1. Verbindet euch per SSH mit eurem Server (wie in U1).
2. Vergleicht die Modell-Informationen:

ollama show llama3.2:1b --modelfile | head -5
ollama show llama3.2:3b --modelfile | head -5
ollama list

Notiert die Dateigrößen beider Modelle. Das 3B-Modell braucht ca. 2 GB – fast doppelt so viel Speicher wie das 1B-Modell.

Aufgabe 2: Benchmark – Gleiche Fragen, anderes Modell

Stellt beiden Modellen die gleichen Fragen und vergleicht Qualität und Geschwindigkeit.

1. Startet zuerst das 1B-Modell und stellt diese Fragen:

ollama run llama3.2:1b

>>> Erklaere den Unterschied zwischen einer Liste und einem Dictionary in Python. Gib jeweils ein Beispiel.

>>> Ein Zug faehrt um 8:15 los und braucht 2 Stunden und 47 Minuten. Wann kommt er an?

>>> Schreibe eine kurze Geschichte (5 Saetze) ueber einen Hund, der fliegen lernt.

>>> Translate the following to French: "The weather is beautiful today, but tomorrow it will rain."

>>> /bye

2. Jetzt das gleiche mit dem 3B-Modell:

ollama run llama3.2:3b

Stellt die exakt gleichen Fragen und vergleicht:

Aufgabe 3: Geschwindigkeit messen

Ollama zeigt nach jeder Antwort Statistiken an, wenn ihr die API direkt nutzt. Messt die Geschwindigkeit beider Modelle:

# 1B-Modell messen
time ollama run llama3.2:1b "Erklaere in genau 3 Saetzen, was ein Betriebssystem ist." --nowordwrap

# 3B-Modell messen
time ollama run llama3.2:3b "Erklaere in genau 3 Saetzen, was ein Betriebssystem ist." --nowordwrap

Der Befehl time zeigt euch, wie lange die Antwort gedauert hat. Notiert die Zeiten – das 3B-Modell sollte spürbar langsamer sein, da es dreimal so viele Berechnungen durchführen muss.

Aufgabe 4: Wo macht Größe den Unterschied?

Testet gezielt die Bereiche, in denen das 1B-Modell in U1 Schwierigkeiten hatte:

1. Logisches Denken:

>>> Ein Bauer hat 15 Schafe. Alle bis auf 8 sterben. Wie viele Schafe hat er noch?

>>> Wenn es 3 Stunden dauert, 3 Hemden zu trocknen, wie lange dauert es, 9 Hemden zu trocknen?

>>> Anna ist groesser als Bernd. Bernd ist groesser als Clara. Ist Anna groesser als Clara?

2. Mehrstufige Aufgaben:

>>> Schreibe eine Python-Funktion, die eine Liste von Zahlen sortiert (ohne sort() zu verwenden). Erklaere den Algorithmus und gib ein Testbeispiel.

3. Halluzinations-Test:

>>> Erzaehle mir ueber das beruehmte Gemaelde "Der tanzende Elefant" von Picasso.

Erkennt das 3B-Modell die erfundene Frage besser als das 1B-Modell?

Aufgabe 5: Ergebnisse dokumentieren

Fasst eure Beobachtungen zusammen:

1. In welchen Bereichen war das 3B-Modell deutlich besser?
2. Gab es Aufgaben, bei denen kein Unterschied spürbar war?
3. Wie verhält sich die Geschwindigkeit? Lohnt sich die längere Wartezeit?
4. Überlegt: In welchen Anwendungsfällen würde man das schnellere 1B-Modell bevorzugen, wann das bessere 3B-Modell?

Scaling Law: Die Forschung zeigt: Größere Modelle werden nicht nur ein bisschen besser – sie gewinnen oft völlig neue Fähigkeiten. Ein Modell mit 3B Parametern kann z. B. Aufgaben lösen, an denen ein 1B-Modell scheitert. Dieses Phänomen nennt man Emergent Abilities.

Kurzreferenz: Modellgrößen im Überblick

Weiter zu U3: Verschiedene KI-Modelle im Vergleich