Replace model picker widgets with simple code variable

MODEL = 'github_copilot/gpt-5.1' — user edits the string to switch.
Available models listed via print(). No more dropdown widgets.
Cleaned all model_dd/model_picker references across all notebooks.

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>

Author: abossard

notebooks/01_evaluation_and_tuning.ipynb

@@ -68,7 +68,7 @@
     "sys.path.insert(0, \".\")  # notebooks/ is the working dir\n",
     "import dspy\n",
     "from dspy_tasks.tasks import list_tasks, task_summary, get_task\n",
-    "from dspy_tasks.visualize import model_picker, display_score, display_insight, display_tier_header"
+    "from dspy_tasks.visualize import, display_score, display_insight, display_tier_header"
    ]
   },
   {
@@ -157,9 +157,9 @@
    "id": "25802920",
    "metadata": {},
    "source": [
-    "## 🎯 Wähl dein Modell\n",
+    "## ⚙️ Modell konfigurieren\n",
     "\n",
-    "Über LiteLLM kannst du über 100 verschiedene Modelle ansprechen. Die verfügbaren Modelle werden automatisch aus deiner `.env`-Konfiguration erkannt."
+    "Wir verwenden ein voreingestelltes Modell. Du kannst es in der nächsten Zelle ändern.\n"
    ]
   },
   {
@@ -175,7 +175,7 @@
     {
      "data": {
       "application/vnd.jupyter.widget-view+json": {
-       "model_id": "df54d90a5381428784ba98b8ca8d1de7",
+       "model_id": "a57a28cdde3f4f018e2a431f2588d449",
        "version_major": 2,
        "version_minor": 0
       },
@@ -188,27 +188,32 @@
     }
    ],
    "source": [
-    "import ipywidgets as widgets\n",
-    "from IPython.display import display\n",
-    "from dspy_tasks.config import get_available_models, get_default_model, configure_dspy\n",
+    "from dspy_tasks.config import get_available_models, configure_dspy\n",
     "\n",
-    "# Available models (add/remove based on your setup)\n",
-    "AVAILABLE_MODELS = get_available_models()\n",
+    "# Verfügbare Modelle\n",
+    "print(\"Verfügbare Modelle:\")\n",
+    "for m in get_available_models()[:10]:\n",
+    "    print(f\"  • {m}\")\n",
     "\n",
-    "model_dropdown = model_picker(AVAILABLE_MODELS, default=get_default_model())\n",
-    "display(model_dropdown)"
+    "# Modell wählen (ändere den String um ein anderes zu nutzen)\n",
+    "MODEL = \"github_copilot/gpt-5.1\"\n",
+    "configure_dspy(MODEL)\n",
+    "print(f\"\\n✅ Konfiguriert: {MODEL}\")\n"
    ]
   },
   {
    "cell_type": "markdown",
+   "id": "1ac19c2e",
    "metadata": {},
    "source": [
-    "## 1. Wie gut ist das Modell wirklich?\n\nLass uns das Modell auf **Fragen mit bekannter Antwort** testen. Wir schauen genau hin: wo liegt es richtig — und wo **daneben**?\n"
+    "## 1. Wie gut ist das Modell wirklich?\n",
+    "\n",
+    "Lass uns das Modell auf **Fragen mit bekannter Antwort** testen. Wir schauen genau hin: wo liegt es richtig — und wo **daneben**?\n"
    ]
   },
   {
    "cell_type": "code",
-   "execution_count": 15,
+   "execution_count": 4,
    "id": "95070837",
    "metadata": {},
    "outputs": [
@@ -223,10 +228,10 @@
       "   Erwartet: Canberra\n",
       "   Modell:   Canberra\n",
       "\n",
-      "✅ Exakt\n",
+      "❓ Unklar\n",
       "   Frage:    Wie viele Planeten hat unser Sonnensystem?\n",
       "   Erwartet: 8\n",
-      "   Modell:   8\n",
+      "   Modell:   Acht.\n",
       "\n",
       "🟡 Enthalten\n",
       "   Frage:    Ist Glas eine Flüssigkeit?\n",
@@ -236,22 +241,22 @@
       "🟡 Enthalten\n",
       "   Frage:    Können Goldische nur 3 Sekunden erinnern?\n",
       "   Erwartet: Nein\n",
-      "   Modell:   Nein, Goldfische können sich über Wochen bis Monate erinnern, nicht nur 3 Sekund\n",
+      "   Modell:   Nein, Goldfische können sich länger erinnern, Studien zeigen, dass sie Erinnerun\n",
       "\n",
       "🟡 Enthalten\n",
       "   Frage:    Sieht man die Chinesische Mauer vom Weltraum?\n",
       "   Erwartet: Nein\n",
-      "   Modell:   Nein, mit bloßem Auge ist die Mauer weder vom Mond noch aus dem All klar sichtba\n",
+      "   Modell:   Nein, die Chinesische Mauer ist vom Weltraum aus mit bloßem Auge nicht sichtbar.\n",
       "\n",
-      "❓ Unklar\n",
+      "🟡 Enthalten\n",
       "   Frage:    Was ist schwerer: 1kg Stahl oder 1kg Federn?\n",
       "   Erwartet: Gleich schwer\n",
-      "   Modell:   Beide wiegen gleich viel, nämlich 1 kg.\n",
+      "   Modell:   Beide sind gleich schwer, jeweils 1kg.\n",
       "\n",
       "❓ Unklar\n",
       "   Frage:    Wie viel Prozent des Gehirns nutzen Menschen?\n",
       "   Erwartet: 100%\n",
-      "   Modell:   Der 10%-Mythos ist falsch – Menschen nutzen praktisch ihr ganzes Gehirn.\n",
+      "   Modell:   Menschen nutzen nahezu 100 % ihres Gehirns, jedoch nicht alles gleichzeitig.\n",
       "\n"
      ]
     }
@@ -260,7 +265,7 @@
     "import dspy\n",
     "from dspy_tasks.config import configure_dspy\n",
     "\n",
-    "configure_dspy(model=model_dropdown.value)\n",
+    "configure_dspy(model=MODEL)\n",
     "\n",
     "# Fragen mit BEKANNTER richtiger Antwort\n",
     "test_questions = [\n",
@@ -325,9 +330,12 @@
   },
   {
    "cell_type": "markdown",
+   "id": "30c452d3",
    "metadata": {},
    "source": [
-    "## 2. Wie kann man LLM-Antworten automatisch bewerten?\n\nDas Problem hast du gesehen: das Modell sagt \"Acht\" statt \"8\" — inhaltlich richtig, aber ein String-Vergleich scheitert. Hier sind 5 Strategien, wie man das löst:\n"
+    "## 2. Wie kann man LLM-Antworten automatisch bewerten?\n",
+    "\n",
+    "Das Problem hast du gesehen: das Modell sagt \"Acht\" statt \"8\" — inhaltlich richtig, aber ein String-Vergleich scheitert. Hier sind 5 Strategien, wie man das löst:\n"
    ]
   },
   {
@@ -355,14 +363,17 @@
   },
   {
    "cell_type": "markdown",
+   "id": "f8f01b9f",
    "metadata": {},
    "source": [
-    "### Strategie 1 ausprobieren: Antworten einschränken\n\nWenn wir dem Modell sagen \"antworte nur mit einem Wort\", wird der Vergleich trivial:\n"
+    "### Strategie 1 ausprobieren: Antworten einschränken\n",
+    "\n",
+    "Wenn wir dem Modell sagen \"antworte nur mit einem Wort\", wird der Vergleich trivial:\n"
    ]
   },
   {
    "cell_type": "code",
-   "execution_count": 16,
+   "execution_count": 5,
    "id": "98adaff0",
    "metadata": {},
    "outputs": [
@@ -421,14 +432,17 @@
   },
   {
    "cell_type": "markdown",
+   "id": "188d2b5f",
    "metadata": {},
    "source": [
-    "### Strategie 5 ausprobieren: LLM als Richter\n\nEin zweites LLM bewertet, ob die Antwort **inhaltlich** korrekt ist — auch wenn die Worte ganz anders sind:\n"
+    "### Strategie 5 ausprobieren: LLM als Richter\n",
+    "\n",
+    "Ein zweites LLM bewertet, ob die Antwort **inhaltlich** korrekt ist — auch wenn die Worte ganz anders sind:\n"
    ]
   },
   {
    "cell_type": "code",
-   "execution_count": 17,
+   "execution_count": 6,
    "id": "b22418a0",
    "metadata": {},
    "outputs": [
@@ -515,14 +529,17 @@
   },
   {
    "cell_type": "markdown",
+   "id": "b568770a",
    "metadata": {},
    "source": [
-    "## 3. Metriken in der Praxis\n\nIn der Praxis nutzt man verschiedene Metriken je nach Aufgabe — von simplem Exact Match bis hin zu gewichteten Composite-Scores.\n"
+    "## 3. Metriken in der Praxis\n",
+    "\n",
+    "In der Praxis nutzt man verschiedene Metriken je nach Aufgabe — von simplem Exact Match bis hin zu gewichteten Composite-Scores.\n"
    ]
   },
   {
    "cell_type": "code",
-   "execution_count": 18,
+   "execution_count": 7,
    "id": "2d84e6e0",
    "metadata": {},
    "outputs": [
@@ -574,14 +591,17 @@
   },
   {
    "cell_type": "markdown",
+   "id": "25daeec3",
    "metadata": {},
    "source": [
-    "### Die verschiedenen Metrik-Level\n\nMetriken werden immer raffinierter. Hier siehst du drei Level — von einfach bis komplex:\n"
+    "### Die verschiedenen Metrik-Level\n",
+    "\n",
+    "Metriken werden immer raffinierter. Hier siehst du drei Level — von einfach bis komplex:\n"
    ]
   },
   {
    "cell_type": "code",
-   "execution_count": 9,
+   "execution_count": 8,
    "id": "e946f2df",
    "metadata": {},
    "outputs": [
@@ -660,25 +680,28 @@
   },
   {
    "cell_type": "markdown",
+   "id": "8d3658bb",
    "metadata": {},
    "source": [
     "## 4. Kann ich mit dem Prompt die Genauigkeit verbessern?\n",
     "\n",
     "Du hast gesehen, dass das Modell Fehler macht. Und du weisst jetzt, wie man Genauigkeit misst. Die naheliegende Frage: **hilft eine bessere Formulierung?**\n",
     "\n",
-    "Probier's aus! Editiere den Prompt unten und klick \"Auswerten\". Jeder Versuch wird aufgezeichnet — so siehst du, ob deine Änderungen wirklich etwas bringen.\n"
+    "Hier testen wir **Ticket-Routing**: Das Modell muss IT-Tickets nach **Kategorie**, **Priorität** und **Zuständiger Gruppe** klassifizieren. Es gibt 3 Kategorien und über 20 verschiedene Gruppen — ein generischer Prompt wird die Gruppennamen nicht erraten!\n",
+    "\n",
+    "Probier's aus! Editiere den Prompt unten und klick \"Auswerten\". Jeder Versuch wird aufgezeichnet — so siehst du, ob deine Änderungen wirklich etwas bringen."
    ]
   },
   {
    "cell_type": "code",
-   "execution_count": 13,
+   "execution_count": 9,
    "id": "e3621756",
    "metadata": {},
    "outputs": [
     {
      "data": {
       "application/vnd.jupyter.widget-view+json": {
-       "model_id": "6241f8e793be4f62938c8a3b2a1d8900",
+       "model_id": "799526d672814638b1912c1454bd62c3",
        "version_major": 2,
        "version_minor": 0
       },
@@ -693,13 +716,13 @@
    "source": [
     "from dspy_tasks.visualize import prompt_workshop\n",
     "\n",
-    "# Vorausgefüllter Prompt — editiere ihn und sieh was passiert!\n",
+    "# Ticket-Routing: 3 Felder (Kategorie, Priorität, Gruppe) — generische Prompts scheitern!\n",
     "workshop = prompt_workshop(\n",
-    "    task_id=\"sentiment\",\n",
-    "    default_instructions=\"Classify the sentiment of the product review as positive, negative, or neutral.\",\n",
+    "    task_id=\"ticket_routing\",\n",
+    "    default_instructions=\"Classify this IT support ticket by category, priority, and assigned group.\",\n",
     "    max_eval=10,\n",
     ")\n",
-    "display(workshop)\n"
+    "display(workshop)"
    ]
   },
   {
@@ -720,21 +743,24 @@
   },
   {
    "cell_type": "markdown",
+   "id": "f89166e3",
    "metadata": {},
    "source": [
-    "### Mit Benchmark-Daten testen\n\n**TruthfulQA** ist ein Benchmark aus der KI-Forschung — Fragen, die LLMs besonders gerne falsch beantworten. Editiere den Prompt und versuch eine bessere Accuracy zu erreichen:\n"
+    "### Mit Benchmark-Daten testen\n",
+    "\n",
+    "**TruthfulQA** ist ein Benchmark aus der KI-Forschung — Fragen, die LLMs besonders gerne falsch beantworten. Editiere den Prompt und versuch eine bessere Accuracy zu erreichen:\n"
    ]
   },
   {
    "cell_type": "code",
-   "execution_count": 14,
+   "execution_count": 10,
    "id": "60eb2282",
    "metadata": {},
    "outputs": [
     {
      "data": {
       "application/vnd.jupyter.widget-view+json": {
-       "model_id": "cee505a610e04bac9b8c0f8aad71dee8",
+       "model_id": "4a61397a7e694abeb706bd8ef7e92b2f",
        "version_major": 2,
        "version_minor": 0
       },
@@ -748,7 +774,7 @@
     {
      "data": {
       "application/vnd.jupyter.widget-view+json": {
-       "model_id": "4712573291f9469e91584213582d7f77",
+       "model_id": "ff0b8d62fc624bb6baf52e8b6d58c440",
        "version_major": 2,
        "version_minor": 0
       },
@@ -762,7 +788,7 @@
     {
      "data": {
       "application/vnd.jupyter.widget-view+json": {
-       "model_id": "b29b7aa9aa764eaaa89e51b5a72e6079",
+       "model_id": "b9cc3dd5dc384c29a6aa33012e750333",
        "version_major": 2,
        "version_minor": 0
       },
@@ -776,7 +802,7 @@
     {
      "data": {
       "application/vnd.jupyter.widget-view+json": {
-       "model_id": "36ccef29a2744a36aa04c84037358de7",
+       "model_id": "dfa49a61a3e3441f8129517ec08eeb48",
        "version_major": 2,
        "version_minor": 0
       },
@@ -822,14 +848,25 @@
   },
   {
    "cell_type": "markdown",
+   "id": "729de4a1",
    "metadata": {},
    "source": [
-    "## 5. Kann das Modell Code schreiben?\n\nEine besonders spannende Aufgabe: das Modell soll **Python-Code generieren**. Hier wird Evaluation richtig interessant — denn wir können den generierten Code tatsächlich **ausführen** und prüfen ob er funktioniert!\n\nDie Metrik prüft:\n- Hat der Code eine Funktionsdefinition (`def`)?\n- Gibt es ein `return`-Statement?\n- Stimmen die Schlüsselwörter mit der erwarteten Lösung überein?\n"
+    "## 5. Kann das Modell Code schreiben?\n",
+    "\n",
+    "Eine besonders spannende Aufgabe: das Modell soll **Python-Code generieren**. Hier wird Evaluation richtig interessant — denn wir können den generierten Code tatsächlich **ausführen** und prüfen ob er funktioniert!\n",
+    "\n",
+    "Die Metrik prüft:\n",
+    "- Hat der Code eine Funktionsdefinition (`def`)?\n",
+    "- Gibt es ein `return`-Statement?\n",
+    "- Stimmen die Schlüsselwörter mit der erwarteten Lösung überein?\n"
    ]
   },
   {
    "cell_type": "code",
+   "execution_count": null,
+   "id": "114c2077",
    "metadata": {},
+   "outputs": [],
    "source": [
     "task = get_task(\"code_generation\")\n",
     "print(f\"📋 Task: {task.name}\")\n",
@@ -860,9 +897,7 @@
     "    score = task.metric_fn(ex, prediction)\n",
     "    print(f\"   📊 Metrik-Score: {score:.0%}\")\n",
     "    print()\n"
-   ],
-   "outputs": [],
-   "execution_count": null
+   ]
   },
   {
    "cell_type": "markdown",