Move task picker from NB02 to NB03, expand domain tuning

NB02: removed 'Beliebige Aufgabe' section (belongs in NB03)
NB03: 6-step arc with task catalog + domain tuning:
  1. See all 20 tasks
  2. Pick any task and optimize it
  3. Load real ticket data
  4. Run generic prompt → mediocre
  5. Tune with domain data → much better
  6. Takeaway: your data is your moat

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>

Author: abossard

notebooks/02_optimization.ipynb

@@ -365,9 +365,12 @@
     "    print(f\"    Schwierigkeit: [{bar}] {normalized:.0%}\")\n",
     "    print(f\"    Verteilung: {dict(counter.most_common(5))}\")\n",
     "\n",
+    "n_single = sum(1 for c in groups.values() if c == 1)\n",
+    "n_groups = len(groups)\n",
+    "top_cat = cats.most_common(1)[0]\n",
     "print(f\"\\n💡 Entropy misst die 'Zufälligkeit' der Labels.\")\n",
-    "print(f\"   Category hat nur 3 Werte, 66% davon 'Service Request' → leicht zu raten.\")\n",
-    "print(f\"   Assigned Group hat 21 Werte, 12 davon mit nur 1 Beispiel → fast unmöglich.\")\n",
+    "print(f\"   Category hat nur 3 Werte, {top_cat[1]}/{sum(cats.values())} davon '{top_cat[0]}' → relativ leicht.\")\n",
+    "print(f\"   Assigned Group hat {n_groups} Werte, {n_single} davon mit nur 1 Beispiel → Schwierigkeit {entropy(groups)/max_entropy(n_groups):.0%}.\")\n",
     "\n",
     "# ━━━ 3. Self-Consistency: Wie stabil sind die Vorhersagen? ━━━\n",
     "print(f\"\\n{'━'*60}\")\n",
@@ -421,10 +424,13 @@
     "\n",
     "| Beobachtung | Was es bedeutet |\n",
     "|---|---|\n",
-    "| **12 von 21 Gruppen haben nur 1 Trainings-Beispiel** | Das Modell kann keine Zuordnungsregel lernen — es hat kein zweites Beispiel zum Vergleichen |\n",
-    "| **Category-Entropy ist niedrig** (66% = Service Request) | Einfach zu raten, aber nicht informativ |\n",
-    "| **Group-Entropy ist fast maximal** | 21 Klassen, extrem ungleich verteilt — das härteste Feld |\n",
-    "| **Self-Consistency ist niedrig bei schweren Tickets** | Das Modell gibt bei mehrfachem Fragen verschiedene Antworten — es \"rät\" |\n",
+    "| **Die Daten sind relativ gut verteilt** (18 von 20 Gruppen haben 4 Beispiele) | Kein 1-Beispiel-Problem — aber trotzdem nicht genug für 20 Klassen |\n",
+    "| **Category-Entropy bei 76%** (58% = Service Request, 36% = Failure) | Ungleich verteilt, aber nicht trivial — \"Event NO Customer Impact\" hat nur 4 Beispiele |\n",
+    "| **Priority-Entropy bei 71%** (69% = Standard) | \"Standard\" dominiert — \"High\" hat nur 5 von 77 Beispielen |\n",
+    "| **Group-Entropy bei 98%** — fast maximal | 20 Klassen, fast gleichverteilt — das härteste Feld, weil das Modell zwischen 20 ähnlichen Optionen wählen muss |\n",
+    "| **Self-Consistency ist hoch** (3/3 Übereinstimmung) | Das Modell ist sich **sicher** — aber sicher **falsch**: es erfindet eigene Kategorien wie \"Access\" oder \"Hardware\" statt die gültigen Werte zu nutzen |\n",
+    "\n",
+    "**Das zentrale Problem:** Das Modell antwortet konsistent, aber mit **eigenen Kategorien** (\"Access\", \"Hardware\", \"Workplace Support / ...\") statt den vorgegebenen Werten (\"Service Request\", \"Failure\", \"SDE - Service Desk\", ...). Es hat eine klare interne Logik — aber die stimmt nicht mit den Domain-spezifischen Labels überein.\n",
     "\n",
     "**Techniken aus der Forschung:**\n",
     "\n",
@@ -433,87 +439,7 @@
     "3. **Calibration** — Messen ob ein Modell das 90% Confidence zuweist auch wirklich zu 90% richtig liegt. LLMs sind typischerweise *overconfident*.\n",
     "4. **SelfCheckGPT** — Mehrere Antworten generieren und prüfen ob sie sich widersprechen. Widersprüche = Halluzination/Unsicherheit.\n",
     "\n",
-    "> **Die Kernfrage ist immer:** Wann kann ich dem Modell vertrauen? Die Antwort: Wenn es bei mehrfachem Fragen die gleiche Antwort gibt, und wenn es genug Trainingsbeispiele für diese Klasse gibt."
-   ]
-  },
-  {
-   "cell_type": "markdown",
-   "metadata": {},
-   "source": [
-    "## 🎯 Beliebige Aufgabe optimieren\n",
-    "\n",
-    "Wähl eine Aufgabe aus der Liste unten und sieh dir an, was der Optimizer daraus macht. Jede Aufgabe hat eine andere Schwierigkeit — und der Optimizer zeigt dir genau, was er am Prompt ändert.\n",
-    "\n",
-    "**So geht's:** Ändere den `TASK`-String und führe die Zelle aus. Der Prompt-Diff zeigt dir den Unterschied."
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": null,
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "# ━━━ Verfügbare Aufgaben ━━━\n",
-    "from dspy_tasks.tasks import list_tasks\n",
-    "from dspy_tasks.actions import run_with_prompt\n",
-    "\n",
-    "print(\"Alle verfügbaren Aufgaben:\\n\")\n",
-    "for tier in [1, 2, 3, 4]:\n",
-    "    tasks_in_tier = [t for t in list_tasks() if t.tier == tier]\n",
-    "    tier_labels = {1: \"Basics\", 2: \"Reasoning\", 3: \"Composition\", 4: \"Agentic\"}\n",
-    "    print(f\"  Tier {tier} — {tier_labels[tier]}:\")\n",
-    "    for t in tasks_in_tier:\n",
-    "        examples = t.load_examples()[:1]\n",
-    "        sample_input = \"\"\n",
-    "        if examples:\n",
-    "            sample_input = \" | \".join(f\"{k}={str(v)[:40]}\" for k, v in examples[0].inputs().items())\n",
-    "        print(f\"    • {t.id:25s} {t.name}\")\n",
-    "        print(f\"      {t.description[:80]}\")\n",
-    "        if sample_input:\n",
-    "            print(f\"      Beispiel: {sample_input[:100]}\")\n",
-    "    print()\n",
-    "\n",
-    "# ━━━ Aufgabe 1: Sentiment (BootstrapFewShot) ━━━\n",
-    "SENT_PROMPT = \"Bestimme ob diese Bewertung positiv, negativ oder neutral ist.\"\n",
-    "print(\"━\" * 60)\n",
-    "print(\"📋 Sentiment Classification — BootstrapFewShot\\n\")\n",
-    "\n",
-    "manual_sent = run_with_prompt(\"sentiment\", SENT_PROMPT, max_eval=8)\n",
-    "display_score(\"Sentiment: Manueller Prompt\", manual_sent.score)\n",
-    "display_results_table(manual_sent.individual_scores)\n",
-    "\n",
-    "print(\"\\n⏳ Optimiere mit BootstrapFewShot (basierend auf manuellem Prompt)...\")\n",
-    "r_sent = run_optimization(\"sentiment\", \"BootstrapFewShot\", max_eval=8, instructions=SENT_PROMPT)\n",
-    "display_score(\"Sentiment: Nach BootstrapFewShot\", r_sent.optimized_score)\n",
-    "if r_sent.optimized_individual_scores:\n",
-    "    display_results_table(r_sent.optimized_individual_scores)\n",
-    "display_improvement(manual_sent.score, r_sent.optimized_score)\n",
-    "\n",
-    "# ━━━ Aufgabe 2: Multi-Hop QA (BootstrapFewShot → MIPROv2) ━━━\n",
-    "MHQA_PROMPT = \"Beantworte die Frage basierend auf dem Kontext. Denke Schritt für Schritt.\"\n",
-    "print(f\"\\n{'━'*60}\")\n",
-    "print(\"📋 Multi-Hop QA — BootstrapFewShot → MIPROv2\\n\")\n",
-    "\n",
-    "manual_mhqa = run_with_prompt(\"multihop_qa\", MHQA_PROMPT, max_eval=8)\n",
-    "display_score(\"Multi-Hop QA: Manueller Prompt\", manual_mhqa.score)\n",
-    "display_results_table(manual_mhqa.individual_scores)\n",
-    "\n",
-    "# Erst BootstrapFewShot\n",
-    "print(\"\\n⏳ Schritt 1: BootstrapFewShot...\")\n",
-    "r_mhqa_bs = run_optimization(\"multihop_qa\", \"BootstrapFewShot\", max_eval=8, instructions=MHQA_PROMPT)\n",
-    "display_score(\"Multi-Hop QA: Nach BootstrapFewShot\", r_mhqa_bs.optimized_score)\n",
-    "\n",
-    "# Dann MIPROv2 auf dem besseren Ergebnis\n",
-    "best_mhqa_score = max(manual_mhqa.score, r_mhqa_bs.optimized_score)\n",
-    "best_mhqa_prompt = MHQA_PROMPT if manual_mhqa.score >= r_mhqa_bs.optimized_score else r_mhqa_bs.prompt_after\n",
-    "best_mhqa_label = \"Manuell\" if manual_mhqa.score >= r_mhqa_bs.optimized_score else \"BootstrapFewShot\"\n",
-    "print(f\"\\n⏳ Schritt 2: MIPROv2 (basierend auf {best_mhqa_label}: {best_mhqa_score:.0%})...\")\n",
-    "r_mhqa = run_optimization(\"multihop_qa\", \"MIPROv2\", max_eval=8, instructions=best_mhqa_prompt)\n",
-    "display_score(\"Multi-Hop QA: Nach MIPROv2\", r_mhqa.optimized_score)\n",
-    "if r_mhqa.optimized_individual_scores:\n",
-    "    display_results_table(r_mhqa.optimized_individual_scores)\n",
-    "\n",
-    "print(f\"\\n📊 Manuell {manual_mhqa.score:.0%} → BootstrapFewShot {r_mhqa_bs.optimized_score:.0%} → MIPROv2 {r_mhqa.optimized_score:.0%}\")"
+    "> **Die Kernfrage ist immer:** Wann kann ich dem Modell vertrauen? Die Antwort: Hohe Self-Consistency allein reicht nicht — das Modell kann konsistent falsch liegen. Es braucht **Trainingsdaten mit den richtigen Labels**, damit der Optimizer dem Modell beibringen kann, welche Domain-spezifischen Werte erwartet werden."
    ]
   },
   {
@@ -541,9 +467,9 @@
    "source": [
     "## ⏭️ Weiter geht's!\n",
     "\n",
-    "Der Optimizer hat den Prompt verbessert — automatisch, messbar, reproduzierbar. Aber was passiert, wenn du **deine eigenen, echten Daten** benutzt?\n",
+    "Du hast gesehen: der Optimizer findet bessere Prompts als du — automatisch, messbar, reproduzierbar.\n",
     "\n",
-    "Im nächsten Notebook nehmen wir die echten Ticket-Daten aus dem Projekt und zeigen: **Deine Daten sind dein Burggraben.** Ein generisches Modell + deine Domain-Daten + Tuning = etwas, das kein Konkurrent kopieren kann.\n",
+    "Im nächsten Notebook testen wir das auf **verschiedenen Aufgaben** und mit **deinen echten Daten**. Dort zeigt sich der wahre Wert: **Domain-Tuning = Burggraben.**\n",
     "\n",
     "👉 **[Weiter zu Notebook: Domain-Tuning →](03_domain_tuning.ipynb)**\n"
    ]

notebooks/03_domain_tuning.ipynb

@@ -9,10 +9,10 @@
     "\n",
     "GPT-4o, Claude, Gemini — jeder kann diese Modelle nutzen. **Das Modell ist gemietet.** Was dich von der Konkurrenz unterscheidet, sind **deine Daten**.\n",
     "\n",
-    "In diesem Notebook siehst du den Unterschied:\n",
-    "1. Echte Ticket-Daten aus dem Projekt laden\n",
-    "2. Einen generischen Prompt darauf loslassen → mässiges Ergebnis\n",
-    "3. Mit deinen Daten tunen → deutlich besseres Ergebnis\n",
+    "In diesem Notebook:\n",
+    "1. Optimierung auf **verschiedenen Aufgaben** ausprobieren\n",
+    "2. Echte Ticket-Daten laden → generischer Prompt → mässiges Ergebnis\n",
+    "3. Mit deinen Daten tunen → deutlich besser\n",
     "4. Verstehen: **Domain-Wissen = Wettbewerbsvorteil**\n"
    ]
   },
@@ -30,7 +30,7 @@
     "import sys; sys.path.insert(0, \".\")\n",
     "import dspy, pandas as pd\n",
     "from dspy_tasks.config import configure_dspy\n",
-    "from dspy_tasks.tasks import get_task\n",
+    "from dspy_tasks.tasks import get_task, list_tasks\n",
     "from dspy_tasks.actions import run_baseline, run_optimization\n",
     "from dspy_tasks.visualize import *\n",
     "\n",
@@ -43,21 +43,83 @@
    "id": "2",
    "metadata": {},
    "source": [
-    "## 1. Deine echten Daten\n",
+    "## 1. Welche Aufgaben gibt es?\n",
+    "\n",
+    "Wir haben 20 verschiedene Aufgaben in 4 Schwierigkeitsstufen. Jede hat ein eigenes Dataset und eine Metrik. Hier eine Übersicht:\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "3",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "tier_labels = {1: \"Basics\", 2: \"Reasoning\", 3: \"Composition\", 4: \"Agentic\"}\n",
+    "\n",
+    "for tier in [1, 2, 3, 4]:\n",
+    "    tasks_in_tier = [t for t in list_tasks() if t.tier == tier]\n",
+    "    print(f\"{'★' * tier}{'☆' * (4-tier)} Tier {tier} — {tier_labels[tier]}\")\n",
+    "    for t in tasks_in_tier:\n",
+    "        print(f\"  • {t.id:25s} {t.name}\")\n",
+    "    print()\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "4",
+   "metadata": {},
+   "source": [
+    "## 2. Optimierung auf einer beliebigen Aufgabe\n",
+    "\n",
+    "Lass uns eine Aufgabe wählen und schauen, was der Optimizer daraus macht. Ändere den `TASK`-String und führe die Zelle erneut aus, um andere Aufgaben zu testen.\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "5",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# Ändere den Task hier (z.B. \"sentiment\", \"math_word\", \"fact_verification\")\n",
+    "TASK = \"sentiment\"\n",
+    "\n",
+    "task = get_task(TASK)\n",
+    "print(f\"📋 {task.name}\")\n",
+    "print(f\"   {task.description}\")\n",
+    "print(f\"   Schwierigkeit: {task.difficulty}\")\n",
+    "print()\n",
+    "\n",
+    "print(f\"⏳ Optimiere {task.name}...\\n\")\n",
+    "result = run_optimization(TASK, \"BootstrapFewShot\", max_eval=8)\n",
+    "\n",
+    "display_improvement(result.baseline_score, result.optimized_score)\n",
+    "display_prompt_diff(result.prompt_before, result.prompt_after)\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "6",
+   "metadata": {},
+   "source": [
+    "## 3. Jetzt mit deinen echten Daten\n",
+    "\n",
+    "Generische Aufgaben wie Sentiment oder Mathe sind nett — aber der **echte Wert** zeigt sich bei **deinen eigenen Daten**.\n",
     "\n",
     "Wir laden echte Support-Tickets aus dem Projekt. Jedes Ticket hat:\n",
-    "- Eine **Zusammenfassung** (was ist das Problem?)\n",
-    "- Eine **Kategorie** (Network, Software, Hardware, ...)\n",
-    "- Eine **Priorität** (Critical, High, Medium, Low)\n",
-    "- Ein **zuständiges Team** (welches Team kümmert sich?)\n",
+    "- **Zusammenfassung** — was ist das Problem?\n",
+    "- **Kategorie** — Network, Software, Hardware, ...\n",
+    "- **Priorität** — Critical, High, Medium, Low\n",
+    "- **Team** — welches Team kümmert sich?\n",
     "\n",
-    "Das Ziel: das Modell soll neue Tickets automatisch in die richtige Kategorie einsortieren, die Priorität setzen und das richtige Team zuweisen.\n"
+    "Das Modell soll neue Tickets automatisch klassifizieren.\n"
    ]
   },
   {
    "cell_type": "code",
    "execution_count": null,
-   "id": "3",
+   "id": "7",
    "metadata": {},
    "outputs": [],
    "source": [
@@ -73,53 +135,50 @@
   },
   {
    "cell_type": "markdown",
-   "id": "4",
+   "id": "8",
    "metadata": {},
    "source": [
-    "## 2. Generischer Prompt → wie gut ist er?\n",
+    "## 4. Generischer Prompt → wie gut ist er?\n",
     "\n",
-    "Jetzt lassen wir das Modell diese Tickets klassifizieren — **ohne** Beispiele, **ohne** Domain-Wissen. Nur ein generischer Prompt: \"Klassifiziere dieses Ticket.\"\n",
+    "Erst testen wir ohne Tuning — nur ein generischer Prompt: \"Klassifiziere dieses Ticket.\"\n",
     "\n",
     "Die Metrik bewertet drei Felder gleichzeitig:\n",
-    "- Priorität korrekt? → 40% Gewicht\n",
-    "- Kategorie korrekt? → 35% Gewicht  \n",
-    "- Richtiges Team? → 25% Gewicht\n"
+    "- Priorität korrekt? → **40%** Gewicht (am wichtigsten!)\n",
+    "- Kategorie korrekt? → **35%** Gewicht\n",
+    "- Richtiges Team? → **25%** Gewicht\n"
    ]
   },
   {
    "cell_type": "code",
    "execution_count": null,
-   "id": "5",
+   "id": "9",
    "metadata": {},
    "outputs": [],
    "source": [
     "print(f\"⏳ Teste generischen Prompt auf {MODEL}...\\n\")\n",
     "\n",
-    "result = run_baseline(\"ticket_routing\", max_eval=10)\n",
+    "baseline = run_baseline(\"ticket_routing\", max_eval=10)\n",
     "\n",
-    "display_score(\"Generischer Prompt (Baseline)\", result.score)\n",
-    "display_results_table(result.individual_scores[:5])\n",
+    "display_score(\"Generischer Prompt (Baseline)\", baseline.score)\n",
+    "display_results_table(baseline.individual_scores[:5])\n",
     "\n",
-    "print(f\"\\n👆 {result.score:.0%} — nicht schlecht, aber auch nicht gut genug für Produktion.\")\n",
-    "print(f\"   Schau dir die Fehler an: das Modell kennt eure Teams und Kategorien nicht!\")\n"
+    "print(f\"\\n👆 {baseline.score:.0%} — das Modell kennt eure Teams und Kategorien nicht!\")\n"
    ]
   },
   {
    "cell_type": "markdown",
-   "id": "6",
+   "id": "10",
    "metadata": {},
    "source": [
-    "## 3. Domain-Tuning → der Unterschied\n",
-    "\n",
-    "Jetzt lassen wir den Optimizer mit **deinen echten Ticket-Beispielen** trainieren. Er sucht automatisch die besten Few-Shot-Beispiele aus deinen Daten und baut einen besseren Prompt.\n",
+    "## 5. Domain-Tuning → der Unterschied\n",
     "\n",
-    "Gleiches Modell, gleiche Aufgabe — aber mit Domain-Wissen.\n"
+    "Jetzt lassen wir den Optimizer mit **deinen echten Ticket-Beispielen** trainieren. Gleiches Modell, gleiche Aufgabe — aber mit Domain-Wissen.\n"
    ]
   },
   {
    "cell_type": "code",
    "execution_count": null,
-   "id": "7",
+   "id": "11",
    "metadata": {},
    "outputs": [],
    "source": [
@@ -133,10 +192,10 @@
   },
   {
    "cell_type": "markdown",
-   "id": "8",
+   "id": "12",
    "metadata": {},
    "source": [
-    "## 4. Was du gerade gesehen hast\n",
+    "## 6. Was du gerade gesehen hast\n",
     "\n",
     "| | Generisch | Domain-getuned |\n",
     "|---|---|---|\n",
@@ -155,7 +214,7 @@
   {
    "cell_type": "code",
    "execution_count": null,
-   "id": "9",
+   "id": "13",
    "metadata": {},
    "outputs": [],
    "source": [
@@ -167,7 +226,7 @@
   },
   {
    "cell_type": "markdown",
-   "id": "10",
+   "id": "14",
    "metadata": {},
    "source": [
     "## ⏭️ Weiter geht's!\n",