Replace 'Deine erste Vorhersage' with myth-busting quiz

Instead of DSPy-specific Predict demo, start with factual questions
where the model gets things WRONG (Australian capital, glass myth,
goldfish memory). Shows immediately: LLMs sound confident but aren't
always correct. Motivates why evaluation matters.

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>

Author: abossard

notebooks/01_evaluation_and_tuning.ipynb

@@ -165,153 +165,81 @@
   },
   {
    "cell_type": "markdown",
-   "id": "589032da",
    "metadata": {},
    "source": [
-    "## ✨ Deine erste Vorhersage\n",
+    "## 🧪 Wie gut ist das Modell wirklich?\n",
     "\n",
-    "Eine **Signature** beschreibt was reingeht und was rauskommen soll — wie ein Funktionstyp. Kein Prompt nötig! Der passende Prompt wird automatisch generiert."
+    "Lass uns das Modell auf **Fragen mit bekannter Antwort** testen — und schauen wo es richtig liegt und wo es **daneben haut**.\n"
    ]
   },
   {
    "cell_type": "code",
-   "execution_count": 4,
-   "id": "756aa0cc",
    "metadata": {},
-   "outputs": [
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "🎯 Sentiment: positive\n"
-     ]
-    }
-   ],
    "source": [
-    "from dspy_tasks.data import ClassifySentiment\n",
+    "import dspy\n",
     "from dspy_tasks.config import configure_dspy\n",
     "\n",
-    "# Configure DSPy with chosen model\n",
     "configure_dspy(model=model_dropdown.value)\n",
     "\n",
-    "# This is ALL you need — no prompt engineering!\n",
-    "classifier = dspy.Predict(ClassifySentiment)\n",
+    "# Fragen mit BEKANNTER richtiger Antwort\n",
+    "test_questions = [\n",
+    "    (\"Was ist die Hauptstadt von Australien?\",  \"Canberra\",   \"Viele sagen Sydney...\"),\n",
+    "    (\"Wie viele Planeten hat unser Sonnensystem?\", \"8\",        \"Pluto zählt nicht mehr\"),\n",
+    "    (\"Wer hat die Glühbirne erfunden?\",         \"Edison hat sie verbessert, nicht erfunden\", \"Übliche Fehlantwort: Edison\"),\n",
+    "    (\"Ist Glas eine Flüssigkeit?\",              \"Nein\",       \"Weit verbreiteter Mythos\"),\n",
+    "    (\"Können Goldische nur 3 Sekunden erinnern?\", \"Nein, sie erinnern sich monatelang\", \"Klassischer Mythos\"),\n",
+    "    (\"Sieht man die Chinesische Mauer vom Weltraum?\", \"Nein\", \"Häufige Fehlannahme\"),\n",
+    "    (\"Was ist schwerer: 1kg Stahl oder 1kg Federn?\", \"Gleich schwer\", \"Denkfalle!\"),\n",
+    "    (\"Wie viel Prozent des Gehirns nutzen Menschen?\", \"Praktisch 100%\", \"10%-Mythos ist falsch\"),\n",
+    "]\n",
     "\n",
-    "# Try it\n",
-    "result = classifier(review=\"This laptop is absolutely fantastic! Best purchase I've made all year.\")\n",
-    "print(f\"🎯 Sentiment: {result.sentiment}\")"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 6,
-   "id": "66a97195",
-   "metadata": {},
-   "outputs": [
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "297db7290ecb427ea56ffbe2f6f8d418",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "Textarea(value='The battery life is terrible, but the screen quality is amazing.', description='Review:', layo…"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
-    },
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "c32046a776e1427a8586cca9792dd6b4",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "Button(button_style='primary', description='Classify!', icon='play', style=ButtonStyle())"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
-    },
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "bb5bf39e313b4adc9abc7e8b0a2802f7",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "Output()"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
-    }
+    "class QA(dspy.Signature):\n",
+    "    \"\"\"Beantworte die Frage kurz und korrekt.\"\"\"\n",
+    "    question = dspy.InputField(desc=\"Eine Wissensfrage\")\n",
+    "    answer = dspy.OutputField(desc=\"Kurze, korrekte Antwort\")\n",
+    "\n",
+    "qa = dspy.Predict(QA)\n",
+    "\n",
+    "correct = 0\n",
+    "total = len(test_questions)\n",
+    "\n",
+    "for question, expected, note in test_questions:\n",
+    "    result = qa(question=question)\n",
+    "    model_answer = result.answer.strip()\n",
+    "    # Simple check: does the expected answer appear in the model's response?\n",
+    "    is_ok = expected.lower() in model_answer.lower()\n",
+    "    correct += int(is_ok)\n",
+    "    icon = \"✅\" if is_ok else \"❌\"\n",
+    "    print(f\"{icon} {question}\")\n",
+    "    print(f\"   Modell: {model_answer[:80]}\")\n",
+    "    if not is_ok:\n",
+    "        print(f\"   Erwartet: {expected} ({note})\")\n",
+    "    print()\n",
+    "\n",
+    "accuracy = correct / total\n",
+    "print(\"=\" * 50)\n",
+    "print(f\"Ergebnis: {correct}/{total} richtig = {accuracy:.0%}\")\n",
+    "if accuracy < 1.0:\n",
+    "    print(f\"\\n👆 {total - correct} Fehler! Das LLM ist NICHT perfekt.\")\n",
+    "    print(\"Und das waren noch einfache Fakten-Fragen...\")\n"
    ],
-   "source": [
-    "review_input = widgets.Textarea(value=\"The battery life is terrible, but the screen quality is amazing.\",\n",
-    "                                  description=\"Review:\", layout=widgets.Layout(width=\"600px\", height=\"80px\"))\n",
-    "run_btn = widgets.Button(description=\"Classify!\", button_style=\"primary\", icon=\"play\")\n",
-    "output = widgets.Output()\n",
-    "\n",
-    "def on_click(b):\n",
-    "    with output:\n",
-    "        output.clear_output()\n",
-    "        result = classifier(review=review_input.value)\n",
-    "        display_score(\"Prediction\", 1.0 if result.sentiment else 0.0)\n",
-    "        print(f\"→ {result.sentiment}\")\n",
-    "\n",
-    "run_btn.on_click(on_click)\n",
-    "display(review_input, run_btn, output)"
-   ]
-  },
-  {
-   "cell_type": "markdown",
-   "id": "2cc4afb0",
-   "metadata": {},
-   "source": [
-    "## 🗺️ Was dich erwartet\n",
-    "\n",
-    "Du wirst durch 8 Notebooks geführt — von den Grundlagen bis zur automatischen Optimierung. Jedes Notebook baut auf dem vorherigen auf und hat interaktive Aufgaben.\n",
-    "\n",
-    "Los geht's!"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 7,
-   "id": "a0eedf86",
-   "metadata": {},
    "outputs": [],
-   "source": [
-    "# Die Aufgaben entdeckst du Schritt für Schritt in den folgenden Notebooks."
-   ]
+   "execution_count": null
   },
   {
    "cell_type": "markdown",
-   "id": "d2b9afcc",
    "metadata": {},
    "source": [
-    "## ⏭️ Weiter geht's!\n",
-    "\n",
-    "Du kannst ein Modell aufrufen und bekommst ein Ergebnis. **Aber woher weisst du, ob es GUT ist?**\n",
+    "## 💡 Das Problem\n",
     "\n",
-    "Das klären wir im nächsten Notebook: Wie man **Accuracy misst**, wo LLMs versagen, und wie du **selbst versuchst den Prompt zu verbessern**.\n",
+    "LLMs klingen immer selbstsicher — auch wenn sie **falsch liegen**. Ohne systematische Messung weisst du nicht:\n",
+    "- Wie oft liegt das Modell richtig?\n",
+    "- Wird es bei bestimmten Fragen schlechter?\n",
+    "- Hilft eine andere Formulierung?\n",
     "\n",
-    "👉 **[Weiter zu Notebook: Evaluation →](01_evaluation_and_tuning.ipynb)**\n"
+    "Genau dafür brauchst du **Evaluation** — und die kommt jetzt.\n"
    ]
   },
-  {
-   "cell_type": "code",
-   "execution_count": null,
-   "id": "38a40975",
-   "metadata": {},
-   "outputs": [],
-   "source": []
-  },
   {
    "cell_type": "markdown",
    "id": "cb49eaa5",
@@ -636,4 +564,4 @@
  },
  "nbformat": 4,
  "nbformat_minor": 5
-}
+}