[Workflow-Audit] End-to-End Test line-basic - Probleme und Optimierungsideen

[MarkusNeusinger]

Zusammenfassung

End-to-End Test des Plot-Generation-Workflows mit line-basic (Issue #162).

Ergebnis: 8/9 Code-Generierungen erfolgreich, aber gesamte Pipeline blockiert durch Infrastruktur-Problem.

---

Gefundene Probleme

🔴 Problem 1: Fehlendes Label library:letsplot (KRITISCH)

Symptom: gen-new-plot.yml schlägt fehl beim Erstellen des letsplot Sub-Issues

Fehler:

could not add label: 'library:letsplot' not found

Auswirkung:

• Workflow bricht ab, obwohl 8/9 Sub-Issues erfolgreich erstellt wurden
• Library-Generierungen wurden nicht getriggert
• Manueller Eingriff erforderlich

Manueller Fix durchgeführt:

gh label create "library:letsplot" --color "4A90D9" --description "Implementation for lets-plot library"
gh issue create --title "[line-basic] letsplot implementation" --label "library:letsplot,plot-request:impl,generating" ...
gh workflow run gen-new-plot.yml -f spec_id="line-basic" ...

Empfehlung:

1. Label library:letsplot zu .github/scripts/setup-labels.sh hinzufügen
2. Workflow robuster machen: Fehler bei einzelner Library sollte nicht gesamten Workflow abbrechen

---

🔴 Problem 2: lets-plot unterstützt Python 3.14 nicht (KRITISCH)

Symptom: gen-library-impl.yml für letsplot schlägt fehl bei Dependency-Installation

Fehler:

× No solution found when resolving dependencies:
╰─▶ Because all versions of lets-plot have no wheels with a matching Python
    ABI tag (e.g., `cp314`) and you require lets-plot, we can conclude that
    your requirements are unsatisfiable.

hint: You require CPython 3.14, but lets-plot only has wheels for: cp39, cp310, cp311, cp312, cp313

Auswirkung:

• letsplot-Implementierungen können nicht generiert werden
• Führt zu Problem 3 (siehe unten)

Empfehlung:

1. Für letsplot Python 3.13 als primäre Version verwenden
2. Oder letsplot temporär aus der Pipeline ausschließen bis Python 3.14 Support verfügbar

---

🔴 Problem 3: Test-Workflow blockiert durch lets-plot (BLOCKER!)

Symptom: ci-plottest.yml schlägt für ALLE Libraries fehl (nicht nur letsplot)

Fehler:

error: Distribution `lets-plot==4.8.1` can't be installed because it doesn't have a 
source distribution or wheel for the current platform

hint: You're using CPython 3.14, but lets-plot only has wheels for cp313

Root Cause:
Der Test-Workflow verwendet uv sync --all-extras, was ALLE optionalen Dependencies installiert, inklusive lets-plot. Da lets-plot Python 3.14 nicht unterstützt, scheitert die GESAMTE Installation.

Auswirkung:

• ALLE 8 Plot-Tests fehlgeschlagen (pygal, altair, plotnine, seaborn, highcharts, bokeh, matplotlib, plotly)
• Pipeline komplett blockiert
• Keine Preview-Generierung möglich
• Keine AI-Review möglich
• Keine Auto-Merge möglich

Empfehlung:

1. Kurzfristig: lets-plot aus pyproject.toml [project.optional-dependencies].plotting entfernen
2. Mittelfristig: Separate dependency group für letsplot erstellen: plotting-letsplot
3. Langfristig: Dependency-Resolution pro Library isolieren

---

Workflow-Optimierungsideen

1. Fehlertoleranz verbessern

Problem: Ein einzelner Fehler (fehlendes Label) bricht gesamten Workflow ab

Lösung:

• continue-on-error: true für nicht-kritische Schritte
• Erfolgreiche Libraries sollten weiterlaufen, auch wenn andere fehlschlagen

2. Library-spezifische Dependencies

Problem: uv sync --all-extras installiert ALLE Libraries, obwohl nur eine getestet wird

Lösung:

• Separate dependency groups pro Library
• uv sync --extra plotting-matplotlib statt --all-extras
• Oder library-spezifische requirements.txt Dateien

3. Python-Version pro Library

Problem: Einige Libraries unterstützen Python 3.14 noch nicht

Lösung:

• Library-Matrix mit Python-Version-Kompatibilität
• Fallback zu Python 3.13 für inkompatible Libraries
• Automatische Erkennung der höchsten unterstützten Python-Version

4. Label-Validierung

Problem: Fehlende Labels werden erst zur Laufzeit erkannt

Lösung:

• Pre-Flight Check vor Workflow-Start
• Automatisches Erstellen fehlender Labels
• Label-Sync-Workflow bei Repository-Setup

---

Manuelle Eingriffe während Test

Zeit	Eingriff	Grund	Automatisierbar?
22:40	Label library:letsplot erstellt	Fehlte im Repository	Ja - setup-labels.sh
22:40	Sub-Issue #171 manuell erstellt	Workflow abgebrochen	Ja - bessere Fehlerbehandlung
22:40	gen-new-plot.yml manuell re-triggered	Generierung nicht gestartet	Ja - automatische Retry

---

Status der line-basic Implementierungen

Library	Generierung	PR	Tests	Preview	AI-Review
matplotlib	✅	#178	❌ blocked	❌	❌
seaborn	✅	#175	❌ blocked	❌	❌
plotly	✅	#179	❌ blocked	❌	❌
bokeh	✅	#177	❌ blocked	❌	❌
altair	✅	#173	❌ blocked	❌	❌
plotnine	✅	#174	❌ blocked	❌	❌
pygal	✅	#172	❌ blocked	❌	❌
highcharts	✅	#176	❌ blocked	❌	❌
letsplot	❌ Python 3.14	-	-	-	-

---

Nächste Schritte

1. lets-plot aus [project.optional-dependencies].plotting entfernen (temporär)
2. Tests erneut triggern
3. Label library:letsplot zu setup-labels.sh hinzufügen
4. Workflow-Fehlerbehandlung verbessern
5. Library-spezifische Dependencies implementieren

---

Parent Issue: #162
Sub-Issues: #163-#171
PRs: #172-#179

[MarkusNeusinger]

Zusätzliche Probleme gefunden

Problem 5: Merge-Konflikte bei sequentiellem Merge

• Beschreibung: Wenn PRs sequentiell in den Feature-Branch gemerged werden, entstehen Merge-Konflikte bei den nachfolgenden PRs (spec file conflict)
• Ursache: Jeder PR modifiziert specs/line-basic.md während der Generierung
• Workaround: Manuelles Rebase und Force-Push
• Vorschlag: PRs sollten keine Spec-Änderungen enthalten, oder Workflow sollte automatisches Rebase vor Merge durchführen

Problem 6: gen-new-plot Re-Run erstellt Duplikat-PRs und Sub-Issues

• Beschreibung: Wenn gen-new-plot erneut getriggert wird, erstellt es neue PRs und Sub-Issues obwohl bereits welche existieren/gemerged sind
• Ursache: Workflow prüft nicht ob PR bereits gemerged wurde
• Impact: 6 doppelte PRs (186-191) mussten manuell geschlossen werden, 5 doppelte Sub-Issues (181-185)
• Vorschlag: Check auf existierende MERGED PRs hinzufügen

Problem 7: Feature-Branch zu Main Merge wird nicht automatisch getriggert

• Beschreibung: Obwohl alle 9 Sub-Issues merged Label haben, wurde der finale Feature-Branch->Main PR nicht automatisch erstellt
• Ursache: Unklar - möglicherweise Race-Condition oder Suche nach Sub-Issues funktioniert nicht korrekt
• Workaround: Manueller PR-Erstellung (feat: add line-basic plot implementation #193)
• Vorschlag: Debugging der check_complete Logik in bot-auto-merge.yml

Problem 8: requires-python Konflikt mit Test-Matrix

• Beschreibung: pyproject.toml hatte requires-python = ">=3.13" aber Test-Matrix enthielt 3.11/3.12
• Ursache: uv respektiert requires-python und weigert sich ältere Versionen zu nutzen
• Fix: requires-python auf >=3.12 geändert und Matrix auf [3.12, 3.13] reduziert

---

Finale Ergebnisse

Erfolg

• 9/9 Libraries erfolgreich implementiert und gemerged
• line-basic Plot nun in main verfügbar
• Alle Tests bestanden (Python 3.12 + 3.13)
• Alle AI-Reviews bestanden

Manuelle Eingriffe (insgesamt)

1. library:letsplot Label erstellen
2. letsplot Sub-Issue manuell erstellen
3. Python 3.14->3.13 in Workflows ändern
4. Mehrfaches Rebase wegen Merge-Konflikten
5. Duplikat-PRs und Sub-Issues schließen
6. Finalen Feature-Branch->Main PR manuell erstellen

Zeit

• Issue erstellt: ~22:35
• Workflow komplett: ~23:26
• Gesamtdauer: ~51 Minuten (inkl. aller manuellen Eingriffe und Troubleshooting)