Comdirect import enhancement and first filtering on parsed keys

Author: Pitastic

app/routes.py

@@ -461,8 +461,8 @@ def tag_and_cat(iban) -> dict:
                         category=custom_rule.get('category'),
                         tags=custom_rule.get('tags'),
                         filters=custom_rule.get('filters'),
-                        parsed_keys=custom_rule.get('parsed_keys'),
-                        parsed_vals=custom_rule.get('parsed_vals'),
+                        parsed_keys=list(custom_rule.get('parsed', {}).keys()),
+                        parsed_vals=list(custom_rule.get('parsed', {}).values()),
                         multi=custom_rule.get('multi', 'AND'),
                         prio=custom_rule.get('prio', 1),
                         prio_set=custom_rule.get('prio_set'),

reader/Comdirect.py

@@ -93,7 +93,7 @@ def from_pdf(self, filepath):
             pages="2-end",
             flavor="stream",
             row_tol=10,
-            columns=["115,187,305,500"]
+            columns=["115,187,305,500"]*16 #TODO: Hack-araound: https://github.com/atlanhq/camelot/issues/357#issuecomment-520986016 # disable=line-too-long
         )
 
         if not tables:
@@ -121,12 +121,13 @@ def from_pdf(self, filepath):
         # Zeilen anhand der Datumsspalte zusammenfügen
         # Format:
         # all_rows # Table [ Row1: [ Cell1, Cell2, Cell3 ] , Row2: [ ... ] , ... ]
+        re_datecheck = re.compile(r'^\d{2}\.\d{2}\.\d{4}\s\d{2}\.\d{2}\.\d{4}')
         result = []
         enumerated_table = enumerate(all_rows[start_index:end_index])
         for i, row in enumerated_table:
 
-            if row[0] == 'Buchungstag\nValuta':
-                continue  # Skip Header Rows
+            if re_datecheck.match(row[0]) is None:
+                continue  # Skip Header and unvalid Rows
 
             betrag = float(row[4].replace('.', '').replace(',', '.'))
             date_format = "%d.%m.%Y"

tests/helper.py

@@ -35,10 +35,12 @@ def check_transaktion_list(tx_list):
         assert isinstance(text_tx, str) and len(text_tx), \
             f"'text_tx' wurde nicht oder falsch erkannt: {text_tx}"
 
-        # IBAN
+        # Gegenkonto
         gegenkonto = entry.get('gegenkonto')
-        assert isinstance(gegenkonto, str) and len(gegenkonto), \
-            f"'gegenkonto' wurde nicht oder falsch erkannt: {gegenkonto}"
+        if gegenkonto:
+            # Nur prüfen, wenn Wert vorhanden
+            assert isinstance(gegenkonto, str) and len(gegenkonto), \
+                f"'gegenkonto' wurde nicht oder falsch erkannt: {entry}"
 
         # Wertstellung (optional, aber bei Generic mit dabei)
         assert isinstance(entry.get('valuta'), float), (