Add VoBa CSV

Author: Pitastic

README.md

@@ -40,16 +40,12 @@ Listen und Diagramme zeigen dir, wo eigentlich das Geld geblieben ist :thinking:
 
 ### Unterstützte Banken
 
-- Comdirect
-    - CSV Umsatzübersicht
-    - PDF Finanzreport
-- Commerzbank
-    - CSV Umsatzübersicht
-    - PDF Kontoauszüge *(work in progress)*
-- Sparkasse Hannover
-    - *(work in Progress)*
-- Volksbank Mittelhessen eG (Meine Bank)
-    - *(work in Progress)*
+| Bank                         | CSV | PDF |
+|------------------------------|-------------------------------------|
+| Comdirect                    | 🟢 Umsatzübersicht | 🟢 Finanzreport |
+| Commerzbank                  | 🟢 Umsatzübersicht | 🟢 Kontoauszug |
+| Sparkasse Hannover           | ⚫ *planned* | ⚫ *planned* |
+| Volksbank Mittelhessen eG    | 🟢 Umsatzübersicht | ⚫ *planned* |
 
 ### Workflow (CSV / PDF Imports)
 

reader/Comdirect.py

@@ -14,12 +14,6 @@ class Reader(Generic):
     Reader um aus übermittelten Daten Kontoführungsinformationen auszulesen.
     Dieser Reader ist speziell für die Daten angepasst, wie sie bei der Comidrect Bank vorkommen.
     """
-    def __init__(self): # pylint: disable=useless-parent-delegation
-        """
-        Initialisiert eine Instanz der Reader-Klasse für Kontoumsätze der Comdirect Bank.
-        """
-        #TODO: Es wird ggf. einen Usecase für super.__init__() in Zukunft geben
-        super().__init__()
 
     def from_csv(self, filepath):
         """
@@ -47,7 +41,7 @@ def from_csv(self, filepath):
                     # Skippe offene Buchungen
                     continue
 
-                betrag = float(row['Umsatz in EUR'].replace(',', '.'))    
+                betrag = float(row['Umsatz in EUR'].replace(',', '.'))
                 date_tx = datetime.datetime.strptime(
                             date_tx, date_format
                         ).replace(tzinfo=datetime.timezone.utc).timestamp()
@@ -93,8 +87,9 @@ def from_pdf(self, filepath):
             pages="2-end",
             flavor="stream",
             row_tol=10,
-            columns=["115,187,305,500"]*16 #TODO: Hack-araound: https://github.com/atlanhq/camelot/issues/357#issuecomment-520986016 # disable=line-too-long
+            columns=["115,187,305,500"]*16
         )
+        #TODO: Hack-araound: https://github.com/atlanhq/camelot/issues/357#issuecomment-520986016
 
         if not tables:
             raise ValueError("No tables found in PDF file.")

reader/Commerzbank.py

@@ -12,12 +12,6 @@ class Reader(Generic):
     Reader um aus übermittelten Daten Kontoführungsinformationen auszulesen.
     Dieser Reader ist speziell für die Daten angepasst, wie sie bei der Commerzbank vorkommen.
     """
-    def __init__(self): # pylint: disable=useless-parent-delegation
-        """
-        Initialisiert eine Instanz der Reader-Klasse für Kontoumsätze der Commerzbank.
-        """
-        #TODO: Es wird ggf. einen Usecase für super.__init__() in Zukunft geben
-        super().__init__()
 
     def from_pdf(self, filepath):
         """
@@ -136,7 +130,7 @@ def _check_next_line_available(self, start_index, end_index, i):
 
         if self.all_rows[start_index + i + 1][1] != '':
             return False
-        
+
         if self.all_rows[start_index + i + 1][0].startswith('Buchungsdatum: '):
             return False
 

reader/Volksbank_Mittelhessen.py

@@ -0,0 +1,100 @@
+#!/usr/bin/python3 # pylint: disable=invalid-name
+"""Reader für das Einlesen von Kontoumsätzen in den Formaten der Volksbank Mittelhessen."""
+
+import datetime
+import csv
+
+from reader.Generic import Reader as Generic
+
+
+class Reader(Generic):
+    """
+    Reader um aus übermittelten Daten Kontoführungsinformationen auszulesen.
+    Dieser Reader ist speziell für die Daten angepasst, wie sie bei der
+    Volksbank Mittelhessen vorkommen.
+    """
+
+    def from_csv(self, filepath):
+        """
+        Liest Kontoumsätze von Kontoauszügen ein,
+        die im CSV Format von der Volksbank Mittelhessen herintergeladen wurden.
+
+        Returns:
+            Liste mit Dictonaries, als Standard-Objekt mit allen
+            ausgelesenen Kontoumsätzen entspricht.
+        """
+        result = []
+        with open(filepath, 'r', encoding='utf-8') as infile:
+
+            # Start Reading CSV content
+            reader = csv.DictReader(infile, delimiter=';')
+            date_format = "%d.%m.%Y"
+            for row in reader:
+                date_tx = row['Buchungstag']
+                if date_tx == "offen" or not row['Betrag']:
+                    # Skippe offene Buchungen / Hinweise
+                    continue
+
+                betrag = float(row['Betrag'].replace(',', '.'))
+                date_tx = datetime.datetime.strptime(
+                            date_tx, date_format
+                        ).replace(tzinfo=datetime.timezone.utc).timestamp()
+                valuta = datetime.datetime.strptime(
+                            row['Valutadatum'], date_format
+                        ).replace(tzinfo=datetime.timezone.utc).timestamp()
+
+                line = {
+                    'date_tx': date_tx,
+                    'valuta': valuta,
+                    'art': row['Buchungstext'],
+                    'text_tx': row['Verwendungszweck'],
+                    'betrag': betrag,
+                    'gegenkonto': row['Name Zahlungsbeteiligter'],
+                    'currency': row['Waehrung'],
+                    'parsed': {},
+                    'category': None,
+                    'tags': None
+                }
+
+                if row.get('Glaeubiger ID'):
+                    line['parsed']['Gläubiger-ID'] = row['Glaeubiger ID']
+
+                if row.get('Mandatsreferenz'):
+                    line['parsed']['Mandatsreferenz'] = row['Mandatsreferenz']
+
+                result.append(line)
+
+        return result
+
+    def from_pdf(self, filepath):
+        """
+        Liest Kontoumsätze von Kontoauszügen ein,
+        die im PDF Format von der Volksbank Mittelhessen ausgestellt worden sind.
+
+        Returns:
+            Liste mit Dictonaries, als Standard-Objekt mit allen
+            ausgelesenen Kontoumsätzen entspricht.
+        """
+        raise NotImplementedError()
+
+    def from_http(self, url):
+        """
+        Liest Kontoumsätze von einer Internetressource ein.
+        """
+        raise NotImplementedError()
+
+    def _newline_replace(self, text_in:str) -> str:
+        """Ersetzt Newlines im Buchungsinformationen
+        intelligent durch Leerzeichen oder nichts
+        Args:
+            text_in, str:   Input Text aus Kontoauszug
+        Return:
+            str: Text ohne Newlines
+        """
+        if not '\n' in text_in:
+            return text_in
+
+        if text_in.index('\n') < 35:
+            return text_in.replace('\n', ' ')
+
+        return text_in.replace('\n', '')

tests/test_unit_reader_Volksbank-Mittelhessen.py

@@ -0,0 +1,47 @@
+#!/usr/bin/python3 # pylint: disable=invalid-name
+"""Testmodul für das Einlesen von Daten mit Hilfe des Volksbank Mittelhessen Readers"""
+
+import os
+import sys
+import pytest
+
+# Add Parent for importing from Modules
+parent_dir = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
+sys.path.append(parent_dir)
+
+from helper import check_transaktion_list
+from reader.Volksbank_Mittelhessen import Reader as Volksbank_Mittelhessen
+
+
+def test_read_from_csv(test_app):
+    """Testet das Einlesen einer CSV Datei mit Kontoumsätzen"""
+    test_file_csv = os.path.join('/tmp', 'volksbank-mittelhessen.csv')
+    if not os.path.isfile(test_file_csv):
+        # Test file not provided (sensitive data is not part of git repo)
+        pytest.skip("Testfile /tmp/volksbank-mittelhessen.csv not found....skipping")
+
+    with test_app.app_context():
+        transaction_list = Volksbank_Mittelhessen().from_csv(test_file_csv)
+
+        # Check Reader Ergebnisse
+        check_transaktion_list(transaction_list)
+
+
+#def test_read_from_pdf(test_app):
+#    """Testet das Einlesen einer PDF Datei mit Kontoumsätzen"""
+#    test_file_pdf = os.path.join('/tmp', 'volksbank-mittelhessen.pdf')
+#    if not os.path.isfile(test_file_pdf):
+#        # Test file not provided (sensitive data is not part of git repo)
+#        pytest.skip("Testfile /tmp/volksbank-mittelhessen.pdf not found....skipping")
+#
+#    with test_app.app_context():
+#        transaction_list = Volksbank_Mittelhessen().from_pdf(test_file_pdf)
+#
+#        # Check Reader Ergebnisse
+#        check_transaktion_list(transaction_list)
+
+
+@pytest.mark.skip(reason="Currently not implemented yet")
+def test_read_from_http(test_app):
+    """Testet das Einlesen Kontoumsätzen aus einer Online-Quelle"""
+    return None