Merge pull request #35 from Pitastic/add_importers

Add importers

Author: Pitastic

Models.md

@@ -39,11 +39,11 @@
     'date_tx': int,         # (UTC)
     'text_tx': str,
     'betrag': float,
-    'iban': str,
+    'gegenkonto': str,
 
     ----------- optional -----------
 
-    'date_wert': int ,      # (UTC)
+    'valuta': int ,      # (UTC)
     'art': str,
     'currency': str,
     'parsed': dict( str: str )

README.md

@@ -9,44 +9,67 @@ Analyse und Darstellung von Kontoumsätzen bei mehreren Banken.
 
 ### Parsing
 
-Importieren von Kontoumsätzen aus
-
-- Umsatzübersicht im Online Banking
-    - CSV Export
-    - PDF Export
-- Kontoauszüge
-    - PDFs aus dem Online Banking Archiv
-    - PDFs eingescannter Papierauszüge
-- Online Quellen
-    - HTTP (Daten von APIs - keine Banken-APIs leider :man_shrugging: )
+Importiere Kontoumsätzen aus Dateien im Format unterstützter Banken (Exports von Umsatzübersichten als CSV, Kontoauszüge als PDF). Für Auswertung der Ausgaben von Zeit zu Zeit.
 
 Modulare Importer können nach und nach für verschiedene Banken oder spezielle Formate entwickelt werden. Füge einen Importer für deine Bank hinzu :wink:
 
 ### Analyse
 
-- Automatisches Extrahieren und bewerten einer Transaktion durch Muster *(RegEx parst Kerninformationen)*
-- Automatisches Kategorisieren anhand hinterlegter Regeln *(RegEx + Kerninformationen)*
-- Manuelles Kategorisieren
+- Keine doppelten Imports *(Datum, Text und Betrag bilden eine einmalige Kombination)*
+- Automatisches Extrahieren von Zusatzinformationen einer Transaktion durch Muster *(RegEx parst Kerninformationen)*
+- Automatisches und/oder manuelles Taggen von Umsätzen *(Regelbasiert: RegEx + Zusatzinformationen)*
+- Automatisches und/oder manuelles Kategorisieren von Umsätzen *(Regelbasiert: RegEx + Tags und weitere Indikatoren)*
+- Übersicht über alle Transaktionen *(Vielseitige Filtermöglichkeiten)*
+- Statistische Auswertung auf dem angereicherten Datensatz vieler Transaktionen *(interaktive Grafiken)*
 
 Hinterlegte Regeln können die extrahierten Informationen, weitere Umsatzinformationen und weitere RegExes berücksichtigen und ermöglichen so komplexe Bewertungen einfach zu erstellen.
 
-Eine Klassifizierung *(Tagging)* wird dabei nach Haupt- und Unterkategorie vorgenommen. Sie erfolgt bei einem Durchlauf optional für alle unkategorisierten Umsätze, auf alle oder auf einen Teil anhand einer festgelegten Priorität (der Kategorie).
+Ein Tagging findet anschließend auf angereicherten Informationen regelbasiert statt und kann außerdem auch manuell erfolgen.
+
+Auf dieser Grundlage werden Umsätze Kategorisiert wobei auch das händisch editiert werden kann.
 
 ### Darstellung
 
-- Umsatzübersicht
-- Statistiken
-- Verteilungen
+- Kontohistorie
+- Transaktionsansicht
+- Statistiken/Verteilungen/Verläufe
 
 Listen und Diagramme zeigen dir, wo eigentlich das Geld geblieben ist :thinking:
 
+## Misc
+
+### Unterstützte Banken
+
+| Bank                         | CSV | PDF |
+|------------------------------|-------------------------------------|
+| Comdirect                    | 🟢 Umsatzübersicht | 🟢 Finanzreport |
+| Commerzbank                  | 🟢 Umsatzübersicht | 🟢 Kontoauszug |
+| Sparkasse Hannover           | ⚫ *planned* | ⚫ *planned* |
+| Volksbank Mittelhessen eG    | 🟢 Umsatzübersicht | ⚫ *planned* |
+
+### Workflow (CSV / PDF Imports)
+
+Umsätze können sich beim Import überschneiden oder mehrfach hochgeladen werden: Transaktionen werden in der Regel nicht doppelt importiert.
+
+Die Umsatzinformationen eines Kontoauszugs als PDF und der Export der Ansicht im Online Banking als CSV hat schon bei der Erstellung einen unterschiedlichen Informationsgehalt. Hinzu kommt, dass das Einlesen einer PDF nicht so verlässlich bei Zeilenumbrüchen und Leerzeichen funktioniert, weshalb Worte getrennt oder zusammengeschoben werden können. Ein und die selbe Transaktion kann daher unterschiedlich beschrieben worden sein, was einen doppelten Import (einer je Format) leider möglich macht.
+
+Daher sollte man beachten:
+
+- Regeln nicht auf zwingend vorhandene Leerzeichen auszulegen
+- Beim Wechsel eines Formats (PDF / CSV) keine Überschneidungen zu haben (PDF zuerst, dann fehlende Transaktionen selektieren und via CSV exportieren - alternativ bei einem Format bleiben)
+
+### Tagging- und Kategorisierungsregeln
+
+In diesem Repository werden nur Basis-Regeln mitgeliefert, da speziellere und genauere Regeln sehr individuell auf einzelne Personen zugeschnitten sind. So schreibt zum Beispiel eine Versicherung die Versichertennummer mit in die Abbuchungen, was einen sehr guten Tagging-Indikator darstellt, jedoch nur für einen speziellen Nutzer dieses Programms. Das schreiben eigener Regeln ist daher unumgänglich, um bessere Ergebnisse zu erzielen.
+
+Für diesen Zweck gibt es aber die Möglichkeit im Frontend Regeln auszuprobieren, ohne dass Umsätze geändert werden. Neue Regeln können ebenfalls über die Oberfläche temporär hochgeladen werden (bis zum Neustart des Servers) oder dauerhaft im Ordner `settings/rule` abgelegt werden. Die Dateien hier werden in alphabetisch sortierter Reihenfolge geladen (angefangen bei `00-*`), wobei spätere Regeln ggf. bestehende Regeln überschreiben können. Im Rwepository werden nur die Default-Regeln angepasst. Auf diese Weise können eigene Regeln gepflegt werden, ohne dass sie bei Updates verloren gehen.
+
+
 ## Contribution
 
 You're Welcome !
 
-Erstelle einen Reader für verschiedene Formate deiner Bank.
-
-Dieses Repo ist test-driven. Vor dem Merge ist ein Unit- und ggf. Integrationtest erforderlich, der aber auch vom Kernprojekt erstellt werden kann.
+Erstelle einen Reader für verschiedene Formate deiner Bank oder ergänze die `parser` und `rules`.
 
 ## Setup
 
@@ -65,4 +88,21 @@ pip install -r requirements.txt
 ```
 pip install -r tests/requirements.txt
 pytest
-```
+```
+
+## Entwickeln von neuen Readern
+
+- Erstelle einen neuen Test unter `tests/`
+    - (kopiere am besten `tests/test_unit_reader_Comdirect.py`)
+- Erstelle ein neues Skript unter `reader/`
+    - (kopiere am besten `reader/Generic.py`)
+- Passe die Logik im Test so an, dass dieser ausgeführt wird, wenn eine Testdatei vorhanden ist.
+- Entwickle deinen Reader und teste ihn dabei immer wieder mit `pytest -svx tests/test_unit_reader_*.py`
+- Pushe **keine** Testdaten (Kontoumsätze) ins Repo!
+
+## Entwickeln neuer `parser` / `rules`
+
+- Erstelle Testdaten, auf die die neuen Regeln treffen können
+    - (am einfachsten ist eine JSON Datei wie `tests/commerzbank.json`)
+- Erstelle einen Test wie in (`test_unit_handler_Tags.py`: `test_parsing_regex()`)
+    - Tests helfen beim entwickeln, können aber auch durch mich beim Pull Request erstellt werden

app/routes.py

@@ -297,6 +297,7 @@ def uploadIban(iban):
 
                 Args (multipart/form-data):
                     file-input (binary): Dateiupload aus Formular-Submit
+                    bank (str, optional): Bankkennung (Default: Generic)
                 Returns:
                     json: Informationen zur Datei und Ergebnis der Untersuchung.
                 """
@@ -309,16 +310,22 @@ def uploadIban(iban):
                 content_type, size = parent.mv_fileupload(input_file, path)
 
                 # Daten einlesen und in Object speichern (Bank und Format default bzw. wird geraten)
-                content_formats = {
+                content_format = {
                     'application/json': 'json',
                     'text/csv': 'csv',
                     'application/pdf': 'pdf',
                     'text/plain': 'text',
-                }
+                }.get(content_type)
+
+                # Special handling for PDFs (extension needed)
+                if content_format == 'pdf':
+                    os.rename(path, f'{path}.pdf')
+                    path = f'{path}.pdf'
 
                 # Read Input and Parse the contents
                 parsed_data = parent.read_input(
-                    path, data_format=content_formats.get(content_type)
+                    path, bank=request.form.get('bank', 'Generic'),
+                    data_format=content_format
                 )
 
                 # Verarbeitete Kontiumsätze in die DB speichern
@@ -454,8 +461,8 @@ def tag_and_cat(iban) -> dict:
                         category=custom_rule.get('category'),
                         tags=custom_rule.get('tags'),
                         filters=custom_rule.get('filters'),
-                        parsed_keys=custom_rule.get('parsed_keys'),
-                        parsed_vals=custom_rule.get('parsed_vals'),
+                        parsed_keys=list(custom_rule.get('parsed', {}).keys()),
+                        parsed_vals=list(custom_rule.get('parsed', {}).values()),
                         multi=custom_rule.get('multi', 'AND'),
                         prio=custom_rule.get('prio', 1),
                         prio_set=custom_rule.get('prio_set'),

app/static/js/functions.js

@@ -47,6 +47,12 @@ function getFilteredList() {
         arg_concat = '&';
     }
 
+    const text_search = document.getElementById('filter-text').value;
+    if (text_search) {
+        query_args = query_args + arg_concat + 'text=' + text_search;
+        arg_concat = '&';
+    }
+
     const category = document.getElementById('filter-cat').value;
     if (category) {
         query_args = query_args + arg_concat + 'category=' + category;

app/static/js/index.js

@@ -125,7 +125,7 @@ function saveSetting() {
  * Sends a file to the server for upload.
  * The file is selected via the file input element 'settings-input'.
  */
-function uploadFile() {
+function importSettings() {
     const settings_type = document.getElementById('settings-type').value;
 
     const fileInput = document.getElementById('settings-input');
@@ -158,21 +158,23 @@ function uploadFile() {
         return;
     }
 
+    const bank_id = document.getElementById('bank-type').value
+
     const fileInput = document.getElementById('file-input');
     if (fileInput.files.length === 0) {
         alert('Please select a file to upload.');
         return;
     }
 
-    const params = { file: 'file-input' }; // The value of 'file' corresponds to the input element's ID
+    const params = { file: 'file-input', 'bank':  bank_id}; // The value of 'file' corresponds to the input element's ID
     apiSubmit('upload/' + iban, params, function (responseText, error) {
         if (error) {
             alert('File upload failed: ' + '(' + error + ')' + responseText);
 
         } else {
-            alert('File uploaded successfully!' + responseText);
-            window.location.href = '/' + iban;
-
+            if (confirm('File uploaded successfully!' + responseText + '\nKonto aufrufen?')) {
+                window.location.href = '/' + iban;
+            }
         }
     }, true);
 }

app/templates/iban.html

@@ -23,6 +23,7 @@ <h1>Kontoübersicht</h1>
             <li>
                 <input type="text" id="filter-range-start" placeholder="Start Date: d.m.Y" value="{{filters.startDate|ctime if filters.startDate}}">
                 <input type="text" id="filter-range-end" placeholder="End Date: d.m.Y" value="{{filters.endDate|ctime if filters.endDate}}">
+                <input type="text" id="filter-text" placeholder="RegEx Textfilter" value="{{filters.text}}">
                 <input type="text" id="filter-cat" list="cat-list" placeholder="Kategorie" value="{{filters.category}}">
                 <input type="text" id="filter-tag" list="tag-list" placeholder="Tag (, getrennt)" value="{{filters.tags}}">
                 <select id="filter-tag-mode">

app/templates/index.html

@@ -46,12 +46,17 @@
     <h2>Neue Transactionen</h2>
     <p>Importiere Kontoumsätze in folgendem Konto:</p>
     <p>
-        <input type="text" name="iban-input" id="iban-input" placeholder="DE XXXXXXXXXXXXX" list="iban-list">
+        <input type="text" name="iban-input" id="iban-input" placeholder="DE XXXXXXXXXXXXX" list="iban-list" 
+               oninput="this.value = this.value.replace(/\s+/g, '')">
         <datalist id="iban-list">
             {% for iban in ibans %}
             <option value="{{iban}}"></option>
             {% endfor %}
         </datalist>
+        <select id="bank-type">
+            <option>Comdirect</option>
+            <option>Commerzbank</option>
+        </select>
     </p>
     <p>
         <div id="file-drop-area">

app/templates/tx.html

@@ -32,7 +32,7 @@ <h1>Transaktionsdetails</h1>
             </tr>
             <tr>
                 <td>Datum (Wertstellnug)</td>
-                <td>{{tx.date_wert}}</td>
+                <td>{{tx.valuta}}</td>
             </tr>
             <tr>
                 <td>Datum (Transaktion)</td>

app/ui.py

@@ -19,6 +19,7 @@
 from handler.Tags import Tagger
 
 from reader.Generic import Reader as Generic
+from reader.Comdirect import Reader as Comdirect
 from reader.Commerzbank import Reader as Commerzbank
 
 
@@ -48,6 +49,7 @@ def __init__(self):
         self.readers = {
             'Generic': Generic,
             'Commerzbank': Commerzbank,
+            'Comdirect': Comdirect,
         }
 
         # Tagger
@@ -156,6 +158,17 @@ def filter_to_condition(self, get_args: dict) -> list:
             except (ValueError, TypeError) as e:
                 logging.warning(f"Invalid betrag format '{e}' will be ignored")
 
+        # Filter for Text Search
+        text_search = get_args.get('text')
+        if text_search is not None:
+            condition.append({
+                'key': 'text_tx',
+                'value': text_search,
+                'compare': 'regex'
+            })
+
+            frontend_filters['text'] = text_search
+
         return condition, frontend_filters
 
     def check_requested_iban(self, iban):

handler/BaseDb.py

@@ -91,8 +91,8 @@ def select(self, collection:str, condition: dict|list[dict]=None, multi: str='AN
             if isinstance(r.get('date_tx'), int):
                 r['date_tx'] = datetime.fromtimestamp(r['date_tx']).strftime('%d.%m.%Y')
 
-            if isinstance(r.get('date_wert'), int):
-                r['date_wert'] = datetime.fromtimestamp(r['date_wert']).strftime('%d.%m.%Y')
+            if isinstance(r.get('valuta'), int):
+                r['valuta'] = datetime.fromtimestamp(r['valuta']).strftime('%d.%m.%Y')
 
         return result_list