Differences

This shows you the differences between two versions of the page.

--- haushaltsdaten [2015/04/11 08:30] – created christian
+++ haushaltsdaten [2015/07/11 18:30] – [Buchungen] christian
@@ Line 1: / Line 1: @@
 ====== Struktur von Haushaltsdaten ======
-Die Haushaltsvisualisierung von Lübeck habe ich als Prototyp heruntergeschrieben. Dabei habe ich mich von der Struktur der Daten leiten lassen und die simpelste Art des Einlesens genommen. Zum Beispiel habe ich den Feldtrenner, ein Komma, direkt ins Programm geschrieben und Werte mit konkreten Strings verglichen.
+Die Haushaltsvisualisierung von Lübeck habe ich als Prototyp heruntergeschrieben. Dabei habe ich mich von der Struktur der Daten leiten lassen und die simpelste Art des Einlesens genommen die funktioniert hat. Zum Beispiel habe ich den Feldtrenner, ein Komma, direkt ins Programm geschrieben und Werte mit konkreten Strings verglichen.
-Nun habe ich auch Daten aus Glückstadt bekommen und nun muss das etwas allgemeiner formuliert werden. Und die Struktur muss klar beschrieben werden, damit auch andere Gemeinden ihre Daten anpassen können. Diese Beschreibung will ich im Folgenden versuchen. Am Ende will ich mir auch Gedanken machen, wie ein ideales Format aussehen und wie man da hin kommen kann.
+Nun habe ich auch Daten aus Glückstadt bekommen und nun muss das etwas allgemeiner formuliert werden. Und die Struktur muss klar beschrieben werden, damit auch andere Gemeinden ihre Daten anpassen können. Diese Beschreibung soll im Folgenden entstehen.
-Die Kodierung der CSV-Datei kann leider nicht in der Datei selbst vermerkt werden. Die Lübecker Daten sind mit ISO 8859-1 lesbar.
+===== CSV Format =====
-Die Basis ist eine Tabelle, in der Regel eine Exceltabelle. Da Excel sich als Austauschformat nicht eignet (man braucht Excel dafür), werden die Daten als CSV gespeichert, welches von vielen freien Programmen gelesen und geschrieben werden kann. Jede Zeile enthält Felder mit Strings oder Zahlen, die mit einem Separator getrennt werden. Der Separator kann Komma ",", Semikolon ";" oder ein Tab sein. Ein Feld kann mit Anführungszeichen >"< eingeschlossen sein, und muss wenn es den Separator enthält.
+Eine CSV-Datei enthält eine Tabelle mit Daten. Jede Zeile ist ein Datensatz, der eine feste Anzahl von Einträgen enhält, die durch ein Komma (oder ein [Tab] oder ein ;) getrennt sind.
+  Feld;2;Wert;3,50
+entspricht
+| Feld | 2 | Wert | 3,50 |
+Ein Eintrag ist ein String, der ggf. auch als Zahl interpretiert werden kann. Die erste Zeile der Tabelle enthält die Spaltenüberschriften. Jede Spalte ist von einem einheitlichen Typ: Text oder Zahl.
+  Name;Art;Text;Zahl
+  Feld;2;Wert;3,50
+entspricht
+^ Name ^ Art ^ Text ^ Zahl ^
+| Feld | 2 | Wert | 3,50 |
+==== Kodierung ====
+CSV-Dateien enthalten keine Metadaten, so dass z.B. die Kodierung nicht in der Datei selbst vermerkt werden kann. Da in Deutschland die Kodierung ISO 8859-15 üblich ist, wird dies vorausgesetzt. Die Lübecker und Glückstädter Daten sind mit der Kodierung lesbar.
+==== Feldtrenner ====
+Der Separator kann Komma ",", Semikolon ";" oder ein Tab sein. Ein Feld kann mit Anführungszeichen >"< eingeschlossen sein, und muss wenn es den Separator enthält.
+  Name;"Name1";"Name1;3";3,5
+entspricht
+| Name | Name1 | Name1;3 | 3,5 |
+===== Tabelle =====
+==== Spalten ====
 Die 19 Spalten der Tabelle teile ich in folgende Bereiche:
@@ Line 45: / Line 74: @@
         Mittelfristige Ergebnisplanung 2016
         Mittelfristige Ergebnisplanung 2017
+==== Ergebnisrechnung ====
 Die Ergebnisrechnung eines Produkts besteht aus Positionen mit einer Beschreibung, einer Ordnungsnummer (Gliederung 2) und einem Typkennzeichen (Gliederung 1). Eine Position besteht aus positiven oder negativen Buchungen auf bestimmte Konten. Der Wert einer Position ist die Summe der enthaltenen Buchungen. Es gibt auch Positionen ohne Buchungen, die zusammengefasste Werte anderer Positionen enthalten.
 Die Spalte "Ertrags- und Aufwandsarten - Gliederung 1" enthält die Kontenart der Buchungen als 2- oder 3-stellige Zahl. Da die Kontonummer aber immer mit dieser Zahl beginnen, kann die Spalte ignoriert werden. Das erleichtert die Verarbeitung, da eine Position Schwierigkeiten macht: Zeile 5 "privatrechtliche Leistungsentgelte" hat 3 Kontenarten zugeordnet: 441, 442 und 446. Lübeck schreibt das in einzelne Zeilen (die für 441 und 442 sind leer) und Glückstadt schreibt die Zahlen in eine Zeile "441, 442, 446". Beide Varianten sind unbefriedigend. Da die Spalte aber redundant ist, wird sie ignoriert.
+Die Gliederung der Ergebnis und Finanzrechnungen sind in [[http://www.schleswig-holstein.de/MIB/DE/KommunalesSport/KommunaleFinanzen/Gemeindehaushaltsreform/doppelteBuchfuehrung/Downloads/AAGemHVODoppik120830__blob=publicationFile.pdf|dieser Landesverordnung]] detailliert beschrieben.
+==== Leerzeilen ====
 Am Ende stehen die eigentlichen Zahlen: 2 Vorjahre, das aktuelle Jahr (beim Finanzplan noch die Ermächtigungen) und 3 Folgejahre. Alle Zeilen, die in allen Spalten keine Werte oder nur Nullen hat, wird ignoriert, da sie keine Bedeutung haben und sich die Struktur auf andere Weise ergibt.
+==== Negative Werte ====
+Bei Aufwänden oder Ausgaben gibt es 2 Möglichkeiten: man notiert eine positive Zahl als die Höhe des Aufwandes und weiss, dass diese Zahl bei Verrechnung mit anderen Beträgen negativ interpretiert werden muss. Oder, man schreibt solche Zahlen als negative Zahl, wodurch alle Berechnungen mit simplen Additionen durchgeführt werden können.
+Als Programmierer ist mir das letztere lieber, da einfacher, aber auch die andere Sichtweise, wie in den Daten von Glückstadt, ist genauso legitim. Auch solche Daten werden richtig eingelesen, aber nur durch eine konkrete Annahme: die Interpretation richtet sich nach der ersten Zahl bei einem Aufwand. Ist die Zahl negativ, wird "negativ" als Standard übernommen und umgekehrt. Ist diese erste Zahl eine Erstattung, werden die nachfolgenden Daten nicht richtig interpretiert. Da diese erste Zahl aber immer Personalaufwendungen für die interne Verwaltung enthält, kann diese Zahl niemals eine Erstattung sein :-).
+==== Buchungen ====
+{{:wiki:buchungen.png|Buchungen für Ergebnisposten}}
+Im gedruckten Haushalt wird jeder Posten der Ergebnisrechnung in einer Zeile dargestellt. Im Beispiel ist das für der Posten 11:Personalaufwendungen die erste Zeile der Posten. Diese Zeile ist die Summe der nachfolgenden Buchungen. Diese haben jeweils ein Konto (mit Nummer und Name) und die Zeitreihe. Die Buchungen sind der echte Mehrwert der maschienenlesbaren Daten: sie können viel detaillierter sein als eine gedruckte Version.
+Beim Einlesen der Daten werden nur die Daten mit Konto gespeichert. Die Summenzeilen werden aber genutzt, um die interne Konsistenz der Daten zu überprüfen. Beider Datensätze von Lübeck und Glückstadt sind sauber und geben keine Fehler:
+Zeilen (3207 Buchungen, 914 checks) in 14.084774 seconds
+Zeilen (823 Buchungen, 384 checks) in 835.174 milliseconds
+==== Thema ====
+(schreib was)