Datenkomprimierung

Allgemein

Im Laufe der Jahre werden in Nevaris Finance eine Vielzahl von Daten gesammelt, die nach einigen Jahren nicht mehr auswertungs- und prüfungsrelevant sind. Bislang konnte nur ein Teil der Daten in einzelnen Aufrufen verdichtet oder gelöscht werden.

Ab Version 2024.1 steht im Rollencenter IT Management unter Aktionen in Komprimierung die neue Einrichtung Daten komprimieren zu Verfügung. Hier kann pro Mandant zu einem Stichtag das Komprimieren, und wo möglich auch Löschen, von Daten vorgenommen werden.

Um die Komprimierung auszuführen, sind alle Berechtigungen für die Tabelle zur Einrichtung der Komprimierung nötig.
Das ist die Tabelle 5003022 BAU Komprimierung Einr. Die Zugriffsrechte auf diese Tabelle sind in der Standardgruppe 110_Admin (und in der Gruppe Super) enthalten; andere Gruppen haben nur die Berechtigung zum Lesen.
Wenn keine Berechtigung zum Schreiben vorliegt, wird nichts ausgeführt.
Für die Finanzbuchhaltung und für die Personalbuchhaltung werden zusätzlich die Zugriffsrechte auf diejenigen Tabellen geprüft, die bestimmen, ob die Menüpunkte ihrer Rollencenter angezeigt werden. Das sind 5003900 Menu FIB und 5003909 Menu BLO. Es sind Einfüge Berechtigungen nötig.
Für das Komprimieren in der Finanzbuchhaltung werden, sofern die Verarbeitung gestartet werden durfte, vom Programm Berechtigungen für die Dauer der Komprimierung erteilt, damit diese als Ganzes ausgeführt wird. 
In den Unterbuchhaltungen werden Berechtigungen nicht vorübergehend erteilt, sondern geprüft.

Einrichtung Daten komprimieren

Bis Stichtag

Der Stichtag, bis zu dem Daten komprimiert werden sollen, wird vorgegeben.
Praktisch soll der letzte Tag eines Wirtschaftsjahres eingegeben werden. 
Dieses Datum wird geprüft. Es kann frühestens 5 Jahre vor dem aktuellen Jahr Tag sein; hierbei wird das Kalenderjahr geprüft, zum Beispiel wäre für das Jahr 2023 ein möglicher Stichtag der 31.12.2017. Wenn der Stichtag später liegt, wird nichts verarbeitet. 

Das Beginn Datum zum Stichtag wird automatisch ermittelt, zum Beispiel aus der ersten Buchungsperiode der Sachposten, die in Frage kommen.
Zwischen Beginn und Stichtag werden die einzelnen Jahre ermittelt und Jahr für Jahr verarbeitet.
Wenn kein Beginn ermittelt werden kann, dann wird ein Jahr verarbeitet.
In der Personalbuchhaltung wird das Kalenderjahr betrachtet, ansonsten das Wirtschaftsjahr.
In welchen Monat werden die neuen Belege mit den Summen, die komprimiert wurden, geschrieben? Sollte der Stichtag mitten im Wirtschaftsjahr liegen, dann in den Monat des Stichtags, in der Regel aber pro Jahr in den letzten Monat des Wirtschaftsjahres.
Also im Beispiel, wenn das Kalenderjahr auch das Wirtschaftsjahr ist, dann ergibt sich etwas wie 01.01.15..31.12.15 und 01.01.16..31.12.16 und 01.01.17..31.12.17. Über die drei Punkte des Assists bei der Eingabe des Stichtags werden die Perioden angezeigt, die sich für die Finanzbuchhaltung oder die Baubetriebsabrechnung ergeben.

Finanzbuchhaltung

Es kann entschieden werden, ob die Daten aus der Finanzbuchhaltung komprimiert werden sollen

Diese Funktion ist aktuell noch in Pilotkundenphase und steht noch nicht allgemein zur Verfügung!
Sachposten

Es werden die Sachposten jeweils für das Jahr betrachtet.
Sachposten, die selbst komprimieren (also die Herkunft der Komprimierung enthalten), werden nicht verarbeitet.
Sachposten mit einer Transaktionsnummer, für die es in den Debitorenposten oder Kreditorenposten offene Posten gibt, werden nicht verarbeitet. 
Ob für den Zeitraum bereits komprimiert wurde, wird nicht geprüft. Sollte es sich so ergeben, kann die Verarbeitung für einen Zeitraum also mehrmals ausgeführt werden.
Die Posten des Jahres werden gelöscht und zuvor in neue Posten aufsummiert, die in den letzten Monat des Zeitraums erstellt werden. Für Komprimierungen der Finanzbuchhaltung wird ein Fibu-Journal geschrieben.
Die Kontierung, die beibehalten wird, ist: Sachkonto, Statistisch, Konzernmandantencode und die Unterscheidung zwischen Sollbetrag und Habenbetrag.

Weitere Posten der Finanzbuchhaltung

Debitorenposten und Kreditorenposten werden in den letzten Monat des Zeitraums komprimiert, ähnlich wie Sachposten.
Komprimiert werden auch Bankposten und MwSt-Posten.
Posten, die das Ergebnis der Komprimierung sind, werden nicht verarbeitet.
Zur Transaktion der Komprimierung wird jeweils ein Sachposten mit Betrag 0 geschrieben, um die Nummer der Transaktion festzuschreiben.
Die Kontierung, die beibehalten wird, ist: Personenkonto, Statistisch, Währung,  und die Unterscheidung zwischen Sollbetrag und Habenbetrag.

Offene Posten

Offene Posten werden nicht komprimiert. Als offene Posten gelten:
Debitorenposten und Kreditorenposten, die, wie in ihrer Übersicht angezeigt, "offen" sind.
Posten, die laut der OP-Referenz einen Bezug auf einen Posten haben, in dessen Transaktion noch Posten offen sind.
Zum Beispiel ist eine Zahlung, die eine Rechnung nicht ganz ausgeglichen hat, noch offen, wenn die Rechnung nicht sonst ausgeglichen wurde.
Posten, die laut der OP-Referenz einen Bezug auf einen Posten haben, dessen Buchungsdatum nach dem Stichtag liegt, bis zu dem aktuell komprimiert wird.
Eine Rechnung mit Einbehalt ist, selbst wenn gezahlt, noch offen, sofern der Einbehalt noch offen ist.
Ferner gelten Posten als noch offen, die aus einem Anzahlungsvorgang resultieren, der noch nicht auf "Erledigt" gesetzt wurde.

Datensätze in der Finanzbuchhaltung werden gelöscht, wenn folgende Bedingungen erfüllt sind:

  • OP-Referenzen (die Bezüge zwischen Posten der Personenkonten, etwa zwischen Rechnungen und Zahlungen) werden für ausgewählte Monate gelöscht, sofern es die beiden mit der Referenz verbundenen Posten nicht mehr gibt.
  • Belege des Rechnungseingangsbuchs werden gelöscht, sofern sie gebucht sind (das ist das Feld "Gebucht") und ihr Buchungsdatum in den Zeitraum fällt. Ebenso die Historie zum Rechnungseingangsbuch.
  • Zum Rechnungsausgangsbuch werden die Historien der gebuchten Rechnungen und gebuchten Gutschriften per Stichtag gelöscht.
  • Zahlungsvorschläge mit Zahldatum im Zeitraum, sofern alle Positionen auf dem Datenträger erstellt wurden.
  • Kontoauszüge mit Auszugsdatum im Zeitraum, sofern sie gebucht sind. Ebenso die Historie dazu.
  • Belege in der Anzahlungsbuchhaltung, die auf "Erledigt" gesetzt wurden und nur Posten mit Buchungsdatum bis zum Stichtag haben, werden gelöscht.

Ergebnisse von Abfragen in der Finanzbuchhaltung

Daten, die bei der Finanzverwaltung abgefragt wurden, also zu UID (Umsatzsteuer-Identifikationsnummern), FSB (Freistellungsbescheinigungen), HFU (haftungsfreistellenden Unternehmen), in Deutschland und Österreich, werden im Zeitraum nach dem Datum der Abfrage gelöscht. 
Diese Abfragen gehen zumeist auf eine Adressnummer. Deshalb gilt: wenn die Adresse der Abfrage im aktuellen Mandanten benutzt wird, dann werden ihre Daten im aktuellen Mandanten im Zeitraum gelöscht.
Das sind die Tabellen: HFU-Abfragen Historie, UID Abfrage, FSB Abfragen, FSB Abfragen Historie, Bauabzugssteuer Verwaltung Pos.
Siehe unter Buchhaltung, Tägliche, Abfrage und Stammdaten, Adressen, Vorbereiten, Bauabzugssteuer. 

Anlagenverwaltung
Diese Funktion ist aktuell noch in Pilotkundenphase und steht noch nicht allgemein zur Verfügung!

Die Kontierung, die für die Posten der Anlagenverwaltung beibehalten wird, ist: Anlagennr., AfA Buch, Buchungskategorie (zum Beispiel "Verkauf"), Buchungsart (zum Beispiel "Normal-AfA"), Anlagenbuchungsgruppe, Belegart (zum Beispiel "Rechnung"). Die Komprimierung geht nach Anlagedatum. Das ist die Tabelle Anlagenposten.
Per Stichtag gelöscht werden kalkulatorische Zinsposten (Anbu kalk. Zinsposten).

Controlling

Die KSt-Istwerte der Baubetriebsabrechnung werden in den letzten Monat des Zeitraums komprimiert.
Die Verarbeitung gilt für den aktuellen Mandanten.
Die Kontierung für die komprimierten KSt-Istwerte ist Kostenstelle, Kostenart, Kostenträger, Kreditor, BAS, Gerät, Projekt, Mandant des Wertbezugs, Einheit der Menge und die Unterscheidung zwischen vorläufigem Betrag und Ist-Betrag. 
Ähnlich werden die KSt-Planwerte komprimiert; hier wird zusätzlich die Planversion berücksichtigt.
Die OP-Sachpostenreferenzen, das sind Zahlungen auf Kostenstellen, werden in den letzten Monat des Zeitraums komprimiert. Die Kontierung, die beibehalten wird, ist: Kostenstelle, Kostenart, Vorgangsnummer. und die Trennung in debitorisch, kreditorisch.
Außerdem werden Ausgaben zum BBA Bericht bis zum Stichtag aus den Tabellen BBA Bericht Ausgabe und BBA Bericht Ausgabezeile gelöscht.

Geräteabrechnung

Die Geräteergebnisse der Geräteabrechnung werden in den letzten Monat des Zeitraums komprimiert.
Die Verarbeitung gilt für den aktuellen Mandanten und nur für Leistungsbuchungen.
Die Kontierung, die in der Tabelle Geräteergebnis beibehalten wird, ist: Gerät, Zusatzkennung, Kostenstelle, Einsatzart, Buchungsart, Intern oder Extern, die Einheit (Stunden, Tage, km) und die Art der Leistungsbuchung. Die Gerätemenge wird beim Komprimieren auf 1 gesetzt; dafür werden die Menge (Stunden, Tage, km) mit der ursprünglichen Gerätemenge multipliziert.
In anderen Tabellen der Geräteabrechnung wird nicht komprimiert oder gelöscht.

Materialwirtschaft

Im Einkauf und im Verkauf werden die Historien der gebuchten Lieferungen, wenn sie fakturiert sind, und der Anfragen, Rahmenbestellungen und Bestellungen zum Stichtag gelöscht. Das sind die Tabellen Einkaufslieferkopf T120, Verkaufslieferkopf T110 und Einkaufskopf Historie und jeweils ihre Positionen.
Die gebuchten Belege der Materialabrechnung im Zeitraum, das sind Lieferscheine, Werkstattberichte und Aufträge, werden gelöscht. Belege mit Vorhaltegeräten in Positionen und Belege mit Stand in Planung oder in Arbeit werden nicht gelöscht. Das betrifft die Tabellen Materialbuchungskopf und Materialbuchungszeilen.
Die Rechnungsvorschläge zu Aufträgen, die es im Zeitraum gibt, werden gelöscht.

Personalbuchhaltung

Die Daten zur Abrechnung des deutschen Baulohns, die für die Übergabe an die Finanzbuchhaltung und an die Kostenrechnung aufbereitet worden waren, werden im Zeitraum gelöscht und zuvor in den letzten Monat komprimiert. Das ist die Tabelle Lohnkonto Kostenstelle.
Beibehalten wird die Kontierung für Mandant der Kostenstelle, Kostenstelle, Lohnart, Mandant der Kostenträgers, Kostenträger, Einheit (zur Menge), Niederlassung, einige Steuerungen zur Kontierung und die Unterscheidung zwischen Soll und Haben. Das bedeutet: die Personalnummer fällt weg, eine Auswertung nach Kostenstelle und Lohnart, zum Beispiel in der Lohnverteilung oder im Kostennachweis bei den Personallisten, ist aber weiter möglich.
In der Tabelle, in der die Daten für die Zahlungen vorbereitet wurden, werden die Daten im Zeitraum gelöscht. Das ist die Tabelle Zahlungen Baulohn Posten. Ferner werden in Hilfstabellen Daten gelöscht.
In den Tabellen, die unmittelbar zur Abrechnung gehören, werden keine Daten gelöscht.

Siehe auch BLO Reorganisation/Datenkomprimierung

Dokumentenverwaltung

Die Daten in den beiden internen Protokolltabellen, Bereichsprotokoll Jobr und DocuWare Status, werden ohne Stichtag für den Mandanten gelöscht. 
Daten zur Verschlagwortung werden mit Stichtag für den Mandanten gelöscht. Das sind die Tabellen Verschlagwortung Archivierung, Mehrfachverschlagwortung, Verschlagw Archiv Baulohn. Dabei werden die Einträge nach Belegdatum, im Baulohn nach Abrechnungsmonat, geprüft; sollte dieses Datum nicht gefüllt sein, dann nach Neuanlagedatum.
Das betrifft beide Arten von Dokumenten: diejenigen, deren Dokument-ID in einem Beleg eingetragen wurde, wobei sich die Informationen dazu durch das Zusammenstellen in der Dokumentenverwaltung ergaben, und diejenigen, die überhaupt erst durch einen Druck erstellt wurden, wobei durch den Druck das Dokument mitsamt den Informationen dazu erstellt wurde.
Wenn danach in der Dokumentenverwaltung das "Zusammenstellen" ausgeführt wird, kann dort eine Information angezeigt werden, mit welchem Datum bisher reorganisiert, das heißt: gelöscht, wurde, wenn bereits reorganisiert wurde.
Daten, die den Status zum JobRouter gemerkt hatten, werden mit Stichtag für den Mandanten gelöscht. Siehe dazu die Auswertung "Status anzeigen" zum JobRouter und dort die Spalten Datum und Mandant.

Protokollierung

Die Daten der Tabellen zur Protokollierung, die festhielten, was in Datensätzen geändert wurde, werden im Zeitraum gelöscht. 
Das sind die Tabellen: Change Log Entry, Protokollierung Export, Änderungsprotokollierung.
Für die Dauer der Reorganisation wird die Einrichtung der Protokollierung (Change Log Setup) ausgeschaltet.

Posten ablegen

Einige Posten, die komprimiert und danach gelöscht werden, können "abgelegt" werden. Das bedeutet, sie werden zwar nicht als einzelne Datensätze gespeichert, aber in einem Block, aus dem heraus sie später als Excel-Datei ausgegeben werden können. Benutzt wird dafür die App "Data Archive" von Business Central.
Wenn diese Auswahl getroffen ist, kann nach dem Komprimieren die Anzeige der Ablage aufgerufen werden. Dort sind Einträge für diejenigen Tabellen, deren Datensätze auf diese Weise gemerkt wurden.
Ein Eintrag der Ablage enthält bis zu 10.000 Datensätze.
Dies wird ausgeführt für: Sachposten, Debitorenposten, Kreditorenposten, OP-Referenz, Bankposten, MwSt-Posten, Anlagenposten, Anzahlungsvorgänge und KSt-Istwerte, KSt-Planwerte, OP-Sachpostenreferenz, Geräteergebnisse, Lohnkonto Kostenstelle.

Für die Ablage sind besondere Zugriffsrechte nötig. Siehe dazu: IT-Management, Benutzerverwaltung, Zugriffsrechte, Vorbereiten, Systemgruppen und hier "Data Archive - View". Diese Gruppe beim Benutzer, der das Komprimieren ausführt (und kein Benutzer mit Super-Rechten ist), unter den Benutzerzugriffsrechtsätzen eintragen, dabei in der Übersicht auf den Zugriffsrechtsatz zunächst die Auswahl "Alle anzeigen" treffen, um diese Gruppe auswählen zu können.

Datenkomprimierungsjournal

Tabellen, deren Daten komprimiert oder gelöscht werden, sind im Datumskomprimierungsjournal aufgeführt.

Posten, die bei der Komprimierung erstellt werden, erhalten einen Herkunftscode; dieser beginnt, in allen Sprachen, mit "KOMPR".
Im Controlling, in der Geräteabrechnung und der Personalbuchhaltung wird das Kürzel #$9# benutzt.

Folgendes Fehlerverhalten wurde implementiert:

  • Wenn der Stichtag zu spät liegt, wird nicht verarbeitet; ohne Fehlermeldung.
  • Wenn keine Daten im Zeitraum sind, wird nicht verarbeitet; ohne Fehlermeldung.
  • Erfüllt ein Posten im Zeitraum die Bedingungen nicht, dann wird die Verarbeitung mit dem nächsten Posten fortgeführt.
  • Sollte ein Datensatz, der komprimiert wurde, nicht gelöscht werden können, dann wird der Fehler ausgegeben: "Komprimieren konnte nicht ausgeführt werden. Ein Datensatz wurde nicht gelöscht", mit Angabe der Tabelle, und die Verarbeitung wird beendet.