Historische Preisdaten der letzten Jahre als CSV-Dateien
Wir stellen die historischen Benzinpreisdaten der letzten Jahre schon seit langer Zeit als PostgreSQL-Datenbank-Dump zur Verfügung. Da der Umgang damit für manche nicht ganz einfach ist, generieren wir nun jede Nacht automatisch eine CSV-Datei mit allen Preisänderungen sämtlicher Tankstellen des letzten Tages. Diese Datei wird in ein git-Repository gepusht und kann von dort downgeloaded werden. Wer regelmäßige Auswerungen machen will, kann sich das git-Repository clonen und jeden Tag die neueste Datei per git pull holen. Vorsicht, das ausgepackte Repository ist etwa 20GB groß.
Das ganze ist noch in der Beta-Phase, es können also noch Ausfälle und auch Änderungen am Datenformat auftreten.
Fun Fact
GitHub und BitBucket erlauben nur eine maximale Repository-Größe von 1 GB bzw 2 GB. Die Preisdaten sind aber momentan etwa 20 GB groß, so daß wir uns anderweitig umschauen mussten.
Microsoft to the rescue
Microsoft Azure DevOps bietet kostenlos unbegrenzte Repositories, so daß wir die Daten dort hosten.
Vorgehen:
Clonen des Repositories:
git clone https://tankerkoenig@dev.azure.com/tankerkoenig/tankerkoenig-data/_git/tankerkoenig-data
Updates holen:
git pull
Automatisierung
Wenn der git pull täglich automatisiert durchgeführt wird, hat man immer einen aktuellen Stand und muss sich nicht weiter darum kümmern.
Feedback
Wir sind immer an Feedback interessiert. Falls Daten fehlen oder etwas unklar ist: einfach eine Mail an
info@tankerkoenig.de schicken. Ebenso freuen wir uns über positives Feedback, wenn jemand die Daten nutzt. Wir linken gerne auf diese Projekte zurück.
