Freitag, 19. Oktober 2018

Historische Benzinpreisdaten jetzt als CSV-Dateien verfügbar


Historische Preisdaten der letzten Jahre als CSV-Dateien


Wir stellen die historischen Benzinpreisdaten der letzten Jahre schon seit langer Zeit als PostgreSQL-Datenbank-Dump zur Verfügung. Da der Umgang damit für manche nicht ganz einfach ist, generieren wir nun jede Nacht automatisch eine CSV-Datei mit allen Preisänderungen sämtlicher Tankstellen des letzten Tages. Diese Datei wird in ein git-Repository gepusht und kann von dort downgeloaded werden. Wer regelmäßige Auswerungen machen will, kann sich das git-Repository clonen und jeden Tag die neueste Datei per git pull holen. Vorsicht, das ausgepackte Repository ist etwa 20GB groß.

Das ganze ist noch in der Beta-Phase, es können also noch Ausfälle und auch Änderungen am Datenformat auftreten.

Fun Fact


GitHub und BitBucket erlauben nur eine maximale Repository-Größe von 1 GB bzw 2 GB. Die Preisdaten sind aber momentan etwa 20 GB groß, so daß wir uns anderweitig umschauen mussten.

Microsoft to the rescue


Microsoft Azure DevOps bietet kostenlos unbegrenzte Repositories, so daß wir die Daten dort hosten.

Vorgehen:


Clonen des Repositories:

git clone https://tankerkoenig@dev.azure.com/tankerkoenig/tankerkoenig-data/_git/tankerkoenig-data

Updates holen:

git pull

Automatisierung


Wenn der git pull täglich automatisiert durchgeführt wird, hat man immer einen aktuellen Stand und muss sich nicht weiter darum kümmern.

Feedback


Wir sind immer an Feedback interessiert. Falls Daten fehlen oder etwas unklar ist: einfach eine Mail an info@tankerkoenig.de schicken. Ebenso freuen wir uns über positives Feedback, wenn jemand die Daten nutzt. Wir linken gerne auf diese Projekte zurück.