In de wereld van vandaag zijn gegevensmanipulatie en -analyse essentieel om verschillende fenomenen te begrijpen en weloverwogen beslissingen te nemen. Een van de gebruikelijke taken bij gegevensanalyse is het opnieuw bemonsteren van tijdreeksgegevens, waarbij de frequentie van de gegevens wordt gewijzigd, ofwel door upsampling (de frequentie verhogen) of downsampling (de frequentie verlagen). In dit artikel bespreken we het proces van achterwaarts vullen tijdens het upsamplen van tijdreeksgegevens met behulp van de krachtige Python-bibliotheek, Pandas.
Achterwaarts invullen van tijdreeksgegevens
Wanneer we tijdreeksgegevens upsamplen, verhogen we de frequentie van de gegevenspunten, wat meestal resulteert in ontbrekende waarden voor de nieuw gemaakte gegevenspunten. Om deze ontbrekende waarden op te vullen, kunnen we verschillende methoden gebruiken. Een dergelijke methode wordt genoemd achterwaarts vullen, ook gekend als opvulling. Achterwaarts vullen is het proces van het vullen van de ontbrekende waarden met de volgende beschikbare waarde in de tijdreeks.
Panda's Bibliotheek
Python's Panda's bibliotheek is een essentieel hulpmiddel voor gegevensmanipulatie en biedt een breed scala aan functionaliteiten voor het omgaan met gegevensstructuren zoals DataFrames en tijdreeksgegevens. Pandas heeft ingebouwde functies die het gemakkelijk maken om met tijdreeksgegevens te werken, zoals resampling en het vullen van ontbrekende waarden, waardoor we efficiënt achterwaarts kunnen vullen na upsampling.
Oplossing: achterwaarts vullen met panda's
Laten we een eenvoudig voorbeeld bekijken om het proces te demonstreren van het toepassen van een achterwaartse vulling na upsampling van tijdreeksgegevens met behulp van Panda's. We beginnen met het importeren van de benodigde bibliotheken en het maken van een voorbeeld van een tijdreeksgegevensset.
import pandas as pd import numpy as np # Create a sample time series dataset date_rng = pd.date_range(start='2022-01-01', end='2022-01-10', freq='D') data = np.random.randint(0, 100, size=(len(date_rng), 1)) df = pd.DataFrame(date_rng, columns=['date']) df['value'] = data
Nu we onze voorbeeldgegevens hebben, gaan we verder met upsampling en het toepassen van de backward fill-methode. In dit voorbeeld gaan we upsamplen van dagelijkse frequentie naar een uurlijkse frequentie:
# Upsample the data to hourly frequency
df.set_index('date', inplace=True)
hourly_df = df.resample('H').asfreq()
# Apply the backward fill method to fill missing values
hourly_df.fillna(method='bfill', inplace=True)
In de bovenstaande code hebben we eerst de kolom 'datum' ingesteld als de index en vervolgens de gegevens opnieuw bemonsterd naar een frequentie per uur met behulp van de herbemonsteren() functie. Het resulterende DataFrame heeft ontbrekende waarden vanwege de verhoogde frequentie. We gebruikten toen de vulna() methode met de parameter 'bfill' om een achterwaartse vulling uit te voeren op de ontbrekende waarden.
Stapsgewijze uitleg
Laten we de code opsplitsen om het beter te begrijpen:
1. We hebben eerst de Panda's en NumPy-bibliotheken geïmporteerd:
import pandas as pd import numpy as np
2. We hebben een voorbeeld van een tijdreeksgegevensset gemaakt met behulp van de datumbereik() functie van Panda's om dagelijkse datums en willekeurige numerieke waarden te genereren:
date_rng = pd.date_range(start='2022-01-01', end='2022-01-10', freq='D') data = np.random.randint(0, 100, size=(len(date_rng), 1)) df = pd.DataFrame(date_rng, columns=['date']) df['value'] = data
3. Vervolgens stellen we de kolom 'datum' in als de index en herbemonsteren we de gegevens naar een frequentie per uur met herbemonsteren() en asfreq() functies:
df.set_index('date', inplace=True)
hourly_df = df.resample('H').asfreq()
4. Ten slotte hebben we de ontbrekende waarden in het upsampled DataFrame ingevuld met behulp van de vulna() methode met de parameter 'bfill' voor achterwaarts vullen:
hourly_df.fillna(method='bfill', inplace=True)
Conclusie
In dit artikel hebben we het proces van achterwaarts vullen na upsampling van tijdreeksgegevens met behulp van de krachtige Pandas-bibliotheek in Python. Door deze technieken te begrijpen en te implementeren, kunnen we tijdreeksgegevens efficiënt manipuleren en analyseren, waardevolle inzichten ontdekken en weloverwogen beslissingen nemen.
