In der heutigen modegetriebenen Welt ist der Umgang mit großen Datensätzen weit verbreitet, und Pandas ist eine beliebte Bibliothek in Python, die leistungsstarke, einfach zu verwendende Datenbearbeitungswerkzeuge bietet. Unter den vielen unterschiedlichen Datenformaten wird Parquet wegen seiner effizienten spaltenweisen Speicherung und schlanken Syntax weithin verwendet. Amazon S3 ist eine beliebte Speicheroption für Ihre Dateien, und die Integration mit Pandas kann Ihren Arbeitsablauf erheblich verbessern. In diesem Artikel werden wir untersuchen, wie Parquet-Dateien von Amazon S3 mithilfe der leistungsstarken Pandas-Bibliothek gelesen werden.
Um das Problem des Lesens von Parquet-Dateien aus S3 zu lösen, müssen Sie die beteiligten Schlüsselkomponenten und Bibliotheken verstehen. Die beiden Hauptbibliotheken, die wir verwenden werden, sind pandas und s3fs. Pandas übernimmt die Verarbeitung der Daten, während s3fs die Konnektivität zu Amazon S3 bereitstellt.
import pandas as pd import s3fs
Pandas-Bibliothek
Pandas ist eine Open-Source-Bibliothek, die leistungsstarke Datenbearbeitungs- und Analysewerkzeuge in Python bereitstellt. Dank seiner Flexibilität und Fähigkeit, mit verschiedenen Datenformaten, einschließlich Parquet-Dateien, zu arbeiten, wird es von der Data-Science-Community häufig verwendet. Mit Pandas können Sie Daten einfach laden, analysieren und manipulieren, sodass Sie die Muster und Trends in Ihren Daten schnell untersuchen und verstehen können.
S3fs-Bibliothek
S3fs ist eine Python-Datei-ähnliche Schnittstelle für den nahtlosen Zugriff auf Amazon S3-Objekte. Es kombiniert die Funktionalität von Boto3 und FUSE (Filesystem in Userspace) und macht es unglaublich einfach, mit S3-Objekten zu arbeiten, als wären es lokale Dateien. Über s3fs können Sie Dateien aus S3 lesen und schreiben, Objekte auflisten und löschen und andere Dateioperationen direkt mit Python ausführen.
Nachdem Sie nun die beteiligten Bibliotheken verstanden haben, gehen wir die Schritt-für-Schritt-Erklärung zum Lesen von Parquet-Dateien aus S3 mit pandas und s3fs durch.
- Pandas und s3fs installieren – Zuerst müssen Sie sowohl pandas- als auch s3fs-Bibliotheken über pip installieren:
pip install pandas s3fs
- Bibliotheken importieren – Beginnen Sie mit dem Importieren von Pandas- und s3fs-Bibliotheken:
import pandas as pd import s3fs
- Konfiguration einrichten – Richten Sie Ihre Amazon S3-Anmeldeinformationen ein, indem Sie sie entweder direkt an s3fs übergeben oder Ihre Umgebung mit AWS_ACCESS_KEY_ID und AWS_SECRET_ACCESS_KEY konfigurieren:
fs = s3fs.S3FileSystem( key='your_aws_access_key_id', secret='your_aws_secret_access_key' )
- Parquet-Datei von S3 lesen – Verwenden Sie pandas und s3fs, um Ihre Parquet-Datei zu lesen:
file_path = 's3://your_bucket/path/to/your/parquet/file.parquet'
df = pd.read_parquet(file_path, storage_options={"s3": {"anon": False}})
Nachdem Sie diese Schritte ausgeführt haben, sollten Sie Ihre Parquet-Datei erfolgreich von S3 gelesen haben, und die Datenrahmen 'df' enthält jetzt Ihre S3-Daten in tabellarischer Form.
In diesem Artikel haben wir gesehen, wie Sie auf Parquet-Dateien von Amazon S3 zugreifen und diese lesen können, indem Sie die leistungsstarke Pandas-Bibliothek für die Datenmanipulation und s3fs für eine nahtlose S3-Konnektivität verwenden. Diese Tools können Ihre Datenverarbeitungsabläufe erheblich verbessern und es Ihnen ermöglichen, sich darauf zu konzentrieren, Erkenntnisse zu gewinnen und die neuesten Trends in der Modewelt zu verstehen. Von der Untersuchung verschiedener Stilkombinationen bis hin zur Analyse der Geschichte und Entwicklung von Kleidungstrends macht es Pandas einfach, die verborgenen Schätze in Ihren Daten aufzudecken.
