Dans le monde d'aujourd'hui, axé sur la mode, le traitement de grands ensembles de données est assez courant, et pandas est une bibliothèque populaire en Python qui fournit des outils de manipulation de données puissants et faciles à utiliser. Parmi la grande variété de formats de données, Parquet est largement utilisé pour son stockage efficace en colonnes et sa syntaxe légère. Amazon S3 est une option de stockage populaire pour vos fichiers, et son intégration avec pandas peut considérablement améliorer votre flux de travail. Dans cet article, nous allons explorer comment lire les fichiers Parquet d'Amazon S3 à l'aide de la puissante bibliothèque pandas.
Pour résoudre le problème de lecture des fichiers Parquet à partir de S3, vous devez comprendre les composants clés et les bibliothèques impliquées. Les deux bibliothèques principales que nous utiliserons sont pandas et s3fs. Pandas gérera le traitement des données, tandis que s3fs fournira la connectivité à Amazon S3.
import pandas as pd import s3fs
Bibliothèque des pandas
Pandas est une bibliothèque open source qui fournit de puissants outils de manipulation et d'analyse de données en Python. Il est largement utilisé par la communauté scientifique des données, grâce à sa flexibilité et sa capacité à travailler avec différents formats de données, y compris les fichiers Parquet. Avec pandas, vous pouvez facilement charger, analyser et manipuler des données, ce qui vous permet d'explorer et de comprendre rapidement les modèles et les tendances de vos données.
Bibliothèque S3fs
S3fs est une interface de type fichier Python pour accéder de manière transparente aux objets Amazon S3. Il combine les fonctionnalités de Boto3 et FUSE (système de fichiers dans l'espace utilisateur), ce qui facilite incroyablement le travail avec des objets S3 comme s'il s'agissait de fichiers locaux. Grâce à s3fs, vous pouvez lire et écrire des fichiers à partir de S3, répertorier et supprimer des objets et effectuer d'autres opérations sur les fichiers directement avec Python.
Maintenant que vous comprenez les bibliothèques impliquées, passons à l'explication étape par étape de la lecture des fichiers Parquet à partir de S3 à l'aide de pandas et de s3fs.
- Installer pandas et s3fs – Tout d'abord, vous devez installer les bibliothèques pandas et s3fs via pip :
pip install pandas s3fs
- Importer des bibliothèques – Commencez par importer les bibliothèques pandas et s3fs :
import pandas as pd import s3fs
- Configurer la configuration – Configurez vos informations d'identification Amazon S3 en les transmettant directement à s3fs ou en configurant votre environnement avec AWS_ACCESS_KEY_ID et AWS_SECRET_ACCESS_KEY :
fs = s3fs.S3FileSystem( key='your_aws_access_key_id', secret='your_aws_secret_access_key' )
- Lire le fichier Parquet à partir de S3 – Utilisez pandas et s3fs pour lire votre fichier Parquet :
file_path = 's3://your_bucket/path/to/your/parquet/file.parquet'
df = pd.read_parquet(file_path, storage_options={"s3": {"anon": False}})
Après avoir exécuté ces étapes, vous devriez avoir lu avec succès votre fichier Parquet à partir de S3, et le trame de données 'df' contient désormais vos données S3 sous forme de tableau.
Dans cet article, nous avons vu comment accéder et lire les fichiers Parquet d'Amazon S3 à l'aide de la puissante bibliothèque pandas pour la manipulation des données et s3fs pour une connectivité S3 transparente. Ces outils peuvent grandement améliorer vos workflows de traitement de données et vous permettre de vous concentrer sur l'extraction d'informations et la compréhension des dernières tendances dans le monde de la mode. De l'exploration de diverses combinaisons de styles à l'analyse de l'histoire et de l'évolution des tendances vestimentaires, pandas simplifie la découverte des joyaux cachés dans vos données.
