У сучасному світі моди робота з великими наборами даних є досить поширеною, а pandas — популярна бібліотека на Python, яка надає потужні, прості у використанні інструменти обробки даних. Серед великого розмаїття форматів даних Parquet широко використовується завдяки своєму ефективному стовпчастому зберіганню та легкому синтаксису. Amazon S3 є популярним варіантом зберігання ваших файлів, і його інтеграція з pandas може значно покращити ваш робочий процес. У цій статті ми розглянемо, як читати файли Parquet з Amazon S3 за допомогою потужної бібліотеки pandas.
Щоб вирішити проблему читання файлів Parquet із S3, потрібно розуміти задіяні ключові компоненти та бібліотеки. Дві основні бібліотеки, які ми будемо використовувати, це pandas і s3fs. Pandas займатиметься обробкою даних, а s3fs забезпечить підключення до Amazon S3.
import pandas as pd import s3fs
Бібліотека панд
Панди це бібліотека з відкритим вихідним кодом, яка надає потужні інструменти обробки та аналізу даних у Python. Завдяки своїй гнучкості та здатності працювати з різними форматами даних, включаючи файли Parquet, він широко використовується спільнотою науковців про дані. За допомогою pandas ви можете легко завантажувати, аналізувати та маніпулювати даними, що дає змогу швидко досліджувати та розуміти закономірності та тенденції у ваших даних.
Бібліотека S3fs
S3fs це файлоподібний інтерфейс Python для легкого доступу до об’єктів Amazon S3. Він поєднує в собі функціональність Boto3 і FUSE (файлова система в просторі користувача), що робить неймовірно легкою роботу з об’єктами S3 так, ніби вони є локальними файлами. За допомогою s3fs ви можете читати та записувати файли з S3, створювати список та видаляти об’єкти та виконувати інші операції з файлами безпосередньо за допомогою Python.
Тепер, коли ви розумієте задіяні бібліотеки, давайте крок за кроком пояснимо читання файлів Parquet із S3 за допомогою pandas і s3fs.
- Встановити pandas і s3fs – По-перше, вам потрібно встановити бібліотеки pandas і s3fs через pip:
pip install pandas s3fs
- Імпорт бібліотек – Почніть з імпорту бібліотек pandas і s3fs:
import pandas as pd import s3fs
- Налаштувати конфігурацію – Налаштуйте свої облікові дані Amazon S3, передавши їх безпосередньо в s3fs або налаштувавши своє середовище за допомогою AWS_ACCESS_KEY_ID і AWS_SECRET_ACCESS_KEY:
fs = s3fs.S3FileSystem( key='your_aws_access_key_id', secret='your_aws_secret_access_key' )
- Прочитайте файл Parquet з S3 – Використовуйте pandas і s3fs для читання файлу Parquet:
file_path = 's3://your_bucket/path/to/your/parquet/file.parquet'
df = pd.read_parquet(file_path, storage_options={"s3": {"anon": False}})
Після виконання цих кроків ви повинні успішно прочитати файл Parquet із S3 і фрейм даних 'df' тепер містить ваші дані S3 у табличному форматі.
У цій статті ми побачили, як отримати доступ і прочитати файли Parquet з Amazon S3 за допомогою потужної бібліотеки pandas для обробки даних і s3fs для безперебійного підключення до S3. Ці інструменти можуть значно покращити робочі процеси обробки даних і дозволять вам зосередитися на отриманні інформації та розумінні останніх тенденцій у світі моди. Від вивчення різноманітних поєднань стилів до аналізу історії та еволюції тенденцій одягу, pandas дозволяє легко виявити приховані перлини у ваших даних.
