Multiprocessing is een populaire techniek in Python-programmeren waarmee u meerdere processen tegelijkertijd kunt uitvoeren, wat vaak resulteert in prestatieverbeteringen en een efficiënter gebruik van systeembronnen. Dit artikel gaat dieper in op het gebruik van de multiverwerking bibliotheek in Python, specifiek gericht op de kaart functie. Met de kaartfunctie kunt u een functie toepassen op elk item in een iterabele, zoals een lijst, en een nieuwe lijst met de resultaten retourneren. Door gebruik te maken van multiprocessing kunnen we dit proces parallelliseren voor meer efficiëntie en schaalbaarheid.
In dit artikel zullen we het probleem onderzoeken waarvoor multiprocessing met kaartfunctie een uitstekende oplossing kan zijn, de relevante bibliotheken en functies bespreken, een stapsgewijze uitleg van de code geven en ons verdiepen in gerelateerde onderwerpen die voortbouwen op de ruggengraat van multiprocessing en de kaartfunctie.
Multiprocessing-kaart: het probleem en de oplossing
Het probleem dat we willen oplossen is het verbeteren van de prestaties en efficiëntie van het toepassen van een functie op elk item in een grote iterabele, zoals een lijst, tupel of een ander object dat iteratie ondersteunt. Wanneer u met dergelijke taken wordt geconfronteerd, kan het gebruik van de ingebouwde kaartfunctie of het begrijpen van lijsten behoorlijk traag en inefficiënt zijn.
De oplossing is om de multiprocessing-bibliotheek in Python te gebruiken, met name de Zwembad klasse en zijn kaart methode. Door gebruik te maken van de multiprocessing Pool.map()-functie, kunnen we de uitvoering van onze functie over meerdere processen verdelen.
Stapsgewijze uitleg van de code
Laten we de code opsplitsen en illustreren hoe u de multiprocessing-kaartfunctie effectief kunt gebruiken:
import multiprocessing
import time
def square(n):
time.sleep(0.5)
return n * n
# Create the list of numbers
numbers = list(range(10))
# Initialize the multiprocessing Pool
pool = multiprocessing.Pool()
# Use the map function with multiple processes
squared_numbers = pool.map(square, numbers)
print(squared_numbers)
- Importeer eerst de multiverwerking module, die de tools bevat die nodig zijn om parallelle verwerking in Python te gebruiken.
- Maak een functie met de naam vierkant dat gewoon een halve seconde slaapt en dan het kwadraat van zijn invoerargument retourneert. Deze functie simuleert een berekening die een redelijke hoeveelheid tijd in beslag neemt.
- Genereer een lijst genaamd nummers, die gehele getallen van 0 tot en met 9 bevat.
- Initialiseer een Zwembad object uit de multiprocessing-module. Het Pool-object dient als middel om de werkprocessen te beheren die u gaat gebruiken om uw taken te parallelliseren.
- Bel de kaart methode op het pool-object en geef de vierkant functie en de nummers lijst. De kaartmethode past vervolgens de kwadraatfunctie tegelijkertijd toe op elk item in de getallenlijst, waarbij gebruik wordt gemaakt van de beschikbare werkprocessen in de pool.
- Druk de resulterende lijst met kwadratische_getallen af, die de kwadratische waarden uit de getallenlijst moet bevatten.
Python-multiprocessingbibliotheek
De Python multiverwerking bibliotheek biedt een intuïtieve manier om parallellisme in uw programma te implementeren. Het maskeert een deel van de complexiteit die doorgaans gepaard gaat met parallel programmeren door abstracties op hoog niveau aan te bieden, zoals Zwembad. De Pool-klasse vereenvoudigt de verdeling van werk over meerdere processen, waardoor de gebruiker met minimale rompslomp de voordelen van parallelle verwerking kan ervaren.
Python Itertools-module en gerelateerde functies
Hoewel multiprocessing een uitstekende oplossing is voor veel parallelle taken, is het de moeite waard te vermelden dat Python ook andere bibliotheken en tools biedt die in soortgelijke behoeften voorzien. De itertools-module biedt bijvoorbeeld een schat aan functies die op iterables werken, vaak met verbeterde efficiëntie. Sommige itertools werken zoals imap() en imap_unordered() kan het proces van het toepassen van een functie op een iterabele parallelliseren. Het is echter belangrijk op te merken dat itertools zich primair richt op op iterator gebaseerde oplossingen, terwijl de multiprocessingbibliotheek een meer alomvattende benadering van parallellisme biedt en aanvullende tools en mogelijkheden biedt die verder gaan dan kaartachtige functies.
