Kaj je oddajna iskra?
Kaj je oddajna iskra?

Video: Kaj je oddajna iskra?

Video: Kaj je oddajna iskra?
Video: Jovana Jeremić i džinovski jastuk! Boli je dupe od tucanja #balkan #srbija #hrvatska #shorts #bosna 2024, Maj
Anonim

Oddaja spremenljivke v Apache Iskra je mehanizem za skupno rabo spremenljivk med izvajalci, ki naj bi bili samo za branje. Brez oddaja spremenljivke bi bile te spremenljivke poslane vsakemu izvajalcu za vsako transformacijo in dejanje, kar lahko povzroči obremenitev omrežja.

Prav tako je treba vedeti, kdaj naj oddajem Spark?

Oddaja spremenljivke se večinoma uporabljajo, ko naloge v več fazah zahtevajo iste podatke ali ko je potrebno predpomnjenje podatkov v deserializirani obliki. Oddaja spremenljivke so ustvarjene s spremenljivko v s klicem SparkContext.

Lahko se tudi vprašamo, kako akumulator definira iskro? Akumulatorji so spremenljivke, ki se jim »dodajo« samo z asociativno operacijo in jih je zato mogoče učinkovito podpirati vzporedno. Uporabljajo se lahko za izvajanje števcev (kot v MapReduce) ali vsot. Iskra izvorno podpira akumulatorji številskih tipov, programerji pa lahko dodajo podporo za nove tipe.

Prav tako, kaj je skupna spremenljivka v sparku?

Skupne spremenljivke so spremenljivke ki jih zahteva vzporedna uporaba številnih funkcij in metod. Skupne spremenljivke se lahko uporablja v vzporednih operacijah. Iskra loči opravilo na najmanjšo možno operacijo, zaprtje, ki se izvaja na različnih vozliščih in ima vsako kopijo vseh spremenljivke od Iskra delo.

Ali lahko oddamo DataFrame?

Iskra lahko “ oddaja majhno DataFrame s pošiljanjem vseh podatkov v tem majhnem DataFrame na vsa vozlišča v gruči. Po malem DataFrame je oddaja , Iskra lahko izvede združitev brez premešanja katerega koli od podatkov v velikem DataFrame.

Priporočena: