Katero različico Pythona uporablja spark?
Katero različico Pythona uporablja spark?

Video: Katero različico Pythona uporablja spark?

Video: Katero različico Pythona uporablja spark?
Video: How To Install Python, Setup Virtual Environment VENV, Set Default Python System Path & Install Git 2024, Maj
Anonim

Iskra deluje na Javi 8+, Python 2,7+/3,4+ in R 3,1+. Za Scala API, Iskra 2.3. 0 uporablja Scala 2.11. Boste morali uporaba združljivo Scalo različica (2.11.

Ali spark deluje s Pythonom 3?

Apache Iskra je računalniški okvir, ki je trenutno eden najbolj aktivno razvitih na področju odprtokodnih velikih podatkov. Od najnovejše različice 1.4 (junij 2015) Iskra podpira R in Python 3 (za dopolnitev predhodno razpoložljive podpore za Javo, Scalo in Python 2).

Poleg zgoraj navedenega, kako spremenim različico spark Pythona? V primeru, da samo želite spremeniti the različica python za trenutno opravilo lahko uporabite naslednji ukaz za zagon pyspark: PYSPARK_DRIVER_PYTHON=/home/user1/anaconda2/bin/ python PYSPARK_PYTHON=/usr/local/anaconda2/bin/ python pyspark --master..

Poleg tega, kakšna je najnovejša različica Spark?

Apache Spark

Izvirni avtor(i) Matej Zaharia
Začetna izdaja 26. maja 2014
Stabilna sprostitev 2.4.5 / 8. februar 2020
Repozitorij Spark Repository
Zapisano v Scala

Kaj je spark Python?

Ukrotiti velike podatke z Apache Iskra in Python Py4J je priljubljena knjižnica, integrirana v notranjost PySpark to omogoča python dinamično vmesnik z objekti JVM (RDD). Apache Iskra prihaja z interaktivno lupino za python tako kot za Scalo. Lupina za python je znan kot PySpark ”.

Priporočena: