大家好，今天小编关注到一个比较有意思的话题，就是关于python怎么学习spark的问题，于是小编就整理了2个相关介绍python怎么学习spark的解答，让我们一起看看吧。
pyspark安装方式有哪几种在线安装？
学习spark接近1年，从事spark的工作1个多月了。建议多练习，建议用scala，除非熟悉python，我用的是pyspark，环境上坑挺多的，比方说经常需要用到jar包，scala和java可以直接import，python不行。
部署j***a用m***en打包 ，scala用***t打包 ，，python你还要单独在集群上安装依赖。建议搭个集群模或者github上找些docker compose直接安装集群。
presto和spark的区别？
很难说Presto肯定比Spark sql更快或更慢，取决于您正在执行的查询类型，环境和引擎调整参数。关于presto和spark sql对比的文章很少，主要原因是Presto没有那么主流，但已用了presto，那就有必要对比分析一下。
相同点
presto和spark sql都是MPP(massively parallel processing)架构（Presto/Impala/SparkSQL/Drill等），有很好的数据量和灵活性支持，都是基于内存(spark基于内存和磁盘)，但是对响应时间是没有保证的。当数据量和计算复杂度增加后，响应时间会变慢，从秒级到分钟级，甚至小时级都有可能。
不同点
重点不同：presto强调查询，spark sql强调计算
架构不同：Presto架构相当简单，有一个协调器，可以执行SQL解析、计划、调度，和一组执行物理***的工作节点；Spark核心之间有更多层，框架更复杂，RDD的弹性构建，为作业进行***管理和协商等等
内存存储：两者都是内存计算，当内存不够时，presto直接OOM，spark会落地磁盘
***申请：presto预先申请好CPU和内存，coordinator和worker一直运行；spark任务实时申请***，需要多少***申请多少
数据处理模型：Presto使用的是MPP（Massively Parallel Processing）模型，可以将一个查询分解成多个任务并行处理，以提高查询速度。而Spark使用的是D***（Directed Acyclic Graph）模型，将任务组织成有向无环图，以便进行高效的任务调度和执行。
内存管理：Presto使用的是内存管理模型，将数据存储在内存中，以提高查询速度，但对内存的使用有一定的限制。而Spark使用的是RDD（Resilient Distributed Datasets）模型，将数据分布在多个节点上进行处理，避免了内存的限制。
数据源支持：Presto支持多种数据源，包括HDFS、Hive、MySQL、PostgreSQL等，可以进行跨平台查询和联合查询。而Spark也支持多种数据源，但对于一些数据源的支持需要额外的插件或者驱动程序。
执行引擎：Presto使用的是自带的执行引擎，可以进行优化和调整以适应不同的场景。而Spark使用的是基于JVM的执行引擎，可以通过Spark SQL进行查询优化和调整。
社区和生态环境：Presto和Spark都有活跃的开源社区和生态环境，提供了丰富的插件和工具以及支持和帮助，使得它们都可以适用于不同的场景和需求。
综上所述，Presto和Spark都是强大的大数据处理框架，具有各自的优势和适用场景。在选择时需要根据具体的需求和数据特点进行考虑和比较，以选择最合适的框架。
到此，以上就是小编对于python怎么学习spark的问题就介绍到这了，希望介绍关于python怎么学习spark的2点解答对大家有用。
