rdd存放的数据不可以是java对象
1、当一个父 RDD 分区的数据分散到了多个子 RDD 的分区中时，这时会产生 Shuffle，即 宽依赖 之间会有 Shuffle。SortShuffleManager 有两种运行机制，一种是普通机制，另一种是 bypass 机制。
2、在Spark的Rdd中，Rdd是分区的。有时候需要重新设置Rdd的分区数量，比如Rdd的分区中，Rdd分区比较多，但是每个Rdd的数据量比较小，每个任务计算的数据比较小时，计算速度有可能会变慢，因为处理的数据量小。
3、RDD可以包含Python，Java，Scala中任意类型的对象，甚至可以包含用户自定义的对象。 用户可以使用两种方法创建RDD：读取一个外部数据集，或在驱动器程序中分发驱动器程序中的对象集合，比如list或者set。
spark程序里如果给rdd.map传递一个会返回null的函数,最后rdd里面是会少…
传递给RDD的函数，a)应该得到相同的结果。
job由stage构成，stage由task构成。 job：一个action就是一个job job-划分-stage：当遇到宽依赖，则划分一个stage。 stage-划分-task：task对等partition概念。
x.split(\t)会产生一个list，有些数据是异常异常，产生的list不一定会有三个元素，所以就会异常退出。
一块是专门来给RDD作cachepersist持久化的 StorageMemory，另一块是给spark算子函数运行使用的，存放函数中自己创建的对象。
javarddis集群获取不到key
存在对应的key却获取不到的原因有 可以如果是对象的话，记得查看对象hash方法是否满足自己业务，因为key是取对象hash值来进行存储的。
网络不稳定。ie浏览器网路不稳定，不能正常使用，工作，造成浏览器不能获取key中的信息，要重新连接网络，重新获取key中的信息。ternet Explorer是微软公司推出的一款网页浏览器。
Map接口提供keySet()方法，可以获取所有key到一个set集合，因为map中的key本身就是set集合，所以和set集合中的特性是一样的。
背景：最近公司APP要上线积分功能，需要按用户、业务场景、不同的累计周期、相关的业务信息等校验积分获取策略。为方便测试同学测试过程中直接列出redis集群中相关的统计指标key，进而查询相关信息，方便测试。
Java使用Pipeline对Redis批量读写（hmset&hgetall）一般情况下，Redis Client端发出一个请求后，通常会阻塞并等待Redis服务端处理，Redis服务端处理完后请求命令后会将结果通过响应报文返回给Client。
spark的rdd和java直接调用javardd有什么不同
中间结果能够以RDD的形式存放在内存中，且能够从DAG中恢复，大大减少了磁盘IO。
RDD是Resilient Distributed Dataset(弹性分布式数据集)的简称。RDD的弹性体现在计算方面，当Spark进行计算时，某一阶段出现数据丢失或者故障，可以通过RDD的血缘关系就行修复。RDD是不可变(immutable)的，一旦创建就不可改变。
Spark在调用RDD的行动操作的时候，会触发Spark中的连锁反应。当调用的行动操作的时候，Spark会尝试创建作为调用者的RDD。如果这个RDD是从文件中创建的，那么Spark会在worker节点上读取文件至内存中。
RDD API是函数式的，强调不变性，在大部分场景下倾向于创建新对象而不是修改老对象。这一特点虽然带来了干净整洁的API，却也使得Spark应用程序在运 行期倾向于创建大量临时对象，对GC造成压力。
Spark RDD的英文是Resilient Distributed Datasets，即弹性分布式数据集。通俗一点讲，Spark是做大数据处理的，RDD是其中极为重要的数据抽象，海量数据会被拆分为多个分片放在不同的集群节点上，RDD就是这些分布式数据的集合。
使用RDD接口，因为RDD不了解其中存储的数据的具体结构，数据的结构对它而言是黑盒，于是这就需要用户自己去写一个很特化的聚合的函数来完成这样的功能。
微信扫一扫 
支付宝扫一扫 
