序列化
Spark是基于JVM运行的进行,其序列化必然遵守Java的序列化规则。
序列化就是指将一个对象转化为二进制的byte流(注意,不是bit流),然后以文件的方式进行保存或通过网络传输,等待被反序列化读取出来。序列化常被用于数据存取和通信过程中
spark dirver和executor间传递变量,默认需要进行序列化,才能传递。不序列话的成员,可以通过添加@transient
或lazy
标识。
在spark中4个地方用到了序列化:
- 算子中用到了driver定义的外部变量的时候
- 将自定义的类型作为RDD的泛型类型,所有的自定义类型对象都会进行序列化
- 使用可序列化的持久化策略的时候。比如:MEMORY_ONLY_SER,spark会将RDD中每个分区都序列化成一个大的字节数组。
- shuffle的时候
序列化的方法:
- 类继承scala.Serializable
- 使用case class修饰类,case class默认实现了序列化
transient 和 lazy
scala 中@transient 是 java 的 transient 关键字的作用,是需要实现 Serilizable 接口,@transient
是类型修饰符,只能用来修饰字段。在对象序列化过程中, 被 transient 标记的变量不会被序列化
transient使用小结
1)一旦变量被transient修饰,变量将不再是对象持久化的一部分,该变量内容在序列化后无法获得访问。(spark中反序列化后还可以访问吗?可以,但读到的是null。加上lazy才能访问到具体的值。)
2)transient关键字只能修饰变量,而不能修饰方法和类。注意,本地变量是不能被transient关键字修饰的。变量如果是用户自定义类变量,则该类需要实现Serializable接口。
3)被transient关键字修饰的变量不再能被序列化,一个静态变量不管是否被transient修饰,均不能被序列化。
@transient修饰符的lazy val的区别:
lazy val是一个懒加载的不可变值,在第一次访问时才会被计算并缓存起来,且只计算一次。而@transient修饰符则可以用来标记某些字段在序列化时忽略。
示例1:
class A(val a: Int)
def compute(rdd: RDD[Int]) = {
// lazy val instance = {
@transient lazy val instance = {
println("in lazy object")
new A(1)
}
val res = rdd.map(instance.a + _).count()
println(res)
}
compute(sc.makeRDD(1 to 100, 8))
如果在driver端不使用instance,那么@transient 不是必须的,序列化会发生,这时候序列化的instance 为null。
在executor处使用的时候,才真正创建instance。
如果在driver端先使用了instance,那么@transient 是必须的。
示例2
test("序列化") {
class A(a: String) extends Serializable {
@transient val name = a
lazy val nanme2 = a
val nanme3 = a
@transient lazy val name4 = a
}
val sc = SparkSession.builder().enableHiveSupport().master("local").appName("JoinTest").getOrCreate()
import sc.sqlContext.implicits._
val a = new A("张三")
val res = Seq("ddd").toDF("c1").map {
x =>
(a.name, a.nanme2, a.nanme3, a.name4)
}.toDF("a", "b", "c", "d").show()
}
+----+----+----+----+
| a| b| c| d|
+----+----+----+----+
|null|张三|张三|张三|
+----+----+----+----+
可以看到,不序列化的,在executor端读到的是null。文章来源:https://www.toymoban.com/news/detail-689693.html
参考
Spark 序列化和kryo序列化器详解
Scala的序列化,Serialization以及SerialVersionUID
Spark序列化
Java transient关键字使用小记
Scala 序列化带有或不带有@transient修饰符的lazy val的区别
Scala and the ‘@transient lazy val’ pattern
Difference when serializing a lazy val with or without @transient文章来源地址https://www.toymoban.com/news/detail-689693.html
到了这里,关于【spark】序列化和反序列化,transient关键字的使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!