出错过程如下:
通过Springboot + Mybatis-plus框架,通过实体类+ Mapper和配置SQL语句的方式读取数据后传递给Spark进行数据分析,一直没有出现问题。
后来需求的不断变化,特别是进行数据分析的时候。数据库的要分析的表字段不断变化,测试表与真实线上表结构也不一样,主要是在字段上。表名还可传参,但字段可就变化多了,后来觉得这种方式不如直接让Spark直接读取数据方便。
可是当采用sparkSession直接读取数据的时候,就出现问题了,执行语句如下:
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;
@Component
public class MySQLDataModel {
@Value("${mysql.url}")
private String mysqlUrl;
@Value("${mysql.user}")
private String mysqlUser;
@Value("${mysql.password}")
private String mysqlPassword;
public void loadDataFromMySQL() {
SparkSession spark = SparkSession
.builder()
.appName("MySQLDataLoader")
.config("spark.master", "local") // 本地测试时需要指定master
.getOrCreate();
// 读取MySQL数据
Dataset<Row> jdbcDF = spark.read()
.format("jdbc")
.option("url", mysqlUrl)
.option("dbtable", "your_table_name")
.option("user", mysqlUser)
.option("password", mysqlPassword)
.load();
// 显示数据集中的内容,一般调试时用。
//jdbcDF.show();
//算法代码
.......
// 关闭SparkSession
spark.close();
}
}
通过框架执行上术代码问题就来了,提示如下:
ERROR i.c.c.e.GlobalExceptionHandler - org.springframework.web.util.NestedServletException: Handler dispatch failed; nested exception is java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException
at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:1082)
at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:963)
at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:1006)
at org.springframework.web.servlet.FrameworkServlet.doGet(FrameworkServlet.java:898)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:655)
at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:883)
先解决这个错误吧:
org/codehaus/janino/InternalCompilerException
那么janino是什么呢?
官网如下:
Janino 概述
Jan 是一个开源的 编译器库,它的主要功能是在运行时动态地将 Java 源编译为 Java 字节码,并加载到 JVM 中执行。Janino 可以被用来动态生成和编译 Java 类、接口、枚举和注解,同时可以在运行时加载和执行这些动态生成的类。
Janino 主要用途包括但不限于以下几个方面:
动态代码生成:Janino 可以在运行时根据程序需要动态地生成 Java 类和方法,这在一些动态代理、模板引擎、动态代码解释执行等场景下非常有用。
运行时编译:Janino 可以将 Java 源代码在运行时动态地编译为 Java 字节码,然后加载到 JVM 中执行,这使得程序可以根据需要动态地扩展和修改代码逻辑。
表达式计算:Janino 支持在运行时编译和执行表达式,这对于动态计算表达式、动态规则引擎等应用有很大的帮助。
优化类加载:Janino 可以在某些情况下优化类加载过程,通过动态生成和编译类来提高程序的灵活性和性能。
Janino 的强大功能包括但不限于动态代码生成、运行时编译、表达式计算等,使得它在诸如动态代理、模板引擎、动态规则引擎、动态代码执行等领域有着广泛的应用。在如今的 Java 开发中,Janino 经常被用于需要动态生成和执行代码的场景,为开发者提供了更加灵活的编程手段。
后来在阅读spark2的源码的时候发现了 gencode的方法,发现内部是动态生成代码,然后 通过jannio 去生成class。
http://janino-compiler.github.io/janino/apidocs/
总得来说:Janino是一种Java编译器,它可以在运行时动态地将Java源代码编译成Java字节码,然后执行该字节码。Janino可以在不需要预先编译Java源代码的情况下,动态地生成和加载类,从而使得Java程序具有更强的灵活性和可扩展性。
Janino的主要特点还可表达如下:
动态编译:Janino可以在运行时动态地将Java源代码编译成Java字节码,从而避免了预先编译的步骤。
轻量级:Janino编译器非常轻量级,只有几百KB大小,可以很容易地集成到Java应用程序中。
易于使用:Janino提供了简单易用的API,可以很容易地将Java源代码编译成Java字节码,并且可以加载和执行该字节码。
支持动态类加载:Janino能够支持动态类加载,可以在运行时动态地加载编译后的类,并且可以随时卸载已加载的类。
Janino的使用方法如下:
创建Janino编译器:可以通过以下方式创建Janino编译器:
需要注意的是,Janino编译器支持动态编译Java源代码,但是在编译过程中会生成Java字节码,并将其保存到磁盘文件或内存中,因此也不是完全的动态。此外,Janino编译器不支持所有的Java特性,如内部类、枚举类型、注解等,在使用Janino编译器时需要进行测试和调试。
Spark 的job 运行 都是 执行spark-submit命令 执行 的。因此需要将自己 编写的代码 打成jar包 放在平台上运行。然而如果版本不兼容的话会出现上述错误:
<dependency>
<groupId>org.codehaus.janino</groupId>
<artifactId>janino</artifactId>
<version>3.1.16</version>
</dependency>
Spark2.4版本错误解决方案如下
就是变更了版本号,降版本就解决问题了。3.1.16 修改为 3.0.11
<dependency>
<groupId>org.codehaus.janino</groupId>
<artifactId>janino</artifactId>
<version>3.0.11</version>
</dependency>
Janino的其他一些介绍
Janino的使用场景
Janino的使用场景如下:
动态类加载和执行:Janino可以在运行时动态地加载和执行Java字节码,从而实现动态类加载和执行的功能,例如插件系统、动态脚本等。
运行时代码生成:Janino可以在运行时动态地生成Java源代码,并将其编译成Java字节码,并可随时卸载已加载的类,从而实现运行时代码生成的功能,例如动态SQL查询、动态查询条件等。
脚本语言支持:Janino可以支持一些脚本语言,例如Java脚本语言(JSR 223)、Groovy、JRuby等,从而提供灵活的脚本语言支持。
编译器插件:Janino可以作为编译器插件使用,为编译器提供动态编译和加载类的能力,例如Eclipse Java编译器插件就使用了Janino编译器。
需要注意的是,Janino并不是一个完整的编译器,它只是提供动态编译和加载Java类的功能,因此在实际应用中,需要根据具体的需求选择合适的Java编译器和类加载器。
————————————————
原文链接:https://blog.csdn.net/Soul_Programmer_Swh/article/details/131773058
当然还可能有以下错误:
:Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
at org.apache.spark.sql.SparkSession$Builder.config(SparkSession.scala:804)
at SparkPi$.main(SparkPi.scala:15)
at SparkPi.main(SparkPi.scala)
你遇到的错误是由于版本不匹配导致的。java.lang.NoSuchMethodError通常是因为编译时使用的Scala版本与运行时使用的版本不匹配导致的。
为了解决这个问题,可以尝试以下几种解决方案:
-
检查Scala版本:首先确保你的项目中使用的Scala版本是与Spark兼容的。你可以查看Spark官方文档或者Spark依赖库的要求来确认你的Scala版本是否匹配。
-
更新依赖库:如果你确定Scala版本匹配,那么可能是因为依赖库版本不兼容。尝试更新你的Spark和相关依赖库的版本,确保它们能够相互兼容。
-
排除冲突的依赖:如果你的项目中引入了多个版本的Scala或者相关库,可能会导致冲突。你可以尝试使用Maven或者Gradle等构建工具来排除冲突的依赖,确保只有兼容的版本被引入。
-
清理编译缓存:有时候编译的缓存可能会导致问题,你可以尝试清理项目的编译缓存,然后重新编译和运行项目。
希望这些解决方案能够帮助你解决这个问题。如果还有问题,继续搜索或者用智能回答模型吧。
补充一些内容
关于如何正确配置 Janino 以及解决类似问题的更多信息,还可以参考以下官方文档和链接:
-
Apache Spark 官方文档:https://spark.apache.org/documentation.html
在官方文档中,您可以找到有关 Spark 配置和依赖项的详细信息,以及与第三方库集成的指导。 -
Janino 官方文档:https://janino-compiler.github.io/janino/
Janino 的官方文档提供了关于该库的详细信息,包括版本兼容性、配置指南等。 -
Stack Overflow:https://stackoverflow.com/
Stack Overflow 是一个常用的开发者问答社区,您可以在这里搜索与 Spark、Janino 及相关错误信息相关的问题,并查看其他开发者的解决方案。 -
Apache Spark 官方邮件列表和论坛:https://spark.apache.org/community.html
Apache Spark 提供了邮件列表和论坛等社区支持平台,您可以在这里向更多专业人士咨询,寻求帮助。 -
应用这个的牛人Spark 代码线上维护 实现【janino】文章来源:https://www.toymoban.com/news/detail-802741.html
-
比JDK最高快170倍,高性能多语言序列化框架Fury中,用到的Janino编译器文章来源地址https://www.toymoban.com/news/detail-802741.html
到了这里,关于Spark2.X通过SparkSession读取JDBC数据时遇到Janino库的版本不兼容的错误 org/codehaus/janino/InternalCompilerException的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!