ArcGis系列-java调用GP分析

这篇具有很好参考价值的文章主要介绍了ArcGis系列-java调用GP分析。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1,实现流程

  1. 创建GPServer,使用ArcgisPro添加GP工具运行,然后使用共享web服务发布运行成功的GP任务
  2. 根据发布成功的GPServer发布地址,解析出GP服务的输入参数和输出参数
  3. 前端输入gp服务需要的参数,发送给后端来异步提交
  4. 后端提交后创建轮询任务等待执行结果
  5. 收到执行结果后解析,根据输出结果类型(表格、矢量、栅格)分别处理和保存
  6. 后端将需要添加样式的矢量或栅格数据重新发布为MapServer
  7. 前端展示表格数据,渲染带样式的GP结果的MapServer

2,GPServer的发布

发布gp工具,使用arcgis pro登录要发布服务的门户
ArcGis系列-java调用GP分析
在gispro中点击share——share web tool,然后选择刚刚成果运行的分析记录,点击ok
ArcGis系列-java调用GP分析
发布gp分析服务
ArcGis系列-java调用GP分析

2,解析GP服务

上一步发布成功的话,使用rest服务在web页面上应该能找到刚发布的服务,地址类似这样https://aaa.server.com:6443/arcgis/rest/services
ArcGis系列-java调用GP分析
ArcGis系列-java调用GP分析
前端使用该gp的url就能解析出输入参数和输出参数,并确定每个参数的类型;

  • GPRasterDataLayer栅格数据
  • GPFeatureRecordSetLayer矢量图层(属性和坐标信息)
  • GPRecordSet 属性表格

如果输入参数类型是矢量应该支持geojson、shp、数据库的空间表
如果输出参数是矢量和栅格,可以在提交GP分析时一并把渲染样式一起提交到后端
一个gp分析可能会返回多个output,每个output都可能是矢量和栅格,也就是都可以作为图层支持添加样式
一般前后端访问rest接口都只需要解析json数据,不需要html内容,所以请求url都追加 “?f=json”

3,提交GP分析

考虑某些GP分析可能很耗时,如果分析数据巨大可能一天,需要注意两点:
1,矢量数据尽量不要使用geojson或具体文件,而是使用已经发布到arcgis的发布url,可以参考空间表发布到arcgis
2,提交请求使用post异步提交,轮询执行结果(需要考虑终止轮询)

因为链路太长,周期长,所以建议每一步都保存执行进度,提交GP分析的代码示例如下:

	  /**
     * 提交GP分析
     *
     * @param param
     */
    public void submitJob(GpParam param) {
        //重新执行时清理正在运行的轮询
        cleanOldGP(param.getGpId());
        param.setStatus(1);
        param.setBeginTime(LocalDateTime.now());
        mongoTemplate.insert(param, "app_gp_param");
        //后续操作后台运行taskExecutor
        CompletableFuture.runAsync(() -> submitJobAsync(param), taskExecutor);
    }
	
	/**
     * 异步处理gp任务
     *
     * @param param
     */
	@Async("taskExecutor")
    public void submitJobAsync(GpParam param) {
        String gpId = param.getGpId();
        Map<String, Object> paramMap = new HashMap<>();
        //指定返回格式为json
        paramMap.put("f", "json");
        //指定输出坐标系
        paramMap.put("env:outSR", "4490");
        log.info("开始解析gp参数{}", gpId);
        for (String key : param.getGpParams().keySet()) {
            //区分是数据库空间表还是基本数据类型,数据库空间表这里我用@符号分割了数据库id和表名
            String val = param.getGpParams().get(key) + "";
            if (val.indexOf("@") > 0) {
                //替换为数据库的发布地址作为数据源
                String[] tableInfo = val.split("@");
                TableInfoDO tableInfoDO = mongoTemplate.findOne(
                        new Query(Criteria.where("dbId").is(tableInfo[0])
                                .and("name").is(tableInfo[1])), TableInfoDO.class);
                if (tableInfoDO == null) {
                    log.error("空间表不存在,{}", val);
                    updateStatus(gpId, 3, "空间表不存在," + val);
                    return;
                }
                String a = "";
                if (StrUtil.isEmpty(tableInfoDO.getGpUrl())) {
                    log.warn("数据库表未发布arcgis:{}", val);
                    Update update = new Update();
                    update.set("startTime", LocalDateTime.now());
                    //单表发布到arcgis的代码参考我ArcGis系列下的另一篇文章
                    。。。。。。。
                    a = tablePubUrl;
                    if (a.contains("error")) {
                        log.error("空间表发布到arcgis失败,url:{},失败信息:{}", tablePubUrl, a);
                        updateStatus(gpId, 3, "空间表发布到arcgis失败," + tablePubUrl);
                        return;
                    }
                    //更新表发布地址
                    update.set("gpUrl", tablePubUrl);
                    update.set("endTime", LocalDateTime.now());
                    mongoTemplate.updateFirst(new Query(Criteria.where("_id").is(tableInfoDO.getId())), update, "db_database_table");
                } else {
                    a = tableInfoDO.getGpUrl();
                }
                //以url形式提交gp参数 http://aaa.server.com/server/rest/services/Hosted/CONTOUR1/FeatureServer/0
                JSONObject object = new JSONObject();
                object.put("url", a);
                paramMap.put(key, JSONObject.toJSONString(object));
            } else {
                paramMap.put(key, val);
            }
        }
        String url = param.getGpUrl() + "/submitJob?f=json";
        log.info("提交分析url:{},参数:{}", url, paramMap.toString());
        String groupStr = HttpRequest.post(url)
                .form(paramMap)
                .contentType("application/x-www-form-urlencoded").timeout(60000)
                .execute().body();
        //{"jobId":"jf10c44e3286f47f989abbe1a99f0c3ba","jobStatus":"esriJobSubmitted"}
        log.info("提交分析返回:{}", groupStr);
        if (groupStr.contains("error")) {
            //保存GP分析数据
            Update update = new Update();
            update.set("status", 3);
            update.set("error", groupStr);
            mongoTemplate.updateFirst(new Query(Criteria.where("gpId").is(gpId)), update, GpParam.class);
            return;
        }
        JSONObject jsonObject = JSON.parseObject(groupStr);
        String jobId = jsonObject.get("jobId") + "";
        //保存GP分析数据
        param.setJobId(jobId);
        Update update = new Update();
        update.set("jobId", jobId);
        mongoTemplate.updateFirst(new Query(Criteria.where("gpId").is(gpId)), update, GpParam.class);
        // 创建轮询任务
        String pageId = param.getPageId();
        log.info("创建轮询任务,每5s查询一次GP分析结果");
        ScheduledFuture<?> future = executor.scheduleAtFixedRate(() -> {
            if (taskStateMap.get(gpId) != null && taskStateMap.get(gpId)) {
                return;
            }
            taskStateMap.put(gpId, true);
            // 查询GP分析结果
            boolean res = executeGPTask(url, jobId, pageId, gpId);
            // 判断是否需要终止轮询任务
            if (res) {
                // 取消轮询任务
                taskStateMap.remove(gpId);
                if (taskMap.get(gpId) != null) {
                    taskMap.get(gpId).cancel(false);
                    //从任务列表中删除该用户的轮询任务
                    taskMap.remove(gpId);
                }
            } else {
                taskStateMap.put(gpId, false);
            }
        }, 0, 5, TimeUnit.SECONDS); // 延迟0秒开始执行,并每隔5秒执行一次
        // 将任务添加到任务列表中
        taskMap.put(gpId, future);
    }

4,轮询GP分析结果

很多刚接触的同事可能在这一步一直获取提交失败的错误,建议先在gp分析的web界面下方点击submit调试,确保页面上能正常拿到数据再来编码
ArcGis系列-java调用GP分析
ArcGis系列-java调用GP分析

  • 执行状态有已提交,执行中,执行失败,执行成功,
  • 后两种状态获取到就终止轮询,并修改gp的执行状态,
  • 执行成功时解析分析结果并处理(加样式发布为图层)
  • 因为矢量和表格数据都是json数据,所以都保存为json,栅格是tif的单独保存
/**
     * 轮询gp执行状态
     *
     * @param url    http://127.0.0.1:6080/arcgis/rest/services/test/Model5/GPServer/landconflicts/submitJob?f=json
     * @param jobId
     * @param pageId
     * @param gpId
     * @return
     */
    private boolean executeGPTask(String url, String jobId, String pageId, String gpId) {
        //http://127.0.0.1:6080/arcgis/rest/services/test/Model5/GPServer/landconflicts/jobs/j7d80b44b27834e428a5da531fdfcb1c9?f=json
        url = url.replace("submitJob", "jobs/" + jobId);
        String res = HttpUtil.get(url);
        if (res.contains("error")) {
            //保存异常信息
            updateStatus(gpId, 3, res);
            //异常信息,中断轮询
            return true;
        }
        //执行结束,解析结果
        JSONObject jsonObject = JSON.parseObject(res);
        String state = jsonObject.get("jobStatus") + "";
        //已提交 | 执行中
        if ("esriJobSubmitted".equals(state) || "esriJobExecuting".equals(state)) {
            return false;
        } else if ("esriJobSucceeded".equals(state)) {
            //执行成功
            JSONObject jsonObj = jsonObject.getJSONObject("results");
            //创建目录
            new File(layerParamLocation + gpId + "\\json").mkdirs();
            new File(layerParamLocation + gpId + "\\tif").mkdirs();
            for (String outputName : jsonObj.keySet()) {
                try {
                    GpResult gpResult = new GpResult();
                    gpResult.setOutputName(outputName);
                    gpResult.setJobId(jobId);
                    gpResult.setGpId(gpId);
                    gpResult.setPageId(pageId);
                    gpResult.setEndTime(LocalDateTime.now());
                    //查询outputName输出结果
                    String newUrl = url.replace("?f=json", "/results/" + outputName + "?f=pjson");
                    //保存分析结果到json文件 gpResult.setGpResult(HttpUtil.get(newUrl));
                    log.info("查询output结果,{}", newUrl);
                    gpResult.setGpResult(newUrl);
                    String resStr = getFeatureJson(newUrl);
                    JSONObject resJson = JSON.parseObject(resStr);
                    if (resJson.get("error") != null) {
                        //保存异常信息
                        log.error("获取执行结果异常,{}", newUrl);
                        updateStatus(gpId, 3, "获取执行结果异常," + newUrl);
                        return true;
                    }
                    String resFilePath = "";
                    //按照output类型分别存储矢量json和栅格url
                    if ("GPRasterDataLayer".equals(resJson.getString("dataType"))) {
                        //栅格数据下载tif到本地 https:/127.0.0.1:6443/arcgis/rest/directories/arcgisjobs/gp/demcreate04_gpserver/j6b911eade85d4ed88748abeef0c3a0ac/scratch/dem2.tif
                        //表格GPRecordSet和矢量GPFeatureRecordSetLayer
                        resFilePath = layerParamLocation + gpId + "\\tif\\" + outputName + ".tif";
                        String tifUrl = resJson.getJSONObject("value").getString("url");
                        FileUtils.downloadImage2(tifUrl, resFilePath);
                        //gpResult.setGpResult(tifUrl);
                    } else {
                        //表格GPRecordSet和矢量GPFeatureRecordSetLayer
                        resFilePath = layerParamLocation + gpId + "\\json\\" + outputName + ".json";
                        FileUtils.saveStringToFile(resJson.getJSONObject("value").toString(), resFilePath);
                    }
                    mongoTemplate.remove(new Query(Criteria.where("gpId").is(gpId)
                            .and("outputName").is(outputName)), GpResult.class);
                    mongoTemplate.insert(gpResult, "app_gp_result");
                    log.info("保存gp结果{}完成,{}", outputName, resFilePath);
                } catch (Exception e) {
                    //保存异常信息
                    log.error("保存执行结果异常:{}", e.toString());
                    updateStatus(gpId, 3, "保存执行结果异常," + url);
                    return true;
                }
            }
            //将执行结果追加样式并发布
            publishGPResult(gpId);
            return true;
        } else if ("esriJobFailed".equals(state)) {
            //执行失败
            Update update = new Update();
            update.set("status", 3);
            update.set("endTime", LocalDateTime.now());
            update.set("error", res);
            mongoTemplate.updateFirst(new Query(Criteria.where("jobId").is(jobId)), update, GpParam.class);
            return true;
        } else {
            log.error("gp执行未知状态:{},完整报文:{}", state, res);
            return true;
        }
    }

    /**
     * 获取gp分析结果的矢量数据,主要针对结果数据量很大或网络波动导致的读取超时
     * @param url
     * @return
     */
  public String getFeatureJson(String url) {
        String result = HttpUtil.createGet(url)
                .setConnectionTimeout(30000)
                .setReadTimeout(30000)
                .execute().body();
        return result;
    }

5,将GP分析结果发布为Map

将gp结果发布到arcgis同样需要调用python脚本,构建本地项目创建草稿并上传发布文章来源地址https://www.toymoban.com/news/detail-469985.html

  • 发布图层需要的矢量和栅格数据从上一步保存的json和tif获取,需要的样式文件从前端提交gp时的保存的路径取
  • 发布gp结果的详细代码放在同系列的另一篇文章中( ̄▽ ̄)*
/**
     * 给GP分析结果添加样式并重新发布
     *
     * @param gpId
     */
    private void publishGPResult(String gpId) {
        Update update = new Update();
        GpParam gpParam = mongoTemplate.findOne(new Query(Criteria.where("gpId").is(gpId)), GpParam.class);
        // 图层参数临时目录
        String layerParamDir = layerParamLocation + gpId;
        log.info("开始遍历发布gp结果:{}", layerParamDir);
        String url = null;
        try {
            url = pythonExecutor.publishLayerToArcgis(layerParamDir, getBaseUrl(gpParam.getGpUrl()), "lzwpro", "xxxxxx", gpId);
        } catch (Exception e) {
            log.error("发布gp结果异常:{},{}", gpId, e.toString());
            updateStatus(gpId, 3, e.toString());
            return;
        }
        update.set("status", 2);
        update.set("publishUrl", url);
        //更新GP任务状态
        update.set("endTime", LocalDateTime.now());
        mongoTemplate.updateFirst(new Query(Criteria.where("gpId").is(gpId)), update, GpParam.class);
    }

到了这里,关于ArcGis系列-java调用GP分析的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hadoop调用HDFS java api实现在HDFS上创建文件夹

    目录 一、前期准备 1、Hadoop集群已配置完毕 2、Linux系统安装jdk 3、安装并破解IntelliJ IDEA 二、通过JAVA API操纵HDFS 1.在IDEA中创建项目  2.在hdfs项目的src-main-java路径下创建一个包,然后在包下创建一个java类实现hdfs的文件操作  3.java类的代码 4.对JAVA程序传入参数后运行程序  5

    2024年02月08日
    浏览(74)
  • ArcGIS Pro应用—暨基础入门、制图、空间分析、影像分析、三维建模、空间统计分析与建模、python融合、案例应用全流程科研能力提升教程

    详情点击链接:ArcGIS Pro应用—暨基础入门、制图、空间分析、影像分析、三维建模、空间统计分析与建模、python融合、案例应用全流程科研能力提升教程 第一: GIS及ArcGIS Pro 1.GIS基本原理及常用软件 2.ArcGIS Pro 安装与配置 3.ArcGIS Pro 3.0 的新特性 4.ArcGIS Pro 用户界面的主要组件

    2024年02月13日
    浏览(47)
  • ArcGIS Pro实践技术应用——暨基础入门、制图、空间分析、影像分析、三维建模、空间统计分析与建模、python融合、案例应用全流程科研能力提升

    查看原文 ArcGIS Pro实践技术应用——暨基础入门、制图、空间分析、影像分析、三维建模、空间统计分析与建模、python融合能力 本文将利用ArcGIS Pro 将您的 GIS 工作组织到工程中,您可以使用 ArcGIS Pro 映射 2D 和 3D 数据。借助 ArcGIS Pro,您可以创建和编辑多种要素,同时还可以

    2024年02月13日
    浏览(48)
  • ARM64函数调用流程分析

    ARM64 程序调用标准 下图是介绍一个简单函数调用的示例,在该示例中简单介绍了栈的使用。 2.1.1 main的C代码实现 2.1.2 main函数对应汇编及其分析 0000000000000114 main: main函数的入口 114: a9be7bfd stp x29, x30, [sp, #-32]! 将sp = sp - 32,为main函数开一个32Byte的栈空间,然后将x29(FP),X30(LR)寄

    2024年02月11日
    浏览(43)
  • WGAN-GP解读分析

    目录 0. 摘要 1. 基础知识 1.1 信息量 1.2 熵 1.3 相对熵 1.4 交叉熵 1.5 JS散度 1.6 其它相关概念 2. WGAN理论分析 2.1 WGAN的改变 2.2 原始GAN中存在的问题 2.2.3 第一种生成器损失函数 2.2.4 第二种生成器损失函数 2.3 GAN到WGAN的一个过渡方案 2.4 Wasserstein距离 2.5 从Wasserstein距离到WGAN 2.6 W

    2024年02月06日
    浏览(68)
  • GP(GlobalPlatform)TEE威胁分析

    安全之安全(security²)博客目录导读 TEE之GP(Global Platform)认证汇总 目录 一、TEE威胁分析介绍 二、TEE威胁分析分类 1、Core TEE PP 1.1、T.ABUSE_FUNCT 1.2、T.CLONE 1.3、T.FLASH_DUMP 1.4、T.IMPERSONATION(扮演、模仿) 1.5、T.ROGUE_CODE_EXECUTION 1.6、T.PERTURBATION(摄动、扰乱) 1.7、T.RAM 1.8、T.RNG 1.9、

    2024年02月09日
    浏览(37)
  • 【SpringCloud】Eureka基于Ribbon负载均衡的调用链路流程分析

    微服务间相互调用的基础上,服务间的调用更多是以调用某多实例服务下的某个实例的形式。而这就需要用到负载均衡技术。对于开发者而言,只要通过@LoadBalance注解就开启了负载均衡。如此简单的操作底层究竟是什么样的,我想你也很想知道。 在《SpringCloud集成Eureka并实现

    2024年02月05日
    浏览(37)
  • Spring Boot 3.x 系列【49】启动流程 | 创建、准备应用上下文

    有道无术,术尚可求,有术无道,止于术。 本系列Spring Boot版本3.1.0 源码地址:https://gitee.com/pearl-organization/study-spring-boot3

    2024年02月14日
    浏览(40)
  • HIDL Service创建流程 - 基于Android 12 S分析

    系列文章 Android 12 S ServiceManager原理 Android 12 S Native Service的创建流程 Android 12 S Binder原理之BpBinder,BnBinder以及IInterface介绍 Android 12 S HIDL Service创建流程 Android 12 S 自定义Hal服务selinux权限添加 Android 12 S 自定义Native服务selinux权限添加 Android 12 S java服务调用native服务 Android 12 S 自定

    2024年02月11日
    浏览(39)
  • 极验系列文章一:极验三代 极验验证码整体流程分析

    作为一位js逆向爱好者,写本篇文章在于纯技术分析。无任何不良商业目的。旨在提高大家的网络安全意识,共同维护网络安全环境!请不要做任何有损国家或其他集体或个人的事情, 否者后果自负!本文如有任何侵权行为,请马上联系作者,立马删除。 目标地址:aHR0cHM6

    2024年02月14日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包