在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据

这篇具有很好参考价值的文章主要介绍了在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


建了一个QQ群,大家可以在里边聊聊水色遥感数据下载和数据处理方面的事情:1087024529

1.前言

最近使用Sentinelsat库在Copernicus Open Access Hub下载Sentienl数据时发现,数据总是处于offline状态,并且下载缓慢,一直以为是欧空局服务器不行。但进到Copernicus Open Access Hub官网发现,原来是Copernicus Open Access Hub即将在2023年9月份之后就不再使用。而新的数据发布地址改为了Copernicus Data Space Ecosystem:https://dataspace.copernicus.eu/
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载
新网站在今年一月份就已经上线,但目前网上介绍该网站的帖子还没多少。这里就做一个简单介绍,以及切换到新网站后,如何使用脚本进行数据检索和下载Sentinel数据。
Copernicus Data Space Ecosystem一个特性就是:大部分数据没有offline!没有offline!没有offline!

2.Copernicus Data Space Ecosystem使用介绍

1.进入网站https://dataspace.copernicus.eu/,即可进入网站主页。
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载
2.要想使用该网站进行数据检索与下载,需要注册一个账号。
3.注册之后,登录自己账号。在首页的Explore data下拉框,有两个链接,一个是Copernicus Browser(https://dataspace.copernicus.eu/browser),这个功能即可跳转到界面化的数据检索和下载页面。另外一个是Data collections,这个链接是对目前网站上存放数据的介绍。接下来主要介绍Copernicus Browser。
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载
4.进入Copernicus Browser,可以看到有两个标签页。一个是VISUALIZE,另外一个是SEARCH。VISUALIZE是根据自己设定的条件进行检索,只是浏览。而SEARCH是根据自己设定的条件进行检索,检索到自己喜欢的数据之后还可以下载。页面右边可以进行更改图层,可以画兴趣区等操作。
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载
5.这里介绍SEARCH标签页。和其他卫星数据检索网站一样,指定传感器,指定数据级别,指定时间、指定区域,即可进行检索。可以看到这个网站能够提供OLCI传感的水产品:WFR和WRR!!!
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载
6.我这里把时间范围设置为了2020年8月1日到2020年9月30日。目的就是看看有没有offline的数据,结果就是数据没有offline的提示。点击下载按钮,即可直接下载数据!!!但目前一个问题是,点了下载按钮,没法选择保存数据的路径。
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载
Copernicus Data Space Ecosystem网站除了以上的介绍,还提供了其他服务,大家可以尽情探索。

3.使用脚本检索和下载Sentinel数据

1.能够在页面检索和下载数据了,那自然要想到能不能用脚本完成这些任务。很显然是可以的,并且官方提供了好几个API接口。这些接口不止能检索和下载数据,简单的数据分析和处理也都可以做。关于各数据API的介绍见:https://documentation.dataspace.copernicus.eu/APIs.html
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载
2. 我这边主要是使用OData进行数据的检索和下载,其他API大家自行探索下吧。OData接口说明见:https://documentation.dataspace.copernicus.eu/APIs/OData.html。
3. 在使用OData进行数据检索时,不用账号密码进行认证,直接构建HTTP请求的字符串,就能获得检索结果。官网提供了各种情况的实例。并分为了HTTP Request和Python脚本,大家可以一个一个看看,非常详细。这里主要说几个要注意的点。
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载
4.默认检索结果是20个,最大是1000。如果要检索的结果超过20,则在请求链接中要加上$top=N。
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载
4. 值得特别注意的是数据的ID号和数据对应的快试图ID号是不一样的,这和Copernicus Open Access Hub提供数据快视图链接的方式有区别。下载数据快试图的ID,也无须进行账号密码验证。这是快试图下载链接格式和一个样例:

https://catalogue.dataspace.copernicus.eu/odata/v1/Assets(快试图ID号)/$value
例子:
https://catalogue.dataspace.copernicus.eu/odata/v1/Assets(f4a87522-dd81-4c40-856e-41d40510e3b6)/$value

5.那么怎么去获取数据对应快试图的ID号,这就需要在请求链接中加上$expand=Assets参数,这样响应中才会包含快视图的信息。快视图的信息保存在一个字典里,里边包含了ID号。不过这个网站提供的快试图十分模糊,比原来Copernicus Open Access Hub提供的快试图还要模糊。
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载

6.最后是数据下载。数据下载就需要进行账号密码验证了。在数据下载之前需要利用账号密码去请求一个access token,然后把access token加入到下载请求字符串中。
7.access token的获取见:https://documentation.dataspace.copernicus.eu/APIs/Token.html。提供了cURL和Python脚本的事例。这里的账号名是注册时使用的邮箱号。
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载
8.access token的有效时间为10分钟,如果过期了需要重新请求。在重新请求时,有两种方案,一种还像上边一样使用账号密码。另外一种是使用Refresh Token。在获取access token时,其实还返回了一个Refresh Token,Refresh Token的有效期为60分钟。
9.数据下载的方式,见:https://documentation.dataspace.copernicus.eu/APIs/OData.html#product-download。
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载
10.我这边使用wget的下载方式。wget数据下载的命令格式为:

wget  --header "Authorization: Bearer 你获得的access token" 'http://catalogue.dataspace.copernicus.eu/odata/v1/Products(数据ID号)/$value' -O 数据保存位置

组合好的字符串放在命令行提示符中,回车就可以下载了(不过首先要配置好wget工具)。可以使用Python获取access token和根据需要检索数据。然后根据检索到的数据ID和access token构建下载请求字符串,使用subprocess库调用wget下载。
数据链接格式为:

http://catalogue.dataspace.copernicus.eu/odata/v1/Products(数据ID号)/$value

11.powershell中,会把wget命令转为它内置的下载工具,然后报错,目前还不知道怎么解决。大家也可以多多尝试其他下载方案。
理清思路,就可以使用这种方案批量检索和下载数据啦!只能说到这里啦!

4.最后

1.Copernicus Data Space Ecosystem除了一个F&Q的网页,回答了用户比较关心的问题。https://documentation.dataspace.copernicus.eu/FAQ.html
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载
比如数据是否offline,还有一些其他的,大家自行阅读。
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载
2.他们还开通了问答博客,大家使用过程中遇到的问题可以提问,官方的回复非常的热情。可能目前使用的人比较少,问答博客没有几个问题。hh,我还提问了,回复挺及时的。https://helpcenter.dataspace.copernicus.eu/hc/en-gb/community/topics
在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据,sentinel,遥感,批量下载文章来源地址https://www.toymoban.com/news/detail-731832.html

到了这里,关于在Copernicus Data Space Ecosystem下载Sentinel数据及使用脚本检索和下载数据的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • SpringCould微服务保护01——Sentinel组件下载并使用

    1.1.1.雪崩问题 微服务中,服务间调用关系错综复杂,一个微服务往往依赖于多个其它微服务。 如图,如果服务提供者I发生了故障,当前的应用的部分业务因为依赖于服务I,因此也会被阻塞。此时,其它不依赖于服务I的业务似乎不受影响。 但是,依赖服务I的业务请求被阻塞

    2024年02月07日
    浏览(45)
  • KITTI数据集raw_data下载(用chrome浏览器)

    KITTI是广泛用于自动驾驶领域评估的数据集之一,但是该数据集的数据很难下载。官方提供的下载方式是下载下图中的scripts,然后运行文件夹中的脚本,但是国内连接不上。科学上网只能在chrome浏览器上(网上教程很多哈),一个一个的去官网地址下载实在太麻烦了,因此写

    2024年02月15日
    浏览(45)
  • Swift下Data处理全流程:从网络下载,数模转换,本地缓存到页面使用

    Swift下将网络返回json数据转换成struct 假如网络请求返回的数据结构是一个深层嵌套的Json 首先要通过key-value取出这个json中的数据源 数模转换   字典与struct互相转换 将字典转换成struct模型 根据网络返回的Dictory,从里面取出数组widgets: Array[String: Any] 1.map遍历数组,拿到每一个

    2024年02月02日
    浏览(46)
  • vue3的setup函数中定义data数据,使用data数据

    vue3保留了vue2的语法,但是不能混着用,setup中定义原有vue2中data数据的方法有所改变 直接上代码 对比原有vue2代码 data() {             return {                 name: \\\"张三\\\",                 age:18             }     } 在setup函数中使用数据也无需 this.xxx, 而是用你定义的名字

    2024年02月12日
    浏览(38)
  • Sentinel学习(1)——CAP理论,微服务中的雪崩问题,和Hystix的解决方案 & Sentinel的相关概念 + 下载运行

    Sentinel 是面向分布式、多语言异构化服务架构的流量治理组件,主要以流量为切入点,从流量路由、流量控制、流量整形、熔断降级、系统自适应过载保护、热点流量防护等多个维度来帮助开发者保障微服务的稳定性。 本篇博客介绍CAP理论,微服务中的雪崩问题,和Hystix的解

    2024年02月08日
    浏览(52)
  • 微服务之Spring Cloud Alibaba Sentinel介绍与下载(详细方法)

    随着微服务的流行,服务和服务之间的稳定性变得越来越重要。Sentinel 以流量为切入点,从流量控制、流量路由、熔断降级、系统自适应过载保护、热点流量防护等多个维度保护服务的稳定性。 2012 年,Sentinel 诞生,主要功能为入口流量控制。 2013-2017 年,Sentinel 在阿里巴巴

    2024年02月11日
    浏览(58)
  • 微信小程序在data中定义页面的数据,以及数据如何使用

    以上代码是一个小程序页面的示例代码,使用了 Page() 方法来定义页面组件。在该页面组件中,定义了一个名为 data 的对象,该对象中包含两个属性: info :表示一个字符串类型的数据,其初始值为 \\\'init data\\\' 。 msgList :表示一个数组类型的数据,其初始值为 [{msg: \\\'hello\\\'}, {ms

    2024年02月04日
    浏览(51)
  • DBeaver导数据抛错 Java heap space

    从表中导出数据时报错: 原因: DBeaver内存设置过小,需要调整 找到配置文件:安装目录-dbeaver.init Xms为最小内存,默认 64M Xmx为最大内存,默认 1024M,调大此值即可,如10240M

    2024年02月05日
    浏览(39)
  • Azure动手实验 - 使用Azure Data Factory 迁移数据

    该实验使用 Azure CosmosDB,这个实验的点在于: 1:使用了 cosmicworks 生成了实验数据 2:弄清楚cosmosDB 的 accout Name 与 database id 和 container id 关系。 3:创建了 ADF 的连接和任务,让数据从 cosmicworks 数据库的 products 容器,迁移到 cosmicworks数据库的 flatproducts 容器。 实验来自于:练

    2024年02月04日
    浏览(42)
  • 如何使用Spring Data JPA简化MySQL数据访问

    本篇文章是 “一起学习mysql” 系列的第五篇文章,本篇文章我们学习一下Spring Data JPA的使用,在开始学习器,我们先来了解一下什么是JPA。 JPA的全称是Java Persistence API,是J2EE中的一条规范,它标准化了数据持久化API。在上一篇文章中,我们了解了如何使用MyBatis进行MySQL数据

    2024年02月15日
    浏览(70)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包