【学习记录】服务器上用Python代码下载ERA5 Hourly 数据

这篇具有很好参考价值的文章主要介绍了【学习记录】服务器上用Python代码下载ERA5 Hourly 数据。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、问题背景

需要下载至少20年的多个变量不同pressure level的ERA5 hourly数据,其中单一变量31层、4个时刻的数据约为245MB,所有数据下下来约有8T。在对比了网上现有的下载ERA5数据的方法考虑到储存问题,决定借助服务器利用python脚本下载数据,将单个变量的每日的结果存成一个文件。

ERA5数据下载(三种方式) - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/611543405
Python脚本使用CDSAPI批量下载ERA5气象数据_cdsapi怎么安装_Toblerone_Wind的博客-CSDN博客https://blog.csdn.net/qq_42276781/article/details/129131784

二、如何下载

1、申请账号

哥白尼数据中心(cds.climate.copernicus.eu/#!/home)有大量的气候数据,其中包括了我们想要的ERA5数据集,想要下载这些数据,首先需要拥有一个账号。

2、利用API下载数据前的准备工作

数据中心出具了官方文档(How to use the CDS API | Copernicus Climate Data Store)教我们怎么使用数据接口下载数据,我需要在服务器上下载,所有主要关注“For linux users”这部分内容。

python xiazai era5数据,学习

安装CDS API

python xiazai era5数据,学习

在服务器里创建.cdsapirc 文件,  文件中的内容直接复制上图中黑色方框中的内容。图上展示的是未登陆账号时的状态,如果登陆自己的账号会出现个人的uid和api-key信息。下载ERA5的数据需要用户先向数据中心提出申请,将.cdsapirc 文件放在HOME目录下相当于把账号和密码存在了服务器上,方便下数据时使用你的账户。

vim $HOME/.cdsapirc

 安装cdsapi库包

python xiazai era5数据,学习

官方给出的利用API下载数据的python代码中用到了cdsapi库,需要我们用pip命令自己安装好。

python xiazai era5数据,学习

CDS API访问数据

python xiazai era5数据,学习

选择要下载的变量信息(变量名,时间,空间范围),让官方生成API request,然后再在上面修改。

3、修改python代码

我希望将单个变量每一日的数据存成一个文件,勾选时选择了下载specific humidity,所有高度层,2011-01-01,四个时刻的数据。生成的代码中variable、year、month、day,和储存的文件名是需要变化的。利用循环语句,更改这些变量即可。

python xiazai era5数据,学习

网上有很多提供代码参考的帖子:

linux系统批量下载ERA5日数据_cds api-CSDN博客https://blog.csdn.net/LHgwei/article/details/127807676?spm=1001.2014.3001.5502

4、在服务器上跑代码

修改好download.py文件后先在服务器上用python download.py命令进行试运行,等开始下载才说明这个代码改对了。

python xiazai era5数据,学习接着可以将这个代码放在后台运行:

nohup python download.py &文章来源地址https://www.toymoban.com/news/detail-786194.html

到了这里,关于【学习记录】服务器上用Python代码下载ERA5 Hourly 数据的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 保姆级!如何在Window Server服务器上用tomcat部署java web项目

    首先,打开idae软件(我项目用的idea,也可以其他)导入你的项目,然后运行项目,确保项目能在localhost:8080,即在本地上运行。 确保能在本地上运行,且项目所有的已实现的功能没有bug,多测试几次。 然后打包项目,在打包前,看看数据库的.sql文件放在哪个位置(如果有的

    2024年02月06日
    浏览(40)
  • 如何在linux服务器上用Nginx部署Vue项目,以及如何部署springboot后端项目

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 提示:这里可以添加本文要记录的大概内容: 本文内容记录如何在Linux(Ubuntu)系统上安装Nginx,并部署打包好的Vue前端项目,最后通过浏览器访问。 提示:以下是本篇文章正文内容,下面案例可供参考

    2024年04月16日
    浏览(36)
  • 从【抓包分析】到【代码实战】再到【上线云服务器】,实现下载某破站视频(附源码)

    目录 一、前言 二、需求分析 三、抓包分析 1、拿到视频文件真实地址 2、下载视频文件 3、下载声音文件 四、程序实现 1、拿到完整json 2、下载视频文件 3、下载音频文件 4、视频音频合并 5、文件下载 五、部署到腾讯云 1、打包 2、上传 3、启动 4、安装ffmpeg 5、验证一下 六、

    2024年02月08日
    浏览(32)
  • 【常用bsub指令介绍】使用bsub命令提交作业、开启交互式窗口,在集群服务器上用pdb进行代码调试

    在一个服务器集群中,有很多的人要使用,却只有很少的GPU。LSF作业调度系统则是对每个用户提交的作业和需要使用的GPU进行调度。一般使用bsub命令来将待运行的作业提交到集群上。 用bsub run.sh提交了作业,一般是作业已经可以成功跑起来,提交了作业后直接等作业运行结束

    2024年01月22日
    浏览(60)
  • Linux学习记录——사십일 高级IO(2)--- Select型服务器

    select就是多路转接IO。select能以某种形式,等待多个文件描述符,只要有哪个fd有数据就可以读取并全部返回。就绪的fd,要让用户知道。select等待的多个fd中,一定有少量或者全部都准备好了数据。 nfds输入型参数,表示select等待的多个fd中,fd对应的数 + 1 剩下四个参数都是输

    2024年01月16日
    浏览(43)
  • Linux学习记录——사십삼 高级IO(4)--- Epoll型服务器(1)

    poll依然需要OS去遍历所有fd。一个进程去多个特定的文件中等待,只要有一个就绪,就使用select/poll系统调用,让操作系统把所有文件遍历一遍,哪些就绪就加上哪些fd,再返回。一旦文件太多了,遍历效率就显而易见地低。epoll是为处理大批量句柄而作了改进的poll,句柄就是

    2024年01月18日
    浏览(41)
  • Linux学习记录——사십사 高级IO(5)--- Epoll型服务器(2)(Reactor)

    本篇基于上篇代码继续改进,很长。关于Reactor的说明在后一篇 上面的代码在处理读事件时,用的request数组是临时的,如果有数据没读完,那么下次再来到这里,就没有这些数据了。所以得让每一个fd都有自己的缓冲区。建立一个Connection类,然后有一个map结构,让这个类和每

    2024年01月20日
    浏览(41)
  • Linux学习记录——사십사 高级IO(6)--- Epoll型服务器(3)(Reactor)

    看完前两篇再看这篇,本篇将会写Reactor EpollServer.hpp中创建一个函数HandlerRequest,用它来做Recver函数的数据处理,也就是数据分析。 改一下回调函数,不向外暴露Connection类。 Main.cc中就不需要两个函数,一个计算函数就可以 处理数据那里再加上最后的步骤 回到Recver函数,调用

    2024年01月20日
    浏览(33)
  • Linux学习记录——사십오 高级IO(6)--- Epoll型服务器(3)(Reactor)

    看完前两篇再看这篇,本篇将会写Reactor EpollServer.hpp中创建一个函数HandlerRequest,用它来做Recver函数的数据处理,也就是数据分析。 改一下回调函数,不向外暴露Connection类。 Main.cc中就不需要两个函数,一个计算函数就可以 处理数据那里再加上最后的步骤 回到Recver函数,调用

    2024年01月23日
    浏览(41)
  • 恒源云 & PyCharm!!!深度学习在恒源云上租服务器并进行远程连接超级详细教程!!!(个人学习记录)

    本人因为实验需要,经常在网上租服务。之前用过Autodl平台,也出了相关教程Autodl使用教程。因为Autodl上面的卡空闲的比较少,而且都比较贵,最近发现了恒源云这个新平台。感觉上面服务器的普遍比Autodl上的便宜(没有严格对比),但是恒源云也存在一个问题,就是租一个

    2024年04月22日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包