一招解决开发环境问题——远程容器开发指南

这篇具有很好参考价值的文章主要介绍了一招解决开发环境问题——远程容器开发指南。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

使用C++作为主要开发语言的程序猿们应该会认同搭建开发环境是一件烦人的事情。为了编译一个程序不仅需要下载各种依赖包,还可能面临本地系统不兼容、编译器版本不一致、包版本冲突等各种问题。笔者在运营iLogtail开源社区的过程中发现开发和调试环境问题也是成员问的最多的问题之一,那么有没有一种方法可以彻底解决这一问题呢?

有。容器技术使应用在各种环境可以一键部署,一致执行,同样的原理也适用于开发环境部署。利用 VSCode 的 Remote-Development 插件就可以使整个开发环境运行在远程容器中。使用这种方式不但可以直接使用一致的环境开发编译,而且还自然实现了多个开发环境的隔离。下面让就我们由浅到深搭建这样的远端容器开发环境。

原理简介

为什么要远程+容器?远程解决的是开发机资源问题和代码安全问题,本地电脑的CPU和内存比较有限,为了提高编译、测试效率一般都会准备一台专门用于开发测试的机器,而部分公司为了防止代码外泄,只允许内部开发机访问代码库。容器解决的是开发环境一致性问题。两者结合起来便能构建最理想的开发环境。

在使用 Remote-Development 插件时,插件会ssh连接到远程开发机,然后根据配置直接启动或是铸造开发环境镜像后启动开发环境容器。启动时将开发机的Workspace目录作为源挂载到容器中。开发环境容器启动后,插件会自动安装VS Code Server,并安装配置指定的VS Code插件。一旦容器内的VS Code Server启动后,本地的VS Code就会直接与容器内的VS Code Server建立通信。容器内可以访问Workspace所有文件,并且修改不会因容器退出而丢失。容器开发环境可以使用的VS Code插件,在Workspace的devcontainer.json配置中指定,下文会有详细描述。

为了提高启动速度并保留容器内插件的配置,开发容器内的/vscode目录其实挂载了一个docker volume,不会自动随docker退出而回收,因此从第二次连接容器开发环境开始,无需重新安装VS Code Server、插件等,启动速度大大提高。

阿里云 远程开发,云计算,阿里云,c++

环境准备

要使VS Code可以远程连接开发机,最好使用ssh密钥建立本地电脑和开发机的信任关系。要使用容器进行开发,开发机上必须安装Docker。这两步相关教程网上较多,在这里就不再赘述。

需要注意的是,要使VS Code通过ssh连上开发机并通过docker启动开发环境容器,建立信任关系的账户必须具备docker使用权限。如果使用root账户,那么自然具备。如果非root则可以使用任意一种方式使账户获得docker使用权限:

  1. 将用户加入docker组。参考Post-installation steps for Linux(https://docs.docker.com/engine/install/linux-postinstall)。
    sudo usermod -aG docker $USER
  2. 将docker.sock权限修改为777(不太推荐,除非上述方法无法奏效)。
    sudo chmod 777 /var/run/docker.sock

下面假设开发机使用的是Linux系统,并且与本地电脑已经建立好信任关系,而且安装并具备Docker访问权限。

安装插件

在VS Code的Marketplace中搜索“Remote Development”安装插件。

阿里云 远程开发,云计算,阿里云,c++

安装完成后,会发现多出了3个子插件。

  • Remote - Containers:连接容器开发
  • Remote - SSH:连接ssh远程开发
  • Remote - WSL:连接WSL(Windows Linux子系统)开发

使用镜像开发

使用 Remote Development 插件最直接的方式就是利用现成的编译镜像启动开发容器。这里以使用C++和Go语言编写、依赖环境相对复杂的开源项目iLogtail数据采集器项目为例,说明如何利用 Remote Development 插件进行远程容器开发。

1. 创建Remote Development配置

在iLogtail Workspace的顶层目录创建.devcontainer目录,并在里面创建devcontainer.json文件。

阿里云 远程开发,云计算,阿里云,c++

配置文件的内容如下:

{
  "image": "sls-opensource-registry.cn-shanghai.cr.aliyuncs.com/ilogtail-community-edition/ilogtail-build-linux:latest",
  "customizations": {
    "vscode": {
      "extensions": [
        "golang.Go",
        "ms-vscode.cpptools-extension-pack"
      ]
    }
  }
}

其中,image字段是Remote Development插件启动开发环境的镜像地址,customizations.vscode.extensions指定了开发环境的插件。部分插件介绍如下,开发者也可以按照自己的习惯进行修改。

插件名 用途
golang.Go Go开发必备插件
ms-vscode.cpptools-extension-pack C++开发必备插件

2. 在容器中打开代码库

使用Shift + Command + P(Mac)或Ctrl + Shift + P(Win)打开命令面板,输入reopen,选择Remote-Containers: Reopen in Container

阿里云 远程开发,云计算,阿里云,c++

或者若出现如下图提示,则可以直接点击在容器中重新打开。

阿里云 远程开发,云计算,阿里云,c++

首次打开时会比较慢,因为要下载镜像并安装插件,后面再次打开时速度会很快。按照提示进行镜像Build。

完成上述步骤后,我们已经可以使用VS Code进行代码编辑,并在其中进行代码编译。

注:如果以前拉取过编译镜像,可能需要触发Remote-Containers: Rebuild Container重新构建。

3. 在容器中进行开发

开发容器启动后,我们已经可以在VS Code中浏览Workspace代码了。但是随便打开一个文件,满眼都是错误提示,代码的跳转功能也不能正常工作。这是因为C++开发环境的includePath没有被正确配置。

阿里云 远程开发,云计算,阿里云,c++

打开命令面板,输入C++ config,选择C/C++: Edit Configurations(UI)

阿里云 远程开发,云计算,阿里云,c++

找到Include path,输入镜像内依赖库的路径。

阿里云 远程开发,云计算,阿里云,c++

再回来看代码时,错误提示都消失了,并且函数定义跳转正常。

4. 在容器中进行编译

打开新Terminal(找不到的可以在命令面板中输入Terminal,选择新开一个)

阿里云 远程开发,云计算,阿里云,c++

  • 编译iLogtail Go插件

make vendor # 若需要更新插件依赖库 make plugin_local # 每次更新插件代码后从这里开始

阿里云 远程开发,云计算,阿里云,c++

  • 编译iLogtail C++代码

mkdir -p core/build # 若之前没有建过 cd core/build cmake .. # 若增删文件,修改CMakeLists.txt后需要重新执行 make -sj$(nproc) # 每次更新core代码后从这里开始

阿里云 远程开发,云计算,阿里云,c++

阿里云 远程开发,云计算,阿里云,c++

5. 获取编译产出

由于VS Code是直接将代码库目录挂载到镜像内的,因此主机上可以直接访问镜像内的编译产出。

阿里云 远程开发,云计算,阿里云,c++

到这里,如果要求不高的话就可以结束了,但细心的读者一定发现了一个问题,容器内生成的文件在主机上都是root权限,必须执行sudo chown -R $USER .进行修复。如果社区的成员开发机没有sudo权限怎么办?作为iLogtail社区核心贡献者,当然不能把这样的坑留给队友了。

使用Dockerfile开发

那有没有办法做到容器内权限自动适配主机呢?这样的问题当然不会难倒VS Code了。Remote Development 插件支持使用 Dockerfile 在容器中进行开发,即在启动开发容器前先使用docker build一个开发镜像,这给了修正容器内账户权限的机会。

修正的原理如下:

  1. 在Remote Development 插件 docker build 前将开发机的账户名、账户ID、组名和组ID暴露给 docker。
  2. docker build时利用这些账户信息修正容器执行账户和容器内文件权限。

接下来我们进行实际操作。

1. 修改.devcontainer.json配置文件

在配置文件中,将image部分修改为build部分,使用Dockerfile启动开发容器。同时,加入initializeCommand,在build镜像前,将账户信息暴露给docker。

{
  "build": {
    "dockerfile": "Dockerfile",
    "args": {
      "USERNAME": "${localEnv:USER}"
    }
  },
  "initializeCommand": ".devcontainer/gen_env.sh",
  "onCreateCommand": "sudo chown -R $(id -un):$(id -gn) /root",
  "customizations": {
    "vscode": {
      "extensions": [
        "golang.Go",
        "ms-vscode.cpptools-extension-pack"
      ]
    }
  }
}

2. 创建Dockerfile

以编译镜像作为基础镜像,编写Dockerfile对镜像内账户和文件权限进行修正。

FROM sls-opensource-registry.cn-shanghai.cr.aliyuncs.com/ilogtail-community-edition/ilogtail-build-linux:latest
ARG USERNAME=admin
USER root
# Create the user
COPY .env /tmp/.env
RUN source /tmp/.env && rm /tmp/.env; \
    if getent passwd $USERNAME; then userdel -f $USERNAME; fi; \
    if [ $HOST_OS = "Linux" ]; then \
    if getent group $GROUPNAME; then groupdel $GROUPNAME; fi; \
    groupadd --gid $GROUP_GID $GROUPNAME; \
    fi; \
    useradd --uid $USER_UID --gid $GROUP_GID -m $USERNAME; \
    echo $USERNAME ALL=\(root\) NOPASSWD:ALL > /etc/sudoers.d/$USERNAME; \
    chmod 0440 /etc/sudoers.d/$USERNAME; \
    chown -R $USERNAME:$GROUPNAME /opt/logtail $(eval echo ~$USERNAME); \
    chmod 755 $(eval echo ~$USERNAME);
USER $USERNAME

COPY .env /tmp/.env将主机的账户信息通过文件形式复制到容器中。

接下来的几行根据这些信息在容器内创建对应的账户。

echo $USERNAME ALL=\(root\) NOPASSWD:ALL > /etc/sudoers.d/$USERNAME;授予该用户sudo权限。

chmodchown的几行对文件权限进行修正,使新建的用户有权限读写对应目录。其中对HOME(~$USERNAME)目录的修正必须在这里进行,否则会导致VS Code Sever没有权限安装,导致插件启动失败。

3. 创建脚本暴露主机账户信息

gen_env.sh脚本内容如下。该脚本对开发机为Mac系统也做了兼容。

bset -ue
set -o pipefail
if uname -s | grep Linux; then
  echo -e "HOST_OS=Linux\nUSERNAME=$USER\nUSER_UID=$(id -u $USER)\nGROUPNAME=$(id -gn $USER)\nGROUP_GID=$(id -g $USER)" > .devcontainer/.env;
else
  echo "HOST_OS=Darwin\nUSERNAME=$USER\nUSER_UID=$(id -u $USER)\nGROUPNAME=root\nGROUP_GID=0" > .devcontainer/.env;  
fi

前3步完成后,Workspace中的配置目录应该有这样3个文件:

阿里云 远程开发,云计算,阿里云,c++

4. 运行观察效果

使用Shift + Command + P(Mac)或Ctrl + Shift + P(Win)打开命令面板,输入reopen,选择Remote-Containers: Rebuild Container

阿里云 远程开发,云计算,阿里云,c++

在容器内重新执行id命令查看账户信息,可以看到与开发机一致。

阿里云 远程开发,云计算,阿里云,c++

在容器内重新执行之前的编译命令。然后会到开发机上查看生成的文件权限,可以看到容器内生成的文件,在开发机上都已经变成正确的权限了。

阿里云 远程开发,云计算,阿里云,c++

在容器内调试

除了编译代码,开发环境另一个重要功能是进行本地调试。打开一个iLogtail插件的单元测试文件,设置断电然后点击“debug test”。

阿里云 远程开发,云计算,阿里云,c++

什么?Failed to launch: could not launch process: fork/fork/exec ...: operation not permitted,出错了!

阿里云 远程开发,云计算,阿里云,c++

查阅资料,原来是docker默认的安全策略使用Secure computing mode (seccomp)仅允许白名单系统调用,debug所需的系统调用被拒绝了。我们尝试在配置文件中添加一行"runArgs": [ "--cap-add=SYS_PTRACE", "--security-opt", "seccomp=unconfined" ],禁用该功能。

{
  "build": {
    "dockerfile": "Dockerfile",
    "args": {
      "USERNAME": "${localEnv:USER}"
    }
  },
  "initializeCommand": ".devcontainer/gen_env.sh",
  "runArgs": [ "--cap-add=SYS_PTRACE", "--security-opt", "seccomp=unconfined" ],
  "customizations": {
    "vscode": {
      "extensions": [
        "golang.Go",
        "ms-vscode.cpptools-extension-pack",
        "DavidAnson.vscode-markdownlint"
      ]
    }
  }
}

Rebuild Container后,再次尝试调试功能。It works!

阿里云 远程开发,云计算,阿里云,c++

总结

至此,我们已经可以happy地通过VS Code的Remote Development插件在远程容器内开发了。并且使用的编译镜像和插件配置文件都是可移植,可重复的,CI到代码库后可以供任何开发者使用。文章中提到的代码都可以到iLogtaill的GitHub仓库(https://github.com/alibaba/ilogtail)获取。

Remote Development插件还有很多的功能没有在本篇文章中使用到,感兴趣的读者可以根据文末参考资料进一步研究探索。

参考资料

  1. Developing inside a Container using Visual Studio Code Remote Development: https://code.visualstudio.com/docs/remote/containers
  2. Create a development container using Visual Studio Code Remote Development: https://code.visualstudio.com/docs/remote/create-dev-container
  3. Running Docker Containers as Current Host User - Juan Treminio - Senior Web Developer Blog: https://jtreminio.com/blog/running-docker-containers-as-current-host-user/
  4. Add non-root user to a container: https://code.visualstudio.com/remote/advancedcontainers/add-nonroot-user
  5. devcontainer.json reference: https://code.visualstudio.com/remote/advancedcontainers/add-nonroot-user
  6. Seccomp security profiles for Docker: https://docs.docker.com/engine/security/seccomp/
  7. alibaba/ilogtail: Fast and Lightweight Observability Data Collector: https://github.com/alibaba/ilogtail

原文链接

本文为阿里云原创内容,未经允许不得转载。文章来源地址https://www.toymoban.com/news/detail-792171.html

到了这里,关于一招解决开发环境问题——远程容器开发指南的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Boost程序库完全开发指南:1-开发环境和构建工具

      Boost官方于2019年12月发布的1.72版编写,共包含160余个库/组件,涵盖字符串与文本处理、容器、迭代器、算法、图像处理、模板元编程、并发编程等多个领域,使用Boost,将大大增强C++的功能和表现力。环境:Windows 10,WSL2,Ubuntu 20.04 LTS,Rider(WSL远程开发),gcc/g++ 9.4.0,

    2024年02月07日
    浏览(32)
  • Kotlin 开发环境配置指南

    步骤 1:获取最新版 Kotlin 编译器 要配置 Kotlin 开发环境,首先需要从 JetBrains 官方 GitHub 仓库下载最新的 Kotlin 编译器。访问以下链接以获取最新版本的编译器: 在该页面中,找到适合您操作系统的 Kotlin 编译器发行版(例如 kotlin-compiler-xxxx.zip ),其中 xxxx 表示当前的版本号

    2024年01月25日
    浏览(31)
  • 鸿蒙系统开发编译指南(官网开发文档+docker环境方式)

    注意1: OpenHarmony系统的开发环境搭建、编译、烧录、调测,最好直接参考官网开发文档,因为更新频繁,大多数人的流程都不一样。 https://www.harmonyos.com/   ​ ​         因为一般都需要使用命令行操作,而且通过命令行操作才能深入了解原理,后续也可以在其基础上增

    2024年02月05日
    浏览(35)
  • 鸿蒙系统开发之编译指南(官网开发文档+docker环境方式)

    注意1: OpenHarmony系统的开发环境搭建、编译、烧录、调测,最好直接参考官网开发文档,因为更新频繁,大多数人的流程都不一样。 https://www.harmonyos.com/   ​ ​         因为一般都需要使用命令行操作,而且通过命令行操作才能深入了解原理,后续也可以在其基础上增

    2024年02月04日
    浏览(51)
  • python 开发环境(PyCharm)搭建指南

    参考:Python基础教程——搭建Python编程环境 下载 Python Python 下载地址:官网 (1)点击【Downloads】点击【Windows】点击【Python 3.x.x】下载最新版 Python; Python官网下载页面: (2) 勾选【Add python.exe to PYTH 】 点击【Customize installation】,自定义安装位置 点击【OK】,完成安装。

    2024年02月11日
    浏览(35)
  • Docker Golang 开发环境搭建指南

    在 Golang 开发中,搭建合适的开发环境是非常重要的。然而,由于 Golang 的跨平台特性,不同操作系统之间的配置差异可能会导致环境搭建过程变得复杂。为了简化这个过程并保持开发环境的一致性,我们可以使用 Docker 来创建一个统一的 Golang 开发环境。 本文将介绍如何使用

    2024年02月03日
    浏览(48)
  • Android开发配置OpenCV环境详细指南

    Android开发配置OpenCV环境详细指南 在进行Android开发时,我们经常需要使用图像处理库来实现各种功能。其中,OpenCV是一个强大且广泛应用的开源计算机视觉库。本文将详细介绍如何在Android开发环境中配置OpenCV,并附带相应的源代码和说明。 步骤一:下载OpenCV库文件 首先,我

    2024年02月08日
    浏览(39)
  • ubuntu can应用开发环境搭建指南

    can数据发送这个采用来自网上的一段代码进行测试: can_send.c代码内容如下:

    2024年02月11日
    浏览(41)
  • 获取Windows11开发环境及VirtualBox配置指南

    今天我们来讲一讲Windows11开发环境的快速搭建,主要是通过Virtualbox虚拟机安装微软官方预先配置好的Windows11环境包,配置简单,开箱即用。 微软官方提供了多个系统平台的Windows11虚拟机镜打包镜像,只需要导入后开箱使用。 官方下载地址: VMWare | Hyper-V (Gen2) | VirtualBox | Pa

    2024年02月06日
    浏览(30)
  • 【Rust指南】快速入门|开发环境|hello world

      本篇博客是Rust语言系列的开篇之作,以后有关Rust语言的文章也都会收录在我的 《进军Rust》 专栏里,我会精心打造这个专栏,帮助大家快速入门Rust语言,享受Rust语言带来的编程乐趣。虽然Rust相比其他语言入门慢,但这恰巧说明了Rust语言的特色——安全高效。对Rust语言

    2024年02月15日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包