Carla自动驾驶仿真四:pygame渲染Camera画面及车辆控制(代码详解)

这篇具有很好参考价值的文章主要介绍了Carla自动驾驶仿真四:pygame渲染Camera画面及车辆控制(代码详解)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


提示:以下是本篇文章正文内容,下面案例可供参考

前言

pygame提供了一种渲染实时视觉输出的方法,显示camera sensor的输出。我们也通过视频注入的方法将视频数据注入到控制器内部,提供视觉感知的场景,模拟真实场景进行仿真。

一、依赖库安装

1、pygame安装

- sudo apt-get install python3-pip
- sudo pip3 install pygame

2、numpy安装

- sudo pip3 install numpy

二、Pygame渲染Carla Camera画面

1、连接Carla并初始化TrafficManager

import carla
import random
import pygame
import numpy as np

#连接Carla客户端
client = carla.Client('localhost', 2000)
world = client.get_world()

# 设置Carla的仿真方式为同步模式
settings = world.get_settings()
settings.synchronous_mode = True # 开启同步模式
settings.fixed_delta_seconds = 0.05 #设置仿真的更新周期
world.apply_settings(settings) #应用设置

# 设置TrafficManager为同步模式,注意使用TraffiManager一定要设置Carla为同步模式
traffic_manager = client.get_trafficmanager()
traffic_manager.set_synchronous_mode(True) #应用同步模式

# 控制随机数生成器的输出,使得在相同种子下生成的随机数序列可重复
traffic_manager.set_random_device_seed(0)
random.seed(0)

2、生成自动驾驶车辆并设置交通行为

# 随机获得Carla地图上的一个坐标点
spawn_point = random.choice(world.get_map().get_spawn_points())

# 生成车辆并设置自动驾驶
vehicle_bp = random.choice(world.get_blueprint_library().filter('*vehicle*')) #随机选择车辆蓝图
ego_vehicle = world.spawn_actor(vehicle_bp, spawn_point) #在坐标点生成车辆
ego_vehicle.set_autopilot(True) #设置自动驾驶模式

#设置100%忽略交通灯
traffic_manager.ignore_lights_percentage(ego_vehicle, 100) 

3、创建初始化pygame surface对象的函数

  • 通过这段代码,我们可以得知RenderObject类的作用是创建一个具有指定宽度和高度的随机图像的渲染对象。这个对象可以在pygame中用于显示或其他图形操作。
# Render object to keep and pass the PyGame surface
class RenderObject(object):
    def __init__(self, width, height):
        """
            使用numpy生成一个随机的图像矩阵,大小为(height, width, 3)
            3表示RGB三个颜色通道
        """
        init_image = np.random.randint(0,255,(height,width,3),dtype='uint8')
        
   		"""
	        将图像矩阵转换为pygame的Surface对象
	        注意swapaxes函数的作用是交换矩阵的轴,将宽度和高度的顺序交换
	        这是因为pygame中Surface对象的宽度在前,高度在后
    	"""
        self.surface = pygame.surfarray.make_surface(init_image.swapaxes(0,1))

4、创建pygame处理Carla图像的回调函数

  • 这段代码的目的是将一个包含 RGBA 通道的图像数据转换为 RGB 格式的 pygame 可以使用的 Surface 对象,并将其赋值给 obj.surface。这个函数可能是用于在 pygame 中处理图像数据的回调函数或处理函数。
def pygame_callback(data, obj):
    # 将data.raw_data复制并重新形状为 (data.height, data.width, 4) 的图像矩阵
    img = np.reshape(np.copy(data.raw_data), (data.height, data.width, 4))
    
    # 从图像矩阵中移除alpha通道,只保留RGB三个颜色通道
    img = img[:,:,:3]
    
    # 反转颜色通道的顺序,由BGR转为RGB
    img = img[:, :, ::-1]
    
    # 将图像矩阵转换为pygame的Surface对象,并交换宽度和高度的顺序
    obj.surface = pygame.surfarray.make_surface(img.swapaxes(0,1))

5、创建pygame键盘控制车辆运动的函数

  • 这段代码的目的是为了通过结合pygame与键盘来控制车辆运动。
  • 键盘事件
    • 回车键:关闭自动驾驶行为 上键:前进 下键:后退 左键:往左 右键:往右
class ControlObject(object):
    def __init__(self, veh):

        # 车辆的初始控制状态
        self._vehicle = veh
        self._steer = 0
        self._throttle = False
        self._brake = False
        self._steer = None
        self._steer_cache = 0
		#获得carla控制
        self._control = carla.VehicleControl()

    #检查pygame按下的键盘事件
    def parse_control(self, event):
        if event.type == pygame.KEYDOWN:
            if event.key == pygame.K_RETURN:
                self._vehicle.set_autopilot(False)
            if event.key == pygame.K_UP:
                self._throttle = True
            if event.key == pygame.K_DOWN:
                self._brake = True
            if event.key == pygame.K_RIGHT:
                self._steer = 1
            if event.key == pygame.K_LEFT:
                self._steer = -1
        if event.type == pygame.KEYUP:
            if event.key == pygame.K_UP:
                self._throttle = False
            if event.key == pygame.K_DOWN:
                self._brake = False
                self._control.reverse = False
            if event.key == pygame.K_RIGHT:
                self._steer = None
            if event.key == pygame.K_LEFT:
                self._steer = None

    # 设置简单的动力控制函数
    def process_control(self):
		#上键:踩下油门踏板时,松开刹车踏板,油门最大的开度为0.5,可以自行设置。
        if self._throttle: 
            self._control.throttle = min(self._control.throttle + 0.01, 0.5)
            self._control.gear = 1
            self._control.brake = False
        elif not self._brake:
            self._control.throttle = 0.0

        if self._brake:
            # 下键后退:当车速小于0.01且不是倒档,设置倒档,并设置最大油门开度为0.5。
            if self._vehicle.get_velocity().length() < 0.01 and not self._control.reverse:
                self._control.brake = 0.0
                self._control.gear = 1
                self._control.reverse = True
                self._control.throttle = min(self._control.throttle + 0.1, 0.5)
            #下键后退:如果为倒档,则控制油门最大开度为0.5。
            elif self._control.reverse:
                self._control.throttle = min(self._control.throttle + 0.1, 0.5)
            #下键减速:设置减速踏板的最大开度为1。
            else:
                self._control.throttle = 0.0
                self._control.brake = min(self._control.brake + 0.3, 1)
        else:
            self._control.brake = 0.0
		
		#简单的左右方向控制
        if self._steer is not None:
            if self._steer == 1:
                self._steer_cache += 0.03
            if self._steer == -1:
                self._steer_cache -= 0.03
            min(0.7, max(-0.7, self._steer_cache))
            self._control.steer = round(self._steer_cache,1)
        else:
            if self._steer_cache > 0.0:
                self._steer_cache *= 0.2
            if self._steer_cache < 0.0:
                self._steer_cache *= 0.2
            if 0.01 > self._steer_cache > -0.01:
                self._steer_cache = 0.0
            self._control.steer = round(self._steer_cache,1)

        # 应用控制参数控制ego_vehicle
        self._vehicle.apply_control(self._control)

6、创建相对于主车的Camera sensor

  • 相对于ego_vehicle生成camera sensor
# 设置camera的初始坐标系
camera_init_trans = carla.Transform(carla.Location(x=-5, z=3), carla.Rotation(pitch=-20))
#获取camera sensor蓝图
camera_bp = world.get_blueprint_library().find('sensor.camera.rgb')
#相对于ego_vehicle生成camera sensor
camera = world.spawn_actor(camera_bp, camera_init_trans, attach_to=ego_vehicle)

7、创建Camera图像转pygame图像的回调函数

  • 通过这段代码,我们可以推断出该代码片段的目的是启动摄像头,并在每次摄像头有新图像时,调用 pygame_callback 函数对图像进行处理,并将结果更新到 renderObject 对象的 surface 属性中。这样可以实现实时更新渲染对象的显示。请确保在此之前已经定义了 pygame_callback 函数和 renderObject 对象。
"""
	在这里,camera 是一个摄像头对象,其具有 listen 方法。listen 方法接受一个回调函数作为参数,并在每次摄像头有新图像时调用该回调函数。
	
	在这个例子中,使用了一个匿名函数作为回调函数:lambda image: pygame_callback(image, renderObject)。这个回调函数接受一个 image 参数,然后调用 pygame_callback 函数,传递该图像和一个名为 renderObject 的对象作为参数。
"""
camera.listen(lambda image: pygame_callback(image, renderObject))

8、运动控制初始化及画面渲染初始化

# 设置画面的长宽
image_w = 800
image_h = 600

# 实例渲染对象以及车辆控制
renderObject = RenderObject(image_w, image_h)
controlObject = ControlObject(ego_vehicle)

# 初始化pygame
pygame.init()

"""
	在这里,pygame.display.set_mode 是 Pygame 中用于创建窗口的函数。它接受一个表示窗口宽度和高度的元组 (image_w, image_h) 作为第一个参数。
	
	第二个参数 pygame.HWSURFACE | pygame.DOUBLEBUF 是一个位掩码,用于指定窗口的模式选项。pygame.HWSURFACE 表示使用硬件加速的表面,pygame.DOUBLEBUF 表示使用双缓冲。
	
	使用硬件加速的表面 (pygame.HWSURFACE) 可以利用计算机的图形硬件来加速渲染,从而提高性能。双缓冲 (pygame.DOUBLEBUF) 可以消除渲染过程中的闪烁问题,提供更平滑的显示效果。
"""
gameDisplay = pygame.display.set_mode((image_w,image_h), pygame.HWSURFACE | pygame.DOUBLEBUF)

# 通过将黑色作为参数传递给 fill() 方法,可以将窗口的背景色设置为黑色。
gameDisplay.fill((0,0,0))

#blit() 方法用于将一个图像绘制到另一个图像上,或者绘制到游戏显示窗口上。第一个参数 renderObject.surface 是要绘制的图像,第二个参数 (0, 0) 是绘制的位置,表示图像在游戏显示窗口上的左上角的坐标。
gameDisplay.blit(renderObject.surface, (0,0))

#刷新pygame窗口画面
pygame.display.flip()

9、更新pygame画面及处理车辆控制的键盘事件

# Game loop
crashed = False

while not crashed:
    # 等待同步
    world.tick()
    # 按帧更新渲染的Camera画面
    gameDisplay.blit(renderObject.surface, (0,0))
    pygame.display.flip()
    # 处理车辆控制请求
    controlObject.process_control()
    # 获取pygame事件
    for event in pygame.event.get():
        # If the window is closed, break the while loop
        if event.type == pygame.QUIT:
            crashed = True
        # 获得pygame控制车辆键盘事件
        controlObject.parse_control(event)

10、退出pygame结束仿真

# Stop camera and quit PyGame after exiting game loop
ego_vehicle.destory()
camera.stop()
pygame.quit()

三、运行Carla和pygame

1、打开Carla客户端

  • 运行carla客户端并设置低帧率模式./CarlaUE4.sh -prefernvidia -quality-level=Low -benchmark -fps=15

Carla自动驾驶仿真四:pygame渲染Camera画面及车辆控制(代码详解)文章来源地址https://www.toymoban.com/news/detail-468401.html

2、运行完整代码

  • 我是用vs code直接运行的,没有vs code可以直接python3 来运行,把代码复制进空的py文件,然后运行。
import carla
import random
import pygame
import numpy as np

# 连接到客户端并检索世界对象
client = carla.Client('localhost', 2000)
world = client.get_world()

# 在同步模式下设置模拟器
settings = world.get_settings()
settings.synchronous_mode = True # Enables synchronous mode
settings.fixed_delta_seconds = 0.05
world.apply_settings(settings)

# 以同步模式设置TM
traffic_manager = client.get_trafficmanager()
traffic_manager.set_synchronous_mode(True)

# 设置种子,以便必要时行为可以重复
traffic_manager.set_random_device_seed(0)
random.seed(0)

# 获取地图的刷出点
spawn_point = random.choice(world.get_map().get_spawn_points())

# 生成车辆并设置自动驾驶
vehicle_bp = random.choice(world.get_blueprint_library().filter('*vehicle*'))
ego_vehicle = world.spawn_actor(vehicle_bp, spawn_point)
ego_vehicle.set_autopilot(True)

traffic_manager.ignore_lights_percentage(ego_vehicle, 100)

# 渲染对象来保持和传递PyGame表面
class RenderObject(object):
    def __init__(self, width, height):
        init_image = np.random.randint(0,255,(height,width,3),dtype='uint8')
        self.surface = pygame.surfarray.make_surface(init_image.swapaxes(0,1))

# 相机传感器回调,将相机的原始数据重塑为2D RGB,并应用于PyGame表面
def pygame_callback(data, obj):
    img = np.reshape(np.copy(data.raw_data), (data.height, data.width, 4))
    img = img[:,:,:3]
    img = img[:, :, ::-1]
    obj.surface = pygame.surfarray.make_surface(img.swapaxes(0,1))

# 控件对象来管理车辆控件
class ControlObject(object):
    def __init__(self, veh):

        # 控制参数来存储控制状态
        self._vehicle = veh
        self._steer = 0
        self._throttle = False
        self._brake = False
        self._steer = None
        self._steer_cache = 0
        self._control = carla.VehicleControl()

    # 检查PyGame窗口中的按键事件
    # 定义控件状态
    def parse_control(self, event):
        if event.type == pygame.KEYDOWN:
            if event.key == pygame.K_RETURN:
                self._vehicle.set_autopilot(False)
            if event.key == pygame.K_UP:
                self._throttle = True
            if event.key == pygame.K_DOWN:
                self._brake = True
            if event.key == pygame.K_RIGHT:
                self._steer = 1
            if event.key == pygame.K_LEFT:
                self._steer = -1
        if event.type == pygame.KEYUP:
            if event.key == pygame.K_UP:
                self._throttle = False
            if event.key == pygame.K_DOWN:
                self._brake = False
                self._control.reverse = False
            if event.key == pygame.K_RIGHT:
                self._steer = None
            if event.key == pygame.K_LEFT:
                self._steer = None

    # 处理当前控制状态,改变控制参数
    def process_control(self):

        if self._throttle: 
            self._control.throttle = min(self._control.throttle + 0.01, 0.5)
            self._control.gear = 1
            self._control.brake = False
        elif not self._brake:
            self._control.throttle = 0.0

        if self._brake:
            # 如果在汽车静止时按住向下箭头,则切换到倒车
            if self._vehicle.get_velocity().length() < 0.01 and not self._control.reverse:
                self._control.brake = 0.0
                self._control.gear = 1
                self._control.reverse = True
                self._control.throttle = min(self._control.throttle + 0.1, 0.5)
            elif self._control.reverse:
                self._control.throttle = min(self._control.throttle + 0.1, 0.5)
            else:
                self._control.throttle = 0.0
                self._control.brake = min(self._control.brake + 0.3, 1)
        else:
            self._control.brake = 0.0

        if self._steer is not None:
            if self._steer == 1:
                self._steer_cache += 0.03
            if self._steer == -1:
                self._steer_cache -= 0.03
            min(0.7, max(-0.7, self._steer_cache))
            self._control.steer = round(self._steer_cache,1)
        else:
            if self._steer_cache > 0.0:
                self._steer_cache *= 0.2
            if self._steer_cache < 0.0:
                self._steer_cache *= 0.2
            if 0.01 > self._steer_cache > -0.01:
                self._steer_cache = 0.0
            self._control.steer = round(self._steer_cache,1)

        # Ápply小车的控制参数
        self._vehicle.apply_control(self._control)

# 初始化安装在车辆后面的摄像头
camera_init_trans = carla.Transform(carla.Location(x=-5, z=3), carla.Rotation(pitch=-20))
camera_bp = world.get_blueprint_library().find('sensor.camera.rgb')
camera = world.spawn_actor(camera_bp, camera_init_trans, attach_to=ego_vehicle)

# 用PyGame回调启动camera
camera.listen(lambda image: pygame_callback(image, renderObject))

# 设置渲染画面size
image_w = 800
image_h = 600

# 为渲染和车辆控制实例化对象
renderObject = RenderObject(image_w, image_h)
controlObject = ControlObject(ego_vehicle)

# 初始化显示
pygame.init()
gameDisplay = pygame.display.set_mode((image_w,image_h), pygame.HWSURFACE | pygame.DOUBLEBUF)
# 填充黑色背景
gameDisplay.fill((0,0,0))
gameDisplay.blit(renderObject.surface, (0,0))
pygame.display.flip()


# 循环执行
crashed = False

while not crashed:
    # 等待同步
    world.tick()
    # 按帧更新渲染的Camera画面
    gameDisplay.blit(renderObject.surface, (0,0))
    pygame.display.flip()
    # 处理车辆控制请求
    controlObject.process_control()
    # 获取pygame事件
    for event in pygame.event.get():
        # If the window is closed, break the while loop
        if event.type == pygame.QUIT:
            crashed = True
        # 获得pygame控制车辆键盘事件
        controlObject.parse_control(event)

# 结束
ego_vehicle.destory()
camera.stop()
pygame.quit()

3、运行效果展示

  • 回车键:关闭自动驾驶 上键:前进 下键:后退 左键:往左 右键:往右
  • 注意需要关闭自动驾驶才能通过键盘去控制车辆上下左右运行。
    Carla自动驾驶仿真四:pygame渲染Camera画面及车辆控制(代码详解)

到了这里,关于Carla自动驾驶仿真四:pygame渲染Camera画面及车辆控制(代码详解)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 利用Pygame实时显示Carla中RGB相机的画面

      关于显示Carla中RGB相机的画面,我找到的几乎都是使用cv来显示的画面的,但是经过我自己尝试发现,利用cv来显示的画面帧数非常低,画面及其不流畅。如果你尝试过Carla自带的demo就会发现demo中用pygame制作窗口显示的画面就十分流畅,所以我就试着模仿demo利用pygame来显

    2024年02月16日
    浏览(34)
  • 计算机视觉与图形学-神经渲染专题-第一个基于NeRF的自动驾驶仿真平台

    如今,自动驾驶汽车可以在普通情况下平稳行驶,人们普遍认识到,真实的 传感器模拟将在通过模拟解决剩余的极端情况方面发挥关键作用 。为此,我们提出了一种基于神经辐射场(NeRF)的自动驾驶模拟器。与现有作品相比,我们的作品具有三个显着特点:(1) 实例感知

    2024年02月12日
    浏览(49)
  • 车辆驾驶自动化分级

    由人类驾驶员全权操作车辆,车辆在行驶中可以得到预警和保护系统的辅助作用 在系统作用范围内,通过系统对转向、制动、驱动等系统中的一项进行短时间连续控制,其他的驾驶动作都由人类驾驶员进行操作 在系统作用范围内,通过系统对转向、制动、驱动等系统中的多

    2024年02月16日
    浏览(41)
  • 自动驾驶——车辆动力学模型

    A矩阵离散化 B矩阵离散化 反馈计算 前馈计算: 超前滞后反馈:steer_angle_feedback_augment 参考【运动控制】Apollo6.0的leadlag_controller解析 控制误差计算 横向距离误差计算 横向误差变化率计算 航向角误差计算 航向角误差变化率计算 参考:Apollo代码学习(三)—车辆动力学模型

    2024年02月12日
    浏览(55)
  • 自动驾驶TPM技术杂谈 ———— 车辆分类

    机动车规格分类 分类 说明 汽车 载客汽车 大型 车长大于或等于 6000mm 或者乘坐人数大于或等于20 人的载客汽车。 中型 车长小于 6000mm 且乘坐人数为10~19 人的载客汽车。 小型 车长小于 6000mm 且乘坐人数小于或等于9 人的载客汽车,但不包括微型载客汽车。 微型 车长小于或等

    2024年02月09日
    浏览(40)
  • 自动驾驶控制算法——车辆动力学模型

    考虑车辆 y 方向和绕 z 轴的旋转,可以得到车辆2自由度模型,如下图: m a y = F y f + F y r (2.1) ma_y = F_{yf} + F_{yr} tag{2.1} m a y ​ = F y f ​ + F yr ​ ( 2.1 ) I z ψ ¨ = l f F y f − l r F y r (2.2) I_zddotpsi = l_fF_{yf} - l_rF_{yr} tag{2.2} I z ​ ψ ¨ ​ = l f ​ F y f ​ − l r ​ F yr ​ ( 2.2 ) 经验公

    2024年01月18日
    浏览(55)
  • 自动驾驶车辆运动规划方法综述 - 论文阅读

    本文旨在对自己的研究方向做一些记录,方便日后自己回顾。论文里面有关其他方向的讲解读者自行阅读。 参考论文:自动驾驶车辆运动规划方法综述 1 摘要 规划决策模块中的运动规划环节负责生成车辆的 局部运动轨迹 ,决定车辆行驶质量的决定因素 未来关注的重点: (

    2024年01月17日
    浏览(57)
  • 自动驾驶港口车辆故障及事故处理机制

    (1)单一传感器数据异常处理。自动驾驶电动平板传感方案为冗余设置,有其他传感器能够覆盖故障传感器观测区域,感知/定位模块将数据异常情况发给到规划决策模块,由“大脑”向中控平台上报故障,同时继续进行当前任务,任务完成后自主前往预设维修地点,或根据

    2024年02月12日
    浏览(49)
  • 【自动驾驶】二自由度车辆动力学模型

    车辆数学模型 车辆模型-动力学模型(Dynamics Model) 我们作如下假设: 车辆所受的空气的力只会对车身坐标系x轴方向上的运动有影响,y轴方向和沿着z轴的旋转不会受到空气力的影响; 车辆运行在二维平面中,也就是z轴无速度。 车辆轮胎力运行在线性区间。 在运动学模型中,

    2023年04月12日
    浏览(55)
  • 自动驾驶中camera方案(三)max96712

    本文为本人调试过程中记录,如果不对地方欢迎讨论:853906167@qq.com 将GMSL2/GMSL1的串行输入转换成MIPI CSI-2 的D-PHY/C-PHY接口输出 正向视频传输正在进行中时,同时允许每个链路传输双向控制通道数据 MAX96712可以接收多达四个远端传感器,使用行业标准的同轴电缆(COAX)或双绞线

    2023年04月15日
    浏览(75)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包