【地图匹配（ST-matching）】GPS 轨迹数据预处理——T-Driver数据集【持续更新中】-Toy模板网

这篇具有很好参考价值的文章主要介绍了【地图匹配（ST-matching）】GPS 轨迹数据预处理——T-Driver数据集【持续更新中】。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、数据介绍

1.数据链接

https://download.csdn.net/download/skyman30/87432266?spm=1001.2014.3001.5503https://download.csdn.net/download/skyman30/87432266?spm=1001.2014.3001.5503

2.数据内容

此数据集包含北京市出租车从2008年2月2日到2008年2月8日的GPS轨迹数据，其中共包含10357辆出租车的数据，其中每个文件由出租车ID，时间、经度、纬度构成。该数据集中的轨迹点总数约为1500 万条，轨迹的总距离达到900万公里。其中连续两个轨迹坐标点的平均采样间隔约为 177秒，距离约为623米。这个数据集的每个文件，由出租车ID命名，包含一个出租车的轨迹。以下是一个文件的样例：

id time longitude latitude

1,2008-02-02 15:36:08,116.51172,39.92123

1,2008-02-02 15:46:08,116.51135,39.93883

1,2008-02-02 15:56:08,116.51627,39.91034

二、数据预处理

1.合并文件

首先将所有的轨迹数据合并到一个文件中方便处理

import os

path = '数据所在文件夹路径'
files = [f for f in os.listdir(path) if f.endswith('.txt')]

#保存到merged_file.txt文件中
with open('merged_file.txt', 'w') as outfile:
    for file in files:
        with open(os.path.join(path, file)) as infile:
            outfile.write(infile.read() + '\n')

2.读取文件

利用pandas读取合并后的文件

import pandas as pd
gps_data = pd.read_csv('合并文件路径',names=['id','time','longitude','latitude'])

读取结果

【地图匹配（ST-matching）】GPS 轨迹数据预处理——T-Driver数据集【持续更新中】

3.排序

按照id号和时间进行排序

gps_data=gps_data.sort_values(by=['id','time']).reset_index(drop=True)

排序后的结果

【地图匹配（ST-matching）】GPS 轨迹数据预处理——T-Driver数据集【持续更新中】

4.统计原始数据量

一共有17662984条gps数据

raw_length = len(gps_data) #值为17662984

5.加入时间戳

6.计算采样点之间的时间差

7.计算采样点之间的经纬度距离（Haversine距离计算）

8.计算采样点之间的速度

9.按照日期划分数据集

三、数据清洗

1.清除重复数据

2.清除超出地理坐标范围的轨迹

3.删除微小轨迹

【后面内容待更改】

5. 数据去重

由于数据中重复的数据是无效数据，因此需要去除

gps_data_drop_dup = gps_data.drop_duplicates().reset_index(drop=True)

去重之后的结果

【地图匹配（ST-matching）】GPS 轨迹数据预处理——T-Driver数据集【持续更新中】

6.统计去重后的数据量

去重之后共有16325487条数据，去除了1337497条数据（7.5%的数据）

7.经纬度坐标分布

查看数据中最大与最小的经纬度

max_latitude = max(gps_data_1.latitude)
max_longitude =max(gps_data_1.longitude)
min_latitude =min(gps_data_1.latitude)
min_longitude =min(gps_data_1.longitude)

#运行结果
#(96.06767, 0.0, 255.3, 0.0)

可以由此推断出经纬度坐标数据中存在异常，因此进一步查看情况

查看经纬度的数据分布

#查看经度数据分布
gps_data_1.longitude.describe()

【地图匹配（ST-matching）】GPS 轨迹数据预处理——T-Driver数据集【持续更新中】

#查看纬度分布
gps_data_1.latitude.describe()

【地图匹配（ST-matching）】GPS 轨迹数据预处理——T-Driver数据集【持续更新中】

由此推断部分坐标点超出北京坐标范围，因此需要将这部分数据进行删除，为了方便后续研究，这里的范围采取北京是五环的坐标范围。

8.去除超出范围的数据

#如果坐标范围限定在北京市五环内那么范围是116.17 - 116.62，39.83 - 40.05,对gps数据进行筛选
gps_data_2 = gps_data_1[(gps_data_1['latitude']>39.83)&
                        (gps_data_1['latitude']<40.05)&
                        (gps_data_1['longitude']>116.17)&
                        (gps_data_1['longitude']<116.62)]
gps_data_2 = gps_data_2.reset_index(drop=True)

对坐标异常值清洗后的数据

【地图匹配（ST-matching）】GPS 轨迹数据预处理——T-Driver数据集【持续更新中】

其中共清除4629807条数据（占26%）

9.保存数据

#保存数据清理之后的gps数据
gps_data_2.to_csv('文件路径',index=False)

【由于以上处理方式会误删很多点，因此没有往后继续做】

二、数据预处理【第二版】

三、地图匹配

1.获取路网数据

路网数据从openstreatmap获取，利用osmnx包下载，获取之后保存为shapefile文件以便地图匹配时需要

import osmnx as ox

#获取路网数据
beijing_road=ox.graph_from_bbox(40.05,39.83,116.62,116.17,network_type='drive')
#保存为shapefile文件
ox.save_graph_shapefile(beijing_road,'文件路径')

2.可视化路网

#可视化路网
ox.plot_graph(beijing_road,figsize=(15,15),show=False,close=False,node_size=4)

【地图匹配（ST-matching）】GPS 轨迹数据预处理——T-Driver数据集【持续更新中】

3.将gps数据投影到路网上

先投影一部分数据看看

import matplotlib.pyplot as plt
#1.先将gps点的经纬度提取出来
latitude = gps_data_2.latitude.to_list()
longitude = gps_data_2.longitude.to_list()

#投影
fig,ax = ox.plot_graph(beijing_road,figsize=(15,15),show=False,close=False,node_size=4)
ax.scatter(longitude[:100000],latitude[:100000],s=0.5,alpha=1,c='red')#投影10万个坐标点
plt.show()

【地图匹配（ST-matching）】GPS 轨迹数据预处理——T-Driver数据集【持续更新中】