pytorch初接触——唐宇迪教教程的3D卷积视频动作识别。接触之后，发现pytorch比tensorflow的用户体验要好一点点，TF由于兼容性问题，从其他地方拿到代码，第一感觉就是跑不起来，很多代码都是基于TF1.x写的，跟2.x一堆不兼容问题。由此开始研究pytorch，后面用的顺手可能直接转pytorch，目前这个架构开始追赶TF。
一、pytorch基本步骤
python每个架构都有大致的操作步骤，学习过程中，查找API资料以及通过代码摸索，我总结了pytorch的基本操作步骤，如下：
①.定义model
model = Model
②.定义参数、优化器、loss
train_params = [{'params': params(model), 'lr': lr}]
criterion = nn.CrossEntropyLoss()#loss function
optimizer = optim.SGD(train_params,lr=lr,momentum=0.9,weight_decay=5e-4)
③.to decive
model.to(device)
criterion.to(device)
④.开始epoch循环
for input, target in dataset:
model.trian()
inputs = Variable()
labels = Varibale()
optimizer.zero_grad()
output = model(input)
pre = nn.activaiton()
loss = loss_fn(output, target)
loss.backward()
optimizer.step()
二、网络基本架构
开始前需要配置环境，我使用的是torch1.13 + cuda11.6，GPU版本，安装后如果要知道是否能使用GPU进行计算，就使用这句代码：torch.cuda.is_available() ，输出为True即表示GPU可以使用。
整个代码由几个部分组成：①.dataloader进行视频数据的处理；②train进行epoch训练；③inference进行预测。这个代码说是由一篇论文复现的，但我没有去看论文，model部分的代码直接复制唐宇迪源码（如有倾权，一定删除）。
1.dataloader数据处理
这部分我觉得是重点，理解整个代码，在这里花费了很长时间。这部分的思路是：定义基本参数，例如截取视频帧的数量等——判断输出路径文件夹是否建立、文件夹中的jpg是否符合情况——处理视频数据。preprocess(self)这个函数的作用是判断有没有建立train\val\test三个文件夹，如果有没有的话就使用os.mkdir函数建立这三个文件夹，用于存放处理后的jpg文件。process_video(self,video,action_name,save_dir)这个函数就是正式开始处理视频，EXTRACT_FREQUENCY这个参数的目的是为了每隔4个frame截取一张图片，如果整个视频截取小于16张frame，那EXTRACT_FREQUENCY-1，直到能够凑够16张frame以上为止。以下为这两个函数源码：
def preprocess(self):
if not os.path.exists(self.output_dir):
os.mkdir(self.output_dir)
os.mkdir(os.path.join(self.output_dir,'train'))
os.mkdir(os.path.join(self.output_dir, 'val'))
os.mkdir(os.path.join(self.output_dir, 'test'))
for file in os.listdir(self.root_dir):
file_path = os.path.join(self.root_dir,file)
video_files = [name for name in os.listdir(file_path)]
train_and_valid, test = train_test_split(video_files,test_size=0.2,random_state=42)
train,val = train_test_split(train_and_valid,test_size=0.2,random_state=42)
train_dir = os.path.join(self.output_dir,'train',file)
# print("train_dir is ",train_dir)
val_dir = os.path.join(self.output_dir,'val',file)
test_dir = os.path.join(self.output_dir,'test',file)
if not os.path.exists(train_dir):
os.mkdir(train_dir)
if not os.path.exists(val_dir):
os.mkdir(val_dir)
if not os.path.exists(test_dir):
os.mkdir(test_dir)
for video in train:
self.process_video(video,file,train_dir)
for video in val:
self.process_video(video, file, val_dir)
for video in test:
self.process_video(video, file, test_dir)
print('Preprocessing finished')
def process_video(self,video,action_name,save_dir):
# video name:v_ApplyEyeMakeup_g01_c01.avi
video_filename = video.split('.')[0]
if not os.path.exists(os.path.join(save_dir,video_filename)):
os.mkdir(os.path.join(save_dir,video_filename))
capture = cv2.VideoCapture(os.path.join(self.root_dir,action_name,video))
frame_count = int(capture.get(cv2.CAP_PROP_FRAME_COUNT))
frame_width = int(capture.get(cv2.CAP_PROP_FRAME_WIDTH))
frame_height = int(capture.get(cv2.CAP_PROP_FRAME_HEIGHT))
# Make sure splited video has at least 16 frames
EXTRACT_FREQUENCY = 4
if frame_count // EXTRACT_FREQUENCY <= 16:
EXTRACT_FREQUENCY -= 1
if frame_count // EXTRACT_FREQUENCY <= 16:
EXTRACT_FREQUENCY -= 1
if frame_count // EXTRACT_FREQUENCY <= 16:
EXTRACT_FREQUENCY -= 1
count = 0
i = 0
retaining = True
while (count < frame_count and retaining):
retaining, frame = capture.read()
if frame is None:
continue
# resize the img and save to save_dir
if count % EXTRACT_FREQUENCY == 0:
if (frame_height != self.resize_height) or (frame_width != self.resize_width):
frame = cv2.resize(frame, (self.resize_width, self.resize_height))
cv2.imwrite(filename=os.path.join(save_dir, video_filename, '0000{}.jpg'.format(str(i))), img=frame)
i += 1
count += 1
# Release the VideoCapture once it is no longer needed
capture.release()2.train进行训练
这里的模型采用C3D_model，3D卷积与2D卷积的最大区别在于多了一个时间维度T，是将视频拆解为多个frame，然后同时输出model中，将每一帧溶入到一个维度中，也就是现在的卷积核变为mxnxT，T对应多个图像。这里整个模型的参数如下：
nEpochs = 30#这里我只采用30个，跑一个需要10min，跑完这30个我花了5.5h，精度才到0.58
model = C3D_model.C3D(num_classes=num_classes,pretrained=False)
criterion = nn.CrossEntropyLoss()#loss function
optimizer = optim.SGD(train_params,lr=lr,momentum=0.9,weight_decay=5e-4)
model.to(device) criterion.to(device)
3.inference进行预测
在执行这个代码时，程序在下面这里报错，信息显示在forward(inputs)这里有问题。
with torch.no_grad():
outputs = model.forward(inputs)
具体是view这里报错，查了网上的解决方案，需要在view前面加上.contiguous().这一段，随后就可以正常运行了。
x = x.contiguous().view(-1, 8192)
我这边使用的配置是3060+6g的笔记本跑这个程序，30个epoch也只有0.58的准确率，用test数据测试的结果确实不是100%准确，如下图，结果应该是ApplyEyeMakeup，但识别到的是ApplyLipstick。
文章来源：https://www.toymoban.com/news/detail-404443.html
整个项目的代码和下载链接在：https://download.csdn.net/download/wenpeitao/87346700文章来源地址https://www.toymoban.com/news/detail-404443.html
到了这里，关于Python——基于pytorch的3D视频动作识别的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
