【复现论文】Looking here or there? Gaze Following in 360-Degree Images

这篇具有很好参考价值的文章主要介绍了【复现论文】Looking here or there? Gaze Following in 360-Degree Images。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

【复现论文】Looking here or there? Gaze Following in 360-Degree Images

论文:Looking here or there? Gaze Following in 360-Degree Images

论文链接:Looking here or there? Gaze Following in 360-Degree Images

复现github链接:Rao2000/gazefollow360: The paper “Looking here or there? Gaze Following in 360-Degree Images” implementing with Pytorch (github.com)

知乎链接: link

掘金链接:link

1.论文主要内容

在本文中,研究了一项新任务,即 360 度图像中的视线方向,并为这项新任务收集了一个新的大规模数据集“GazeFollow360”。论文指出这项新任务的主要挑战是由于 360 度图像中球体到平面投影引起的失真,人类受试者的注视目标和他/她的视线之间的不匹配。为了解决这个问题,我们提出了一个双路径框架,该框架由在 3D 球体空间中建模的视线引导,而不是简单地在 2D 图像平面坐标中,以检测局部区域(此处)和远处区域(那里)内的注视目标平行。论文的框架在GazeFollow360上的强大性能验证了它在理解真实3D世界中视线行为方面的潜力。

主要贡献可以分为三个部分:

(1)第一份在360展开图上研究gaze following的工作

(2) 建立了一个10058张图片的数据集

(3)提出了一个双支路的框架解决360场景下的gaze following
【复现论文】Looking here or there? Gaze Following in 360-Degree Images

2.复现工作

在发邮箱给论文一作,询问其是否开源代码无果后,尝试根据论文的信息去复现代码。

我简单的复现了一下论文,得到双支路模型在test dataset的实验结果

论文中的实验结果:

AUC sphere dist
test dataset 0.9350 0.6067

我复现的实验结果:

pixel dist norm dist AUC sphere dist
test dataset 443.5346 0.1584 0.8673 0.6157

容易看出,我复现的实验结果是比论文实验结果更差的,但是在同一个量级上。同时,在其他公开模型方法上,比如论文Detecting Attended Visual Targets in Video,也很难复现出论文的实验结果。

3.期望

最后欢迎大家指正我的复现结果,也期待官方早点开源吧。文章来源地址https://www.toymoban.com/news/detail-415984.html

到了这里,关于【复现论文】Looking here or there? Gaze Following in 360-Degree Images的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包