How to visualize the trajectory?

[yuyingliu717]

您好，非常感谢您公开您的工作！
项目中的evaluate_depth.py得到error数值。test_simple.py可以得到相应的深度图。
我运行项目中的evaluate_pose.py得到 Trajectory error。请问这部分怎么可视化得到您在论文中图8那样的轨迹图呢？

[ShuweiShao]

您好，感谢关注！
首先需要将相对位姿保存成npz形式，然后参考刚刚上传的visualize_pose.py文件，如有问题，请联系我！

[yuyingliu717]

非常感谢您及时的回复和对问题的解答。
我在evaluate_pose.py文件中修改以下代码所得到的.npz文件是不是就是所需要的预测到的our_poses.npz？
local_xyzs = np.array(dump_xyz(pred_poses[i:i + track_length - 1]))
gt_local_xyzs = np.array(dump_xyz(gt_local_poses[i:i + track_length - 1]))
np.savez_compressed(
'./AF-SfMLearner-main/splits/endovis/curve/our_poses.npz',
data=np.array(pred_poses))

[ShuweiShao]

是的

[AngeLouCN]

您好，谢谢您的工作。
我用代码复现，深度估计的结果可以达到论文中的效果。但是在可视化轨迹的时候与gt相差较大，请问对于哪里可能出问题有什么指教吗？ 感谢。

[ShuweiShao]

您好，请问您可以具体说下您是怎样可视化的嘛？

[AngeLouCN]

我后面下载了你权重，发现trajectory和你论文中所给出的一致。所以我觉得是训练的权重之间的差距（我用了你给的参数和代码进行训练），在训练方面你能给一些建议吗？

[ShuweiShao]

您是在SCARED数据集上训练的嘛，github给的权重是分阶段训练出来的，有测试过数值指标嘛?

[AngeLouCN]

我是根据你的这个链接下载的数据Endovis or SCARED dataset， 最后的数值上也有一定的差距， 我用的是end to end 的训练， 这个会对最后的结果有影响吗？

[ShuweiShao]

会有区别，但可视化结果应该不会这么差，有没有多测试几个模型看看可视化结果，深度网络的精度如何呢?

[AngeLouCN]

我先试试分步训练吧。能加个联系方式吗 类似wx之类的

[ShuweiShao]

shaoshuweifighting，vx

[jywu511]

您好，非常感谢公开您的工作。我复现的结果和AngeLouCN一样，也是轨迹上很差，然后用您公开的model跑出来的结果是好的。我是按阶段分开训练的，参数也和您的配置是一样的，但是我的数据划分和您不太一样，我用的是前4个dataset训练。我个人认为数据量应该也是够的。请问您对此有什么建议？谢谢！

[ShuweiShao]

hi, 您好，请问您现在torch用的什么版本呢，如果是高版本的话，在F. interpolate和F. grid_sample后都加个align_corners=True试试看。AngelouCN是这样解决的。

[jywu511]

非常感谢您的回复！我的torch版本确实是高的，是1.12.1。‘在F. interpolate和F. grid_sample后都加个align_corners=True’这个是在训练和测试的过程中都加是吗？

[ShuweiShao]

测试的时候有用到这两个函数吗? 有的话加试试看，没有就算了。

[jywu511]

好的，我去试试，非常感谢！

[jywu511]

Hi,
I tried to add 'align_corners=True' to 'F.interpolate' and 'grid_sample' when I trained the network. It can solve the problem perfectly. The result is perfect! Thanks very much!

Best regards

[ShuweiShao]

Received with thanks !

[bobcatcapoo]

您好，感谢关注！ 首先需要将相对位姿保存成npz形式，然后参考刚刚上传的visualize_pose.py文件，如有问题，请联系我！

您好，我在使用evaluate_pose.py时遇到一条报错
No such file or directory: '/AF-SfMLearner/splits/endovis/gt_poses_sq2.npz
请问此处的gt_pose_sq2.npz是在什么地方获取的呢？

[ShuweiShao]

您好，请参考https://github.com/ShuweiShao/AF-SfMLearner/blob/main/export_gt_pose.py

[bobcatcapoo]

您好，请参考https://github.com/ShuweiShao/AF-SfMLearner/blob/main/export_gt_pose.py

您好，感谢您的答复！我在运行visualize_pose.py时在
File "/AF-SfMLearner/visualize_pose.py", line 38, in
scale_our = dump_our * compute_scale(dump_gt, dump_our)
File "/AF-SfMLearner/visualize_pose.py", line 31, in compute_scale
scale = np.sum(gtruth[:, :3, 3] * pred[:, :3, 3]) / np.sum(pred[:, :3, 3] ** 2)遇到如下报错

ValueError: operands could not be broadcast together with shapes (552,3) (834,3)

请问您曾遇到过这个error嘛？是如何解决的呢？感谢您的帮助！