ArrayMemoryError

[Miguel9578]

下面是我路网匹配的参数设置，在进行卡口数据类的稀疏数据匹配时，匹配速度很慢，请问可以怎样调整参数呢，而且在长时间运行之后总是会出现内存不够的报错，附上报错截图，这个应该怎样解决呢

mpm = MapMatch(net=my_net, gps_buffer=1000,top_k=20,flag_name='wh_sample',time_format='ISO8601',dup_threshold=3,
       use_sub_net=True, use_heading_inf=True, omitted_l=6.0,beta=6,gps_sigma=30,
       del_dwell=True, dwell_l_length=50.0, dwell_n=2,
       instant_output=True,
       export_html=True, export_geo_res=False, use_gps_source=True,visualization_cache_times=10,
       export_all_agents=True,
       out_fldr=r'./data/output/match_visualization/wh_sample', dense_gps=False,
       gps_radius=15)

match_res, may_error_info, error_info = mpm.multi_core_execute(gps_df=gps_df,core_num=4)
#print(match_res)
match_res.to_csv(r'./data/output/match_visualization/sample/match_res.csv', encoding='utf_8_sig', index=False)
generate_check_file(my_net, warn_info_dict=warn_info,
                    out_fldr=r'./data/output/match_visualization/BUG/',
                    file_name='check_net')

[zdsjjtTLG]

你的GPS数据量有多大？多少个车？是否进行了行程切分？总共多少个GPS点？路网LINK数是多少？电脑内存多大？开多核比较费内存。
另外匹配一条大概花多少时间？

[zdsjjtTLG]

方便的话，数据发给我，我帮你看看

[Miguel9578]

GPS数据量在90w辆车，进行了行程切分后在1000w个GPS点，路网link数大概在9w接近10w条，电脑内存64G，部分匹配时间的截图放在下面了，如果您方便的话可以麻烦帮忙看一看，怎么把数据发给您呢

[zdsjjtTLG]

1. 速度：我看速度不算很慢把，__generate_st 花费1.45s，估计这条轨迹点比较多；基于C++的路径引擎我们已经在开发了，下一次版本更新，效率会提升不少；
2. 你的路网比较大，GPS数据量也很大，开四个核内存就翻四倍，你先按照我讲的：继续用4个核但是设置visualization_cache_times=1，export_all_agents=False，运行一次试一下，如果还会内存不够，就降低到三个核、两个核；
3. 然后我看你开了instanst_output=True，就是匹配完一条他会立马存储结果到磁盘，中途断了也不会影响已经匹配完的车，只要记录哪些已经匹配了，哪些还没有匹配，然后重新开一次程序去对没有匹配的车进行匹配就好了。

另外你的Net初始化的时候，参数怎么设置的？还开了fmm?

[zdsjjtTLG]

还有个建议，不要一次把你所有的GPS数据读进来，你这90W辆车，你把他分为20个批次，每个批次4.5W辆，这一个批次作为一个Batch，每个Batch开多核匹配，匹配完后，再去读取下一个Batch，FOR循环匹配每个Batch

[Miguel9578]

对的，开了fmm预计算，好，那我先尝试一下