Performance requete et ecriture fichier

[joelclems]

Amélioration des performances

utilisation de yield_per(n) pour découper les requetes

• taille n configurable ?

code actuel

module export

gn_module_export/backend/gn_module_export/repositories.py

Lines 101 to 104 in f48b65e

	if self.export.geometry_field and EXPORT_FORMAT[format]["geofeature"]:
	data = self.exportobject_query_definition.as_geofeature()
	else:
	data = self.exportobject_query_definition.return_query()

dépôt utils

https://github.com/PnX-SI/Utils-Flask-SQLAlchemy/blob/4a1d299100fa3076caab81b1274ae9750d37bd9c/src/utils_flask_sqla/generic.py#L268

https://github.com/PnX-SI/Utils-Flask-SQLAlchemy/blob/4a1d299100fa3076caab81b1274ae9750d37bd9c/src/utils_flask_sqla/generic.py#L254-L257

• Il faudrait que les object GenericQuery (GenericQueryGeo) puisse renvoyer l'object query (et non query.all()) pour pouvoir ensuite l'exploiter dans le module d'export en utilisant query.yield_per(n)

• Comment faire pour les geojson ?

  • utilisation des méthodes des modèles as geojson ??
  • créer une requete avec (colonnes + geom) et utiliser la fonction postgis ST_AsGeoJSON ?

écriture incrémentale d'un fichier

• dans la boucle de yield_per
• csv trivial
• voir ce qui existe pour
  • geojson / json
    • https://stackoverflow.com/questions/36157634/how-to-incrementally-write-into-a-json-file
  • format compréssés (zip/autres)

[camillemonchicourt]

Duplicate #110