Extend perf2usfm to handle non-uW texts

[mvahowe]

The data I'm testing with is at https://raw.githubusercontent.com/Proskomma/proskomma-json-tools/main/test/test_data/fra_lsg_mrk_perf_doc.json - you should be able to load it as a JSON HTTP source.

I noticed 3 things, in ascending order of importance:

• most of the verse numbers are at the end of paragraphs
• I'm not seeing footnotes
• All the words of Jesus are missing! (These are marked up with \wj tags which are probably related to the problem).

[mvahowe]

Output for the end of that PERF:

\v 9
Jésus, étant ressuscité le matin du premier jour de la semaine, apparut d’abord à Marie de Magdala, de laquelle il avait chassé sept démons. \v 10
Elle alla en porter la nouvelle à ceux qui avaient été avec lui, et qui s’affligeaient et pleuraient. \v 11
Quand ils entendirent qu’il vivait, et qu’elle l’avait vu, ils ne le crurent point. \v 12
Après cela, il apparut, sous une autre forme, à deux d’entre eux qui étaient en chemin pour aller à la campagne. \v 13
Ils revinrent l’annoncer aux autres, qui ne les crurent pas non plus. \v 14
Enfin, il apparut aux onze, pendant qu’ils étaient à table; et il leur reprocha leur incrédulité et la dureté de leur cœur, parce qu’ils n’avaient pas cru ceux qui l’avaient vu ressuscité.
\r
V. 15-20: cf. (Mt 28:16-20. Lu 24:46-49, 50-53. Ac 1:1-12.) Jn 21:1-24. 1 Co 15:6, 7.
\p
\v 15
Puis il leur dit: \w*
\p
\v 16
\w*\w* \v 17
\w*\w*\w* \v 18
\w*\w* \v 19
Le Seigneur, après leur avoir parlé, fut enlevé au ciel, et il s’assit à la droite de Dieu. \v 20
Et ils s’en allèrent prêcher partout. Le Seigneur travaillait avec eux, et confirmait la parole par les miracles qui l’accompagnaient.

[larsgson]

I noticed 3 things, in ascending order of importance:

• most of the verse numbers are at the end of paragraphs
• I'm not seeing footnotes
• All the words of Jesus are missing! (These are marked up with \wj tags which are probably related to the problem).

I now started a new branch for this issue

• verse numbers are now adapted
• what tag do the footnotes have and where are they to be found in the action list?
• as far as I can tell the \wj tags never appear in the "localToUsfmActions" stream - I do not find them in any action list?

[mvahowe]

Footnotes are a graft type so you need an inlineGraft handler.

wj is a wrapper.

[larsgson]

Footnotes are a graft type so you need an inlineGraft handler.

wj is a wrapper.

I just checked also the inlineGraft handler (changed test to true)
and even here it seems that these are not available (at least not coming from the fra/lsg/tit.usfm you sent me)

• i.e. these inlineGraft parts do not appear in the rendering actionlist

[DanielC-N]

(check made with : https://ubsicap.github.io/usfm/index.html)

After few testings :
here's an exhaustive list of the markers that aren't handled for Matthew LSG 1910 (click for the link) :

• it (link)
• wj (link)
• ior(link)
• xo (link)
• xt (link)
• ord (link)

Those are all inline wrappers but this information needs to be double checked.

[DanielC-N]

The \q marker have also an odd behavior :
tests with Matthew LSG 1910 (click for the link)

With a simple usfm2perf and a perf2usfm pipeline.
I end up with this kind of behavior :

[samueljd]

While testing perf2usfm with Psalms, footnotes \f …\f* get stripped.
And \q , \mt , \ms markers insert a new line.