How to handle duplicated clippings in My Clippings.txt

[mammuth]

On my Paperwhite's My Clippings.txt, a lot of highlights are duplicated. They are no identical dupes, but rather they're substrings of each other.

Made-up example:
clip 1: This is a highlight with information.
clip2: This is a highlight with information. But it also contains the next sentence.

My guess would be that this happens when you "extend" clippings on the Kindle by tapping the marked paragraph and then extend the end of it.

The user expected behavior, in this case, would be that only the longest variant of the clipping is stored.

Real example from my clippings file:

==========
Schnelles Denken, langsames Denken (German Edition) (Kahneman, Daniel)
- Ihre Markierung bei Position 7616-7627 | Hinzugefügt am Montag, 20. Mai 2019 17:14:46

Der taboo trade-off – eine »tabuisierte Kosten-Nutzen-Abwägung« – gegen jegliche Risikoerhöhung stellt keine effiziente Nutzung des Sicherheitsbudgets dar.16 Tatsächlich mag der Widerstand stärker durch eine egoistische Furcht vor Reue als durch den Wunsch motiviert sein, die Sicherheit des Kindes zu optimieren. Der »Was wenn?«-Gedanke, der sich allen Eltern aufdrängt, die einen solchen »Handel« eingehen, ist ein Bild der Reue und Scham, die sie empfinden würden, falls das Pestizid einen Gesundheitsschaden verursachen sollte. Die intensive Abneigung dagegen, ein erhöhtes Risiko gegen einen anderen Vorteil einzutauschen, manifestiert sich im großen Maßstab in den gesetzlichen Regelungen zur Risikobeschränkung. Dieser Trend ist besonders stark in Europa, wo das Vorsichtsprinzip, das jegliche Handlung verbietet, die andere schädigen könnte, ein allgemein anerkannter Grundsatz ist.17 Im Kontext der Rechtsordnung verlangt das Vorsichtsprinzip von jedem, der Handlungen unternimmt, die Menschen oder der Umwelt schaden könnten, den zweifelsfreien Nachweis der Unbedenklichkeit. Mehrere internationale Organisationen haben dargelegt, dass der fehlende wissenschaftliche Nachweis möglicher Schadensrisiken keine hinreichende Rechtfertigung für das Eingehen von Risiken ist. Der Jurist Cass Sunstein weist darauf hin, dass das Vorsichtsprinzip kostspielig ist und bei enger Auslegung den Fortschritt lähmen kann.
==========
Schnelles Denken, langsames Denken (German Edition) (Kahneman, Daniel)
- Ihre Markierung bei Position 7616-7629 | Hinzugefügt am Montag, 20. Mai 2019 17:15:03

Der taboo trade-off – eine »tabuisierte Kosten-Nutzen-Abwägung« – gegen jegliche Risikoerhöhung stellt keine effiziente Nutzung des Sicherheitsbudgets dar.16 Tatsächlich mag der Widerstand stärker durch eine egoistische Furcht vor Reue als durch den Wunsch motiviert sein, die Sicherheit des Kindes zu optimieren. Der »Was wenn?«-Gedanke, der sich allen Eltern aufdrängt, die einen solchen »Handel« eingehen, ist ein Bild der Reue und Scham, die sie empfinden würden, falls das Pestizid einen Gesundheitsschaden verursachen sollte. Die intensive Abneigung dagegen, ein erhöhtes Risiko gegen einen anderen Vorteil einzutauschen, manifestiert sich im großen Maßstab in den gesetzlichen Regelungen zur Risikobeschränkung. Dieser Trend ist besonders stark in Europa, wo das Vorsichtsprinzip, das jegliche Handlung verbietet, die andere schädigen könnte, ein allgemein anerkannter Grundsatz ist.17 Im Kontext der Rechtsordnung verlangt das Vorsichtsprinzip von jedem, der Handlungen unternimmt, die Menschen oder der Umwelt schaden könnten, den zweifelsfreien Nachweis der Unbedenklichkeit. Mehrere internationale Organisationen haben dargelegt, dass der fehlende wissenschaftliche Nachweis möglicher Schadensrisiken keine hinreichende Rechtfertigung für das Eingehen von Risiken ist. Der Jurist Cass Sunstein weist darauf hin, dass das Vorsichtsprinzip kostspielig ist und bei enger Auslegung den Fortschritt lähmen kann. **Er erwähnt eine eindrucksvolle Reihe von Innovationen, die den Test nicht bestanden hätten, darunter »Flugzeuge, Klimaanlagen, Antibiotika, Autos, Chlor, der Impfstoff gegen Masern, Operationen am offenen Herzen, Radio, Kältetechnik, der Windpocken-Impfstoff und Röntgenstrahlen«.**[This part is missing in the first clipping]
==========

[mammuth]

My guess would be that this happens when you "extend" clippings on the Kindle by tapping the marked paragraph and then extend the end of it.

I can confirm that this seems to be the reason for the duplicates.

[mammuth]

We probably need to be able to "delete"/hide clippings first (#14)?

[silic0n64]

The user expected behavior, in this case, would be that only the longest variant of the clipping is stored.

I think the latest highlight from the timestamp would be more appropiate user expected behaviour.

[flawnn]

Any update?

[flawnn]

https://github.com/flawnn/KindleClippingsCleaner

I have created a small script in JS (not python unfortunately), if anyone has time & motivation to tackle this, feel free to use this as a template for your work.