Plug pour vérifier le bon fonctionnement du worker

[AntoineAugusti]

Ajoute un plug pour vérifier que notre worker fonctionne correctement.

Le plug répond pour toutes les requêtes HTTP sur le worker, il répond un statut 200 si :

• l'application a été démarrée il y a moins de 20 minutes
• au moins 1 job a été exécuté dans les dernières 60 minutes par Oban

Si ces 2 conditions sont fausses alors le plug répond un statut 503, ce qui causera un redémarrage de l'application par le monitoring de notre hébergeur.

PS : cette branche est déployée sur prochainement depuis quelques heures

[AntoineAugusti]

Je vais voir pour ajouter une metric dans AppSignal ensuite https://docs.appsignal.com/metrics/custom.html

Ou voir si le plugin Oban fait l'affaire, sans être cher.

[thbar]

Merci - je vérifie auprès de l'hébergeur qu'un 503 est bien comme on s'y attend tous les deux, un indicateur qu'ils vont respecter à 100% pour redémarrer.

[AntoineAugusti]

En regardant la doc AppSignal pour Oban et les metrics en particulier,

je pense que j'activerais bien la configuration, pour les metrics et en limitant le bruit pour les erreurs uniquement aux jobs qui ont vraiment échoué (et non une nouvelle tentative).

Soit

  # See https://docs.appsignal.com/elixir/integrations/oban.html
  instrument_oban: true,
  # Report errors when the job is discarded due to the error.
  # Use this option to only report errors when all job retries have been exhausted.
  report_oban_errors: "discard",

On pourra alors regarder le graph de

oban_job_count: the amount of jobs processed, tagged by the job's worker, queue and status.

et éventuellement ajouter une alerte en plus

[thbar]

Je vais voir pour ajouter une metric dans AppSignal ensuite https://docs.appsignal.com/metrics/custom.html

Si besoin ->

transport-site/apps/transport/lib/transport/appsignal_ecto_telemetry.ex

Line 44 in f9f563d

Appsignal.add_distribution_value("ecto.queue_time", System.convert_time_unit(queue_time, :native, :millisecond))

[thbar]

En regardant la doc AppSignal pour Oban et les metrics en particulier,

On n'a pas activé le logging moderne non plus qui est dans la documentation.

Par contre un peu préoccupé que ça perturbe le système si on change trop de choses, je me demande si rester sur un simple restart, qui aide à passer les fêtes, n'est pas suffisant ; est-ce que tu veux passer le reste avant les fêtes aussi ?

[AntoineAugusti]

@thbar Non, peut-être trop gourmand. Restart peut-être suffisant, avec une distribution uniquement. Pour pas ajouter trop de choses dans AppSignal ou avoir des listeners de partout.

Mais dans une PR à suivre. Pour vérifier le bon fonctionnement en conditions réelles le plus vite possible (c'est déjà OK en staging depuis ce matin).

[thbar]

Je partage aussi les réponses de l'auteur d'Oban en chat:

There are a few possibilities, and the fact that restarting helps narrows it down. Did you have any database issues (high load, slow queries, etc)?
Which version of Oban, and do you have logging enabled?
There are only a few possible causes: leadership issue, notification issue, job staging issue, job fetching issue. The logging and other info will help diagnose.
Side note—this is the subject of one of our talk proposals for ElixirConf EU

I mean Oban specific logging (https://hexdocs.pm/oban/preparing_for_production.html#logging) via attach_default_logger/1. That includes information about whether the instance is isolated, which “staging” mode it’s using, etc.

As Jason noted, this could be from a crashed Postgres notifier, like this seemingly related forum post https://elixirforum.com/t/oban-supervisor-not-restarting-oban-notifiers-postgres/68192

[AntoineAugusti]

Yes faut qu'on plug le logger par défaut d'Oban pour capturer les erreurs dans AppSignal, mais ça semble être un problème de pool Ecto qui est plein ou lent et qui déconnecte le scheduler.

Surement expliqué par la pression de la validation NeTEx et du trafic sur le proxy GTFS-RT.

[AntoineAugusti]

J'ai mis quelques tests en plus 35f64e7

[AntoineAugusti]

J'ai ajouté la metric, j'ai push la branche sur staging, j'irai vérifier que ça remonte bien dans AppSignal.

[thbar]

Top, c'est cool d'avoir un hot-fix pour les vacances, merci beaucoup.

Deux remarques mineures mais ça me paraît cool, et Clever Cloud a confirmé que HTTP 503 était fiable à utiliser car ils redémarrent bien avec ça.

[AntoineAugusti]

Je peux bien graph la metric dans AppSignal

[thbar]

Je peux bien graph la metric dans AppSignal

Top ! On pourra se mettre une alerte sur seuil je pense.

Ou bien j'ajoute dans updown avec notification dans Mattermost...