Skip to content

Commit

Permalink
Merge pull request #20 from etalab/numerot
Browse files Browse the repository at this point in the history
fix: supprimer la numérotation
  • Loading branch information
zhannasan authored Nov 19, 2024
2 parents 7c2e2a2 + a3d69af commit e80289b
Show file tree
Hide file tree
Showing 4 changed files with 15 additions and 17 deletions.
2 changes: 1 addition & 1 deletion I-Accompagnement/0_Intro.qmd
Original file line number Diff line number Diff line change
Expand Up @@ -5,7 +5,7 @@ Les **Large Language Models** sont des algorithmes d’intelligence artificielle

### Représentation du corpus de documents sous forme de matrice

Dans ce contexte, les **documents** forment les observations statistiques considérées (équivalent aux « individus » en statistique) et leur ensemble forme un *corpus* (équivalent à une « population »). Dans certains cas, les documents sont découpés en paragraphes qui forment les observations statistiques. Les **mots** ou les **chaînes de caractères** extraîts des documents jouent le rôle des variables.
Dans ce contexte, les **documents** forment les observations statistiques considérées (équivalent aux « individus » en analyse de données) et leur ensemble forme un *corpus* (équivalent à une « population »). Dans certains cas, les documents sont découpés en paragraphes qui forment les observations statistiques. Les **mots** ou les **chaînes de caractères** extraîts des documents jouent le rôle des variables.

Pour analyser un corpus, chaque document est représenté sous forme d'un **vecteur** et le corpus entier sous forme d'une **matrice**, où les **lignes** correspondent aux et les **colonnes** représentent les mots ou les chaînes de caractères.

Expand Down
2 changes: 1 addition & 1 deletion I-Accompagnement/1_cas_usage.qmd
Original file line number Diff line number Diff line change
Expand Up @@ -10,7 +10,7 @@ L'objectif de ce chapitre est d'accompagner la réflexion autour de l'identifica

Au sein des administrations, les cas d'usage de LLM ci-dessous sont en cours d'expérimentation, soit en production.

## A. Cas d’usage
## Cas d’usage
Des LLM peuvent être utilisés pour :

- **Labelliser / classifier les textes d’un corpus traitant d’un sujet, selon certaines catégories**.
Expand Down
6 changes: 3 additions & 3 deletions I-Accompagnement/3_Impacts.qmd
Original file line number Diff line number Diff line change
Expand Up @@ -7,7 +7,7 @@ format: html

## Impacts

### a. Environnementaux
### Impacts environnementaux

Le numérique est responsable de 2,5% de l’empreinte carbone de la France (17,2 Mt de CO2e & 20 millions de tonnes de déchets) selon l’étude [ARCEP & ADEME de 2023](https://www.arcep.fr/uploads/tx_gspublication/note-synthese-au-gouvernement-prospective-2030-2050_mars2023.pdf). Par contre, il n’existe aucun référentiel à ce jour pour mesurer l’impact environnemental des projets d’intelligence artificielle. À titre d'exemple, les émissions liées à l'entraînement de GPT-3 sont estimées à 552 tonnes de CO2eq [1] et son utilisation en janvier 2023 représenterait 10 113 tonnes de CO2eq [2]. Les ressources en eau, métaux et d'autres matériaux pour la fabrication et opération des infrastructures sont également conséquents.

Expand All @@ -23,7 +23,7 @@ Le coût environnementale lié aux infrastructures de calcul est mis à disposit



### b. Légaux
### Impacts légaux

La sécurité des données personnelles et des modèles est un enjeu considérable, que ce soit du point de vue personnel ou à l'échelle de l'administration. Par exemple, quand les modèles ne sont pas auto-hébergés, les entreprises qui les fournissent ont accès aux conversations tenus avec les chatbots. De plus ces données sont réutilisées pour l'entraînement et peuvent ressortir lors de conversations avec d'autres utilisateurs.

Expand All @@ -35,7 +35,7 @@ Pour aller plus loin :
- [Guide de la CNIL](https://www.cnil.fr/fr/ia-la-cnil-publie-ses-premieres-recommandations-sur-le-developpement-des-systemes-dintelligence)
- [Résumé haut niveau de l'AI Act](https://artificialintelligenceact.eu/fr/high-level-summary/)

### c. Sécurité
### Sécurité

En plus de la sécurisation commune aux applications produites par l'administration, certains sujets sont spécifiques aux modèles d'IA. L'ANSSI a écrit à ce sujet un guide de recommandations de sécurité pour sensibiliser aux risques et promouvoir les bonnes pratiques lors de la création et de la mise en production d'applications comportant des modèles d'IA générative.

Expand Down
22 changes: 10 additions & 12 deletions II-Developpements/4_Evaluations.qmd
Original file line number Diff line number Diff line change
Expand Up @@ -5,9 +5,9 @@ date: "2024-06-07"
format: html
---

## IV. Évaluations d'un modèle
## Évaluations d'un modèle

### 1. Objectif
### Objectif

Tous les LLM visent le même objectif : maîtriser le langage naturel et par là même, égaler l'humain dans des tâches
telles que le résumé, la traduction, la reconnaissance des entités nommées, etc.
Expand All @@ -27,7 +27,7 @@ Si de nombreux bancs d'essai existent aujourd'hui, permettant de distinguer cert
que de bonnes performances dans un banc d'essai ne sont pas suffisantes, et qu'il est primordial de mettre en place un
système d'évaluation quasi temps réél du LLM une fois en production.**

### 2. Quelques concepts à connaître
### Quelques concepts à connaître

**a) Scenario**

Expand Down Expand Up @@ -84,7 +84,7 @@ et d'une liste de questions portant sur ces paragraphes.

![](../images/piaf_example.png)

### 3 Datasets
### Datasets

Les performances des modèles peuvent être évaluées qu'en comparaison avec les connaissances existantes. Pour ce faire,
il est nécessaire de disposer d'ensembles de données de référence dont les résultats sont connus et vérifiés. Au cours
Expand Down Expand Up @@ -148,7 +148,7 @@ Plus d'informations sur Git : [https://github.com/nyu-mll/jiant](https://github.

[https://github.com/leobeeson/llm_benchmarks](https://github.com/leobeeson/llm_benchmarks).

### 4 Evaluation de modèles LLM vs. Evaluation de systèmes LLM
### Evaluation de modèles LLM vs. Evaluation de systèmes LLM

L'expression _évaluation de LLM_ peut recouvrir différentes pratiques et différents objectifs.
On doit ainsi distinguer l'**évaluations de modèles LLM** de l'**évaluations de systèmes LLM**.
Expand Down Expand Up @@ -181,7 +181,7 @@ mesurer le gain de performance apporté par un fine-tuning sur un corpus interne
évaluations de systèmes LLM qui intéresseront la
majorité des équipes souhaitant déployer un LLM dans leur administration.**

#### 4.1 Détails des métriques utilisées pour l'évaluation de modèles
#### Détails des métriques utilisées pour l'évaluation de modèles

Il n'existe pas de réponse simple à la question de savoir quelles métriques utiliser pour évaluer son système LLM. Cela
dépendra du type de tâche, de la population cible, de la nature des données, des ressources materielles disponibles, etc
Expand Down Expand Up @@ -222,9 +222,7 @@ Les métriques basées sur le Deep Learning permettent de palier ce problème en
On distingue en premier lieu les métriques qui ont besoin d'une valeur de référence et les autres.

Détenir une valeur de référence peut représenter une grosse contrainte. Tout d'abord, ce n'est pas toujours pertinent;
si
on demande
au LLM d'écrire un poème sur la mer par exemple, il serait vain de chercher à le comparer à un autre poème.
si on demande au LLM d'écrire un poème sur la mer par exemple, il serait vain de chercher à le comparer à un autre poème.
Deuxièmement, les textes de références
ne sont pas toujours de meilleure qualité que les textes générés par des LLM. Dans le cas du résumé automatique par
exemple, [[Fabbri, 2020](https://arxiv.org/abs/2007.12626)] illustre les problèmes du dataset
Expand Down Expand Up @@ -294,7 +292,7 @@ la
tâche de découpage du texte en affirmations élémentaires. Si les données à évaluer ne sont pas sensibles, nous
conseillons, pour l'heure, de privilégier un LLM propriétaire.~~

#### 4.2 Détails des métriques utilisées pour l'évaluation de systèmes
#### Détails des métriques utilisées pour l'évaluation de systèmes

| Catégorie | Métriques | Détails |
|--------------------------------------------------------|---------------------------------------|--------------------------------------------------------------------------------------------------------------------------------------------|
Expand Down Expand Up @@ -328,7 +326,7 @@ conseillons, pour l'heure, de privilégier un LLM propriétaire.~~



### 5 Librairies et Frameworks
### Librairies et Frameworks

A ce jour, il existe des nombreux outils et librairies pour effectuer l'évaluation des modèles LLM. Chaque de ces
librairies et frameworks est taillée pour une utilisation de modèle concrète avec des exemples pour vous aider à
Expand Down Expand Up @@ -375,7 +373,7 @@ Autres sources : ...

---

### 6 Méthodologie
### Méthodologie

Un arbre de décision pour l'évaluation des LLM peut vous aider à guider votre processus d'évaluation en fonction de
critères et d'objectifs spécifiques de votre modèle et son évaluation. Voici un exemple de tel arbre de décision qui
Expand Down

0 comments on commit e80289b

Please sign in to comment.