Projet de grille d’analyse
destinée à être utilisée par la CNEDiMTS pour contribuer à son évaluation
de dispositifs médicaux embarquant des systèmes décisionnels
s'appuyant sur des procédés d'apprentissage automatique (« Intelligence artificielle »)
- Consultation publique -
logo.gif
La HAS estime qu’une approche collective est nécessaire pour construire une grille d’analyse qui contribuera, lors de ses évaluations, à appréhender le fonctionnement de la partie algorithmique des dispositifs médicaux. C’est l’objet de cette consultation publique.

Cette grille d’analyse proposée ne se substituera pas aux données cliniques nécessaires pour documenter les critères réglementaires d’évaluation mais constitue un pan descriptif essentiel pour les technologies impliquant des procédés d'apprentissage automatique.

Nous vous remercions de votre participation à ce projet.
Vous répondez à titre* :
Nom* :
Prénom* :
Courriel :
Téléphone :
Fonction / qualité* :
Type d'organisme* :
Précisez :
Nom de la structure* :
Nom du correspondant* :
Prénom du correspondant* :
Courriel :
Téléphone :
Fonction et qualité* :
Ces données sont confidentielles et ne seront seulement utilisées que pour l’analyse des résultats dans le cadre de cette consultation.
N.B. : Le questionnaire doit être complété en une fois. Aucun champ n’est obligatoire mais aucune sauvegarde n’est possible avant validation.
Avant de remplir ce questionnaire, il est indispensable de prendre connaissance de la notice qui peut être téléchargée ici. Avez-vous pris connaissance de celle-ci ?
Afin d’optimiser et d’adapter votre contribution au contexte dans lequel cet outil sera utilisé, il est indispensable de prendre connaissance de la notice (qui peut être téléchargée ici).
Finalité d'usage
1. Préciser l'intérêt des informations qui seront fournies par le système en s'appuyant sur des procédés d'apprentissage automatique.

 Par exemple, s'agit-il :
* d'aider le patient à adapter la posologie de son traitement ?
* d'aider le médecin à établir un diagnostic ou à sélectionner les examens à réaliser ?
* de prédire la survenue d'un événement ?
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
2. Décrire les caractéristiques de la population visée pour l'indication du DM.

Celles-ci peuvent être :
* démographiques
* médicales…
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
Description de l'apprentissage
Le terme apprentissage désigne ici l'ensemble du processus.
Il inclut notamment les phases d'entrainement, de test, de validation et de rétrocontrôle
3. Préciser le type d'apprentissage.

Est-il :
* continu (algorithme autoapprenant) ?
* initial (algorithme conçu par apprentissage puis non évolutif) ?
* ou incrémental (algorithme dont la structure et/ou les paramètres sont mis à jour par apprentissage) ?
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
4. Décrire le type de modèle utilisé.

S'agit-il d'un apprentissage automatique :
* supervisé ?
* semi-supervisé ?
* non supervisé ?
* par renforcement ?
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
5. Décrire le type d'algorithme utilisé :

* classification
* régression
* clustering
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
6. Décrire la méthode de sélection du modèle.

Par exemple, à partir de modèles testés ou du fait de la priorité donnée à l'explicabilité de la méthode.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
7. Décrire les différentes phases d’apprentissage et de contrôle.

Indiquer spécifiquement celles s’appuyant sur un apprentissage à partir de données individuelles ou collectives.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
8. Décrire les stratégies de réentrainement.

Par exemple, la fréquence de réentrainement, les variables impliquées et la période de prise en compte des données.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
9. Indiquer, le cas échéant, dans quels cas un humain intervient dans le processus de réapprentissage.

Par exemple, en cas d'apprentissage actif, préciser la fréquence et la qualification de l'intervenant.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
Description des données d'entrée impliquées dans l'apprentissage initial ou le réapprentissage
Description des échantillons de la population utilisés pour développer le modèle
10. Préciser les caractéristiques de chaque échantillon.

Sont attendues : leur fonction, leur taille et leur composition. Les variables incluses doivent être citées. La manière dont sont pris en compte les événements rares doit être décrite.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
11. Préciser leurs modalités de constitution ou, le cas échéant, la méthodologie de séparation ou de segmentation.

Par exemple, préciser les modalités de séparation des jeux de données d’entrainement, de test et de validation.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
12. Justifier de la représentativité des échantillons utilisés pour l’apprentissage de l'algorithme par rapport aux échantillons auxquels cet algorithme sera exposé une fois déployé.

Une justification des critères de représentativité est attendue.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
Description des variables
13. Préciser les caractéristiques des variables :

* type de variable
* distribution
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
14. Indiquer le mode d'acquisition des variables et leur origine lors du processus d'apprentissage.

Par exemple, une variable a-t-elle été saisie par un patient ? Provient-elle d'un capteur ? A-t-elle été générée à partir de modèles de patients virtuels ?
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
Description des traitements réalisés sur ces données en amont de leur utilisation durant l’apprentissage
15. Décrire les tests pratiqués sur les données.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
16. Décrire les transformations appliquées aux données.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
17. Décrire la gestion des données manquantes.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
18. Expliquer les règles de détection des données aberrantes et décrire la gestion de celles-ci.

En particulier, comment sont discriminées les données aberrantes des valeurs les moins probables.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
Description des données d'entrée impliquées dans la décision
19. Indiquer le mode d'acquisition des variables et leur origine.

Par exemple, une variable a-t-elle été saisie par un patient ? Provient-elle d'un capteur ?
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
20. Préciser les caractéristiques des variables :

* type
* distribution
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
Performance
21. Décrire et justifier le choix de le métrique c’est-à-dire la méthode de mesure de la performance.

Par exemple : RMSE, AUC, F1-score…
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
22. Décrire les impacts potentiels des traitements opérés.

Par exemple, en cas de rééquilibrage de classes...
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
23. Caractériser le sur et le sous apprentissage.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
24. Décrire les méthodes de gestion du sur et du sous apprentissage.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
Validation
25. Décrire les méthodes de validation.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
26. Rapporter les performances sur les différents jeux de données.

Par exemple, les résultats des bases de tests et validations, selon la répartition réalisée.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
Résilience du système
27. Décrire les mécanismes mis en place pour mesurer la dérive du modèle.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
28. Préciser les seuils choisis (valeurs limites, taux d’erreur maximal…).
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
29. Préciser s'il y a un système de détection d'anomalie des données d'entrée impliquées dans la décision.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
30. Décrire les impacts potentiels dus à ces données d’entrée.

Par exemple :
* En cas de non correction des valeurs aberrantes
* En cas de d’utilisation de valeur déclaratives
* Du fait du niveau d’incertitude associé aux données d’entrée (données physiologiques, environnementales...)
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
31. Préciser les mesures mises en place en cas de dérive du modèle ou des données d'entrée.

Par exemple : mode dégradé, substitution de l’algorithme apprenant par un système expert…
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
32. Décrire les situations identifiées comme étant susceptibles d’altérer fonctionnement du système.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
Explicabilité
33. Indiquer si l'algorithme peut bénéficier d'une technique d'explicabilité.

En particulier, pour les algorithmes autoapprenants, une technique d'explicabilité est-elle applicable pour permettre au clinicien ou au patient de comprendre les principaux facteurs ayant conduit à la décision prise ou proposée ? 
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
34. Indiquer les éléments d'explicabilité mis à disposition.

Par exemple, indiquer si l'explicabilité de la prise de décision est enregistrée pour analyse a posteriori par des experts en cas de dérive du modèle.
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
35. Identifier les paramètres influents.

Pour les algorithmes ayant eu un apprentissage initial ou incrémental, ces paramètres sont-ils identifiés et sont-ils en cohérence avec les connaissances scientifiques ?
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
36. Préciser si le mode d'action du système est cohérent.

Par exemple, le processus décisionnel est-il en accord avec les recommandations professionnelles, lorsqu'elles existent ?
Cette formulation est-elle explicite ?
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
Globalement, que pensez-vous du recueil de ces informations en complément des autres éléments liés à la description du DM et aux résultats cliniques recueillis ? En effet, ceux-ci font déjà l'objet d'un recueil spécifique au travers des trames existantes des dossiers de demande de remboursement déposés par les industriels.
1 (C'est une perte de temps)... 5 (Ne sais pas) ... 9 (C'est une démarche essentielle)
Si vous souhaitez nous faire part de commentaires plus généraux sur cette démarche ou sur les éléments recherchés, vous pouvez le faire dans ce champ :