Cette page requiert un navigateur avec support de Javascript. Votre navigateur ne prend pas en charge Javascript ou le support Javascript est désactivé. Les contrôles de saisie ne seront pas actifs et le formulaire ne pourra pas être enregistré. Vérifiez les options de votre navigateur.
Projet de grille d’analyse
destinée à être utilisée par la CNEDiMTS pour contribuer à son évaluation
de dispositifs médicaux embarquant des systèmes décisionnels
s'appuyant sur des procédés d'apprentissage automatique (« Intelligence artificielle »)
- Consultation publique -
La HAS estime qu’une approche collective est nécessaire pour construire une grille d’analyse qui contribuera, lors de ses évaluations, à appréhender le fonctionnement de la partie algorithmique des dispositifs médicaux. C’est l’objet de cette consultation publique.
Cette grille d’analyse proposée ne se substituera pas aux données cliniques nécessaires pour documenter les critères réglementaires d’évaluation mais constitue un pan descriptif essentiel pour les technologies impliquant des procédés d'apprentissage automatique.
Nous vous remercions de votre participation à ce projet.
Vous répondez à titre* :
Saisie obligatoire
Personnel
Collectif
Nom* :
Saisie obligatoire
Prénom* :
Saisie obligatoire
Courriel :
Téléphone :
Fonction / qualité* :
Saisie obligatoire
Type d'organisme* :
Saisie obligatoire
Institution ou organisme public
Société privée
Association de patients et d'usagers
Société savante
Autre
Précisez :
Nom de la structure* :
Saisie obligatoire
Nom du correspondant* :
Saisie obligatoire
Prénom du correspondant* :
Saisie obligatoire
Courriel :
Téléphone :
Fonction et qualité* :
Saisie obligatoire
Ces données sont confidentielles et ne seront seulement utilisées que pour l’analyse des résultats dans le cadre de cette consultation.
N.B. : Le questionnaire doit être complété en une fois. Aucun champ n’est obligatoire mais aucune sauvegarde n’est possible avant validation
.
Avant de remplir ce questionnaire, il est indispensable de prendre connaissance de la notice qui peut être téléchargée
ici
. Avez-vous pris connaissance de celle-ci ?
Oui
Non
Afin d’optimiser et d’adapter votre contribution au contexte dans lequel cet outil sera utilisé, il est indispensable de prendre connaissance de la notice (qui peut être téléchargée
ici
).
Finalité d'usage
1.
Préciser l'intérêt des informations qui seront fournies par le système en s'appuyant sur des procédés d'apprentissage automatique.
Par exemple, s'agit-il :
* d'aider le patient à adapter la posologie de son traitement ?
* d'aider le médecin à établir un diagnostic ou à sélectionner les examens à réaliser ?
* de prédire la survenue d'un événement ?
Cette formulation est-elle explicite ?
Oui
Oui, mais je souhaite apporter un commentaire
Non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
2.
Décrire les caractéristiques de la population visée pour l'indication du DM.
Celles-ci peuvent être :
* démographiques
* médicales…
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
Description de l'apprentissage
Le terme
apprentissage
désigne ici l'ensemble du processus.
Il inclut notamment les phases d'entrainement, de test, de validation et de rétrocontrôle
3.
Préciser le type d'apprentissage.
Est-il :
* continu (algorithme autoapprenant) ?
* initial (algorithme conçu par apprentissage puis non évolutif) ?
* ou incrémental (algorithme dont la structure et/ou les paramètres sont mis à jour par apprentissage) ?
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
4.
Décrire le type de modèle utilisé.
S'agit-il d'un apprentissage automatique :
* supervisé ?
* semi-supervisé ?
* non supervisé ?
* par renforcement ?
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
5.
Décrire le type d'algorithme utilisé :
* classification
* régression
* clustering
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
6.
Décrire la méthode de sélection du modèle.
Par exemple, à partir de modèles testés ou du fait de la priorité donnée à l'explicabilité de la méthode.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
7.
Décrire les différentes phases d’apprentissage et de contrôle.
Indiquer spécifiquement celles s’appuyant sur un apprentissage à partir de données individuelles ou collectives.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
8.
Décrire les stratégies de réentrainement.
Par exemple, la fréquence de réentrainement, les variables impliquées et la période de prise en compte des données.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
9. Indiquer, le cas échéant, dans quels cas un humain intervient dans le processus de réapprentissage.
Par exemple, en cas d'apprentissage actif, préciser la fréquence et la qualification de l'intervenant.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
Description des données d'entrée impliquées dans l'apprentissage initial ou le réapprentissage
Description des échantillons de la population utilisés pour développer le modèle
10. Préciser les caractéristiques de chaque échantillon.
Sont attendues : leur fonction, leur taille et leur composition. Les variables incluses doivent être citées. La manière dont sont pris en compte les événements rares doit être décrite.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
11.
Préciser leurs modalités de constitution ou, le cas échéant, la méthodologie de séparation ou de segmentation.
Par exemple, préciser les modalités de séparation des jeux de données d’entrainement, de test et de validation.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
12.
Justifier de la représentativité des échantillons utilisés pour l’apprentissage de l'algorithme par rapport aux échantillons auxquels cet algorithme sera exposé une fois déployé.
Une justification des critères de représentativité est attendue.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
Description des variables
13. Préciser les caractéristiques des variables :
*
type de variable
* distribution
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
14. Indiquer le mode d'acquisition des variables et leur origine lors du processus d'apprentissage.
Par exemple, une variable a-t-elle été saisie par un patient ? Provient-elle d'un capteur ? A-t-elle été générée à partir de modèles de patients virtuels ?
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
Description des traitements réalisés sur ces données en amont de leur utilisation durant l’apprentissage
15.
Décrire les tests pratiqués sur les données.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
16. Décrire les transformations appliquées aux données.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
17. Décrire la gestion des données manquantes.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
18.
Expliquer les règles de détection des données aberrantes et décrire la gestion de celles-ci.
En particulier, comment sont discriminées les données aberrantes des valeurs les moins probables.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
Description des données d'entrée impliquées dans la décision
19. Indiquer le mode d'acquisition des variables et leur origine.
Par exemple, une variable a-t-elle été saisie par un patient ? Provient-elle d'un capteur ?
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
20.
Préciser les caractéristiques des variables :
* type
* distribution
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
Performance
21.
Décrire et justifier le choix de le métrique c’est-à-dire la méthode de mesure de la performance.
Par exemple : RMSE, AUC, F1-score…
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
22.
Décrire les impacts potentiels des traitements opérés.
Par exemple, en cas de rééquilibrage de classes...
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
23. Caractériser le sur et le sous apprentissage.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
24.
Décrire les méthodes de gestion du sur et du sous apprentissage.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
Validation
25. Décrire les méthodes de validation.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
26. Rapporter les performances sur les différents jeux de données.
Par exemple, les résultats des bases de tests et validations, selon la répartition réalisée.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
Résilience du système
27.
Décrire les mécanismes mis en place pour mesurer la dérive du modèle.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
28. Préciser les seuils choisis (valeurs limites, taux d’erreur maximal…).
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
29.
Préciser s'il y a un système de détection d'anomalie des données d'entrée impliquées dans la décision.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
30.
Décrire les impacts potentiels dus à ces données d’entrée.
Par exemple :
* En cas de non correction des valeurs aberrantes
* En cas de d’utilisation de valeur déclaratives
* Du fait du niveau d’incertitude associé aux données d’entrée (données physiologiques, environnementales...)
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modificatio
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
31. Préciser les mesures mises en place en cas de dérive du modèle ou des données d'entrée.
Par exemple : mode dégradé, substitution de l’algorithme apprenant par un système expert…
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
32.
Décrire les situations identifiées comme étant susceptibles d’altérer fonctionnement du système.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
Explicabilité
33. Indiquer si l'algorithme peut bénéficier d'une technique d'explicabilité.
En particulier, pour les algorithmes autoapprenants, une technique d'explicabilité est-elle applicable pour permettre au clinicien ou au patient de comprendre les principaux facteurs ayant conduit à la décision prise ou proposée ?
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
34. Indiquer les éléments d'explicabilité mis à disposition.
Par exemple, indiquer si l'explicabilité de la prise de décision est enregistrée pour analyse a posteriori par des experts en cas de dérive du modèle.
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
35.
Identifier les paramètres influents.
Pour les algorithmes ayant eu un apprentissage initial ou incrémental, ces paramètres sont-ils identifiés et sont-ils en cohérence avec les connaissances scientifiques ?
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
36. Préciser si le mode d'action du système est cohérent.
Par exemple, le processus décisionnel est-il en accord avec les recommandations professionnelles, lorsqu'elles existent ?
Cette formulation est-elle explicite ?
oui
oui, mais je souhaite apporter un commentaire
non, pas assez, je souhaite proposer une modification
Commentaires :
Pour comprendre ou évaluer la partie du dispositif médical s'appuyant sur un apprentissage automatique, cette information est-elle ?
indispensable
utile
informative
Globalement, que pensez-vous du recueil de ces informations en complément des autres éléments liés à la description du DM et aux résultats cliniques recueillis ? En effet, ceux-ci font déjà l'objet d'un recueil spécifique au travers des
trames existantes des dossiers de demande de remboursement déposés par les industriels
.
1
2
3
4
5
6
7
8
9
1 (C'est une perte de temps)... 5 (Ne sais pas) ... 9 (C'est une démarche essentielle)
Si vous souhaitez nous faire part de commentaires plus généraux sur cette démarche ou sur les éléments recherchés, vous pouvez le faire dans ce champ :