Crear un modelo

1. Le modèle Machine Learning et sa grille

Un projet contient autant de modèles que nécessaire, présentés en onglets en haut de page, avec un « + » pour en créer un nouveau. Chaque modèle porte un nom et désigne la grille qu’il exploite, choisie juste sous son nom.

⚠️ Changer la grille d’un modèle remet à zéro ses X, son Y et ses lignes de test. C’est voulu : les colonnes d’une autre grille n’ont aucune raison de correspondre. Pour comparer deux jeux de données, créez deux modèles.

2. Choisir les X et le Y

Le tableau de gauche liste les colonnes de la grille avec deux colonnes de cases à cocher, X y Y.

• Y est la réponse à prédire. La cocher nomme le modèle d’après elle et choisit d’emblée le type de modèle : régression linéaire si Y est quantitatif, régression logistique s’il est qualitatif.
• X sont les facteurs explicatifs.

Trois règles de sélection qu’il vaut mieux connaître :

• une colonne constante ne peut pas être X : sa case est désactivée car sans variation, aucun effet n’est estimable ;
• seules les colonnes de répétition 1 sont proposées en X ;
• une même colonne ne peut pas être X et Y : cocher l’une décoche l’autre.

3. Choisir le type de modèle

La liste des types dépend de la nature de Y.

Y quantitatif

Y qualitatif = on ne prédit plus une valeur mais une classe :

Deux types disparaissent d’eux-mêmes quand ils ne s’appliquent pas :

• el processus gaussien exige des X tous quantitatifs et au plus 50 lignes d’apprentissage, au-delà, son coût de calcul explose ;
• la régression K-OPLS disparaît sur les grandes grilles (au-delà de 2 000 valeurs sur les colonnes sélectionnées).

💡 Commencer toujours par la régression linéaire ou logistique, même si l’on soupçonne du non-linéaire. Elle donne des p-values, un R² et des coefficients interprétables : de quoi savoir quels facteurs comptent. Les modèles plus souples prédisent parfois mieux, mais ils ne répondent pas à la question « sur quoi doit-on agir ? ».

4. Les options

Sous le type de modèle, la section Options expose les réglages propres au type choisi (profondeur maximale et nombre minimal d’individus par feuille pour un arbre, nombre d’arbres et part de variables pour une forêt, gamma et cost pour un SVM, taux d’apprentissage, nombre d’époques, régularisation et taille de couche cachée pour un réseau de neurones, nombre de composantes pour la PLS).

⚠️ Ces réglages ont des valeurs par défaut raisonnables. Les modifier sans méthode conduit à surajuster : un modèle qui reproduit parfaitement les données d’apprentissage et se trompe sur toute nouvelle pièce. C’est l’onglet Modèle/Observation et les lignes de test qui disent si vous avez gagné ou perdu.

5. Les termes du modèle

Sur une régression, l’onglet Coefficients ne fait pas que lire le modèle : c’est là qu’on le compose. Un sélecteur de termes permet d’ajouter aux effets principaux :

• los termes quadratiques : le carré d’un facteur, pour capter une courbure. Réservés aux facteurs quantitatifs à plus de deux niveaux : sur deux niveaux, un carré ne se distingue pas de la constante ;
• los interacciones : le produit de deux facteurs ;
• la constante, qu’on peut éventuellement retirer du modèle.

Le tableau des coefficients donne, terme par terme : le coefficient, l’erreur standard, la estadística, la p value, la conclusion significatif y el VIF. Au-dessus figurent l’erreur standard du modèle, le n (ddl)el R² y el R² ajusté, ainsi que la droite du modèle, l’équation complète, copiable.

💡 Le VIF est le garde-fou qu’on oublie. Il mesure à quel point un terme est redondant avec les autres. Un VIF élevé signifie que le coefficient affiché n’est pas fiable, non pas que le facteur n’agit pas, mais que les données ne permettent pas de séparer son effet de celui d’un autre. Sur des données d’observation, c’est fréquent ; sur un plan d’expériences bien construit, cela ne doit pas arriver.

On peut supprimer un terme soit en l’éliminant du tableau des termes du modèle soit en cliquant sur « supprimer »

L’analyse automatique propose deux stratégies de sélection de termes :

• Vers l’avant : partir du modèle vide et ajouter les termes utiles un à un ;
• En arrière : partir du modèle complet et retirer les termes inutiles.

El botón Meilleur sous-ensemble va plus loin : il énumère les combinaisons de termes jusqu’à un nombre maxi de termes que vous fixez, affiche le nombre de régressions que cela représente, et classe les résultats par R² et R² ajusté. Chaque candidat s’applique d’un clic.

⚠️ Une sélection automatique de termes invalide les p-values au sens strict : on a essayé beaucoup de modèles et retenu le meilleur, ce que le calcul de p-value ne prend pas en compte. Le résultat reste un excellent point de départ, mais un modèle ainsi obtenu se confirme sur de nouvelles données, pas sur celles qui ont servi à le choisir.

En cas de facteurs qualitatifs, on peut choisir la modalité de référence (incluse dans la constante). La modalité de référence n’apparait pas dans le tableau de student.

6. Lire les résultats

La partie droite de l’écran présente les résultats en onglets. Les premiers dépendent du modèle, les suivants sont toujours là.

Onglets propres au modèle

Onglets communs

💡 Modèle/Observation est le seul onglet qui juge le modèle. Les points doivent s’aligner sur la diagonale, et surtout les lignes de test doivent s’y aligner aussi. Un modèle qui prédit parfaitement ses données d’apprentissage et rate les lignes de test n’a rien appris : il a mémorisé. C’est la seule erreur qui compte, et le R² ne la voit pas.

7. Taguchi

En cas de plan d’expérience à 2 niveaux, le tableau de Taguchi donne le graphe des effets pour toutes les colonnes de la table.

Sélectionner ou deselectionner une interaction. En cliquant sur le nom de l’interaction rouge, on la sélectionne, elle passe en vert. Idem en cliquant sur le nom vert elle passe en rouge. Une interaction sélectionnée faire apparaitre le graphe d’interaction correspondant. On peut changer l’axe x en cliquant sur la pastille bleue.

8. Modèle / Observation

Ce graphique donne sous différentes formes l’adéquation entre le modèle et l’observation. Plus les points sont proches de la droite plus le modèle est fidèle aux essais.

Un graphique très utile est le graphique Leviers vs Résidus. Les points doivent être dans le vert.

Si un point est dans le rouge vers le bas ou vers le haut cela vient d’un problème sur la réponse. Il y a une des réponses qui ne colle pas au modèle (valeur aberrante ?)

Si un point est dans le rouge vers la droite alors le problème est sur les X. Une des lignes d’essais est atypique au regard des autres lignes (exemple X varie de 5 à 10  sur l’ensemble des lignes sauf une ou X = 20)

9. Histogramme des résidus

Donne l’histogramme et l’analyse de normalité des résidus

Dans cet onglet on trouve le tableau avec les valeurs mesurées, prédites et la valeur des résidus.

Mais c’est dans ce tableau que l’on peut choisir soit de mettre une proportion de lignes en test de façon aléatoire ou les premiers, les derniers ou en choisissant les lignes dans la colonne test

10. Prévision

Cet onglet permet de prédire une réponse et son intervalle de confiance à partir du modèle pour n’importe quelle configuration.

11. Graphique 3D et 5D

Le menu 3D permet d’avoir une vue de la surface de réponse ne 3D On sélection 2 X et une configuration particulière des autres X pour afficher la représentation

Dans le cas ou on a suffisamment de facteurs X la vue 5D est proposée qui permet de voir Y en fonction de 4X en une seule figure (5 dimensions)

Dans l’exemple ci-dessous l’évolution puissance/vitesse dans 9 configuration de defocalisation/spot. On peut également mettre une grille 5×5 à la place de 3×3 pour être plus fin