Construire un modèle

1. Le modèle Machine Learning et sa grille

Un projet contient autant de modèles que nécessaire, présentés en onglets en haut de page, avec un « + » pour en créer un nouveau. Chaque modèle porte un nom et désigne la grille qu’il exploite, choisie juste sous son nom.

⚠️ Changer la grille d’un modèle remet à zéro ses X, son Y et ses lignes de test. C’est voulu : les colonnes d’une autre grille n’ont aucune raison de correspondre. Pour comparer deux jeux de données, créez deux modèles.

2. Choisir les X et le Y

Le tableau de gauche liste les colonnes de la grille avec deux colonnes de cases à cocher, X et Y.

• Y est la réponse à prédire. La cocher nomme le modèle d’après elle et choisit d’emblée le type de modèle : régression linéaire si Y est quantitatif, régression logistique s’il est qualitatif.
• X sont les facteurs explicatifs.

Trois règles de sélection qu’il vaut mieux connaître :

• une colonne constante ne peut pas être X : sa case est désactivée car sans variation, aucun effet n’est estimable ;
• seules les colonnes de répétition 1 sont proposées en X ;
• une même colonne ne peut pas être X et Y : cocher l’une décoche l’autre.

3. Choisir le type de modèle

La liste des types dépend de la nature de Y.

Y quantitatif

Y qualitatif = on ne prédit plus une valeur mais une classe :

Deux types disparaissent d’eux-mêmes quand ils ne s’appliquent pas :

• le processus gaussien exige des X tous quantitatifs et au plus 50 lignes d’apprentissage, au-delà, son coût de calcul explose ;
• la régression K-OPLS disparaît sur les grandes grilles (au-delà de 2 000 valeurs sur les colonnes sélectionnées).

💡 Commencer toujours par la régression linéaire ou logistique, même si l’on soupçonne du non-linéaire. Elle donne des p-values, un R² et des coefficients interprétables : de quoi savoir quels facteurs comptent. Les modèles plus souples prédisent parfois mieux, mais ils ne répondent pas à la question « sur quoi doit-on agir ? ».

4. Les options

Sous le type de modèle, la section Options expose les réglages propres au type choisi (profondeur maximale et nombre minimal d’individus par feuille pour un arbre, nombre d’arbres et part de variables pour une forêt, gamma et cost pour un SVM, taux d’apprentissage, nombre d’époques, régularisation et taille de couche cachée pour un réseau de neurones, nombre de composantes pour la PLS).

⚠️ Ces réglages ont des valeurs par défaut raisonnables. Les modifier sans méthode conduit à surajuster : un modèle qui reproduit parfaitement les données d’apprentissage et se trompe sur toute nouvelle pièce. C’est l’onglet Modèle/Observation et les lignes de test qui disent si vous avez gagné ou perdu.

5. Les termes du modèle

Sur une régression, l’onglet Coefficients ne fait pas que lire le modèle : c’est là qu’on le compose. Un sélecteur de termes permet d’ajouter aux effets principaux :

• les termes quadratiques : le carré d’un facteur, pour capter une courbure. Réservés aux facteurs quantitatifs à plus de deux niveaux : sur deux niveaux, un carré ne se distingue pas de la constante ;
• les interactions : le produit de deux facteurs ;
• la constante, qu’on peut éventuellement retirer du modèle.

Le tableau des coefficients donne, terme par terme : le coefficient, l’erreur standard, la statistique, la p value, la conclusion significatif et le VIF. Au-dessus figurent l’erreur standard du modèle, le n (ddl), le R² et le R² ajusté, ainsi que la droite du modèle, l’équation complète, copiable.

💡 Le VIF est le garde-fou qu’on oublie. Il mesure à quel point un terme est redondant avec les autres. Un VIF élevé signifie que le coefficient affiché n’est pas fiable, non pas que le facteur n’agit pas, mais que les données ne permettent pas de séparer son effet de celui d’un autre. Sur des données d’observation, c’est fréquent ; sur un plan d’expériences bien construit, cela ne doit pas arriver.

On peut supprimer un terme soit en l’éliminant du tableau des termes du modèle soit en cliquant sur « supprimer »

L’analyse automatique propose deux stratégies de sélection de termes :

• Vers l’avant : partir du modèle vide et ajouter les termes utiles un à un ;
• En arrière : partir du modèle complet et retirer les termes inutiles.

Le bouton Meilleur sous-ensemble va plus loin : il énumère les combinaisons de termes jusqu’à un nombre maxi de termes que vous fixez, affiche le nombre de régressions que cela représente, et classe les résultats par R² et R² ajusté. Chaque candidat s’applique d’un clic.

⚠️ Une sélection automatique de termes invalide les p-values au sens strict : on a essayé beaucoup de modèles et retenu le meilleur, ce que le calcul de p-value ne prend pas en compte. Le résultat reste un excellent point de départ, mais un modèle ainsi obtenu se confirme sur de nouvelles données, pas sur celles qui ont servi à le choisir.

En cas de facteurs qualitatifs, on peut choisir la modalité de référence (incluse dans la constante). La modalité de référence n’apparait pas dans le tableau de student.

6. Lire les résultats

La partie droite de l’écran présente les résultats en onglets. Les premiers dépendent du modèle, les suivants sont toujours là.

Onglets propres au modèle

Onglets communs

💡 Modèle/Observation est le seul onglet qui juge le modèle. Les points doivent s’aligner sur la diagonale, et surtout les lignes de test doivent s’y aligner aussi. Un modèle qui prédit parfaitement ses données d’apprentissage et rate les lignes de test n’a rien appris : il a mémorisé. C’est la seule erreur qui compte, et le R² ne la voit pas.

7. Taguchi

En cas de plan d’expérience à 2 niveaux, le tableau de Taguchi donne le graphe des effets pour toutes les colonnes de la table.

Sélectionner ou deselectionner une interaction. En cliquant sur le nom de l’interaction rouge, on la sélectionne, elle passe en vert. Idem en cliquant sur le nom vert elle passe en rouge. Une interaction sélectionnée faire apparaitre le graphe d’interaction correspondant. On peut changer l’axe x en cliquant sur la pastille bleue.

8. Modèle / Observation

Ce graphique donne sous différentes formes l’adéquation entre le modèle et l’observation. Plus les points sont proches de la droite plus le modèle est fidèle aux essais.

Un graphique très utile est le graphique Leviers vs Résidus. Les points doivent être dans le vert.

Si un point est dans le rouge vers le bas ou vers le haut cela vient d’un problème sur la réponse. Il y a une des réponses qui ne colle pas au modèle (valeur aberrante ?)

Si un point est dans le rouge vers la droite alors le problème est sur les X. Une des lignes d’essais est atypique au regard des autres lignes (exemple X varie de 5 à 10  sur l’ensemble des lignes sauf une ou X = 20)

9. Histogramme des résidus

Donne l’histogramme et l’analyse de normalité des résidus

Dans cet onglet on trouve le tableau avec les valeurs mesurées, prédites et la valeur des résidus.

Mais c’est dans ce tableau que l’on peut choisir soit de mettre une proportion de lignes en test de façon aléatoire ou les premiers, les derniers ou en choisissant les lignes dans la colonne test

10. Prévision

Cet onglet permet de prédire une réponse et son intervalle de confiance à partir du modèle pour n’importe quelle configuration.

11. Graphique 3D et 5D

Le menu 3D permet d’avoir une vue de la surface de réponse ne 3D On sélection 2 X et une configuration particulière des autres X pour afficher la représentation

Dans le cas ou on a suffisamment de facteurs X la vue 5D est proposée qui permet de voir Y en fonction de 4X en une seule figure (5 dimensions)

Dans l’exemple ci-dessous l’évolution puissance/vitesse dans 9 configuration de defocalisation/spot. On peut également mettre une grille 5×5 à la place de 3×3 pour être plus fin

12. Les autres modèles possibles avec Y Quantitatifs

PLS régression

La régression PLS s’utilise quand les X sont nombreux et corrélés entre eux : au lieu d’estimer un coefficient par facteur comme la régression classique, elle construit des composantes — des combinaisons de X — et régresse Y sur celles-ci. Le curseur Number of components fixe leur nombre, seul réglage réellement structurant du modèle.

Le graphique R² vs Number of components guide ce choix : on retient le nombre de composantes à partir duquel la courbe s’aplatit. Dans l’exemple, passer de 2 à 4 composantes n’apporte presque rien — le modèle est retenu à 2 composantes, avec un R² de 38,27 % et un R² ajusté de 32,65 % pour 22 degrés de liberté et une erreur standard de 2,42842.

Le tableau Regression coefficients redonne, comme en régression linéaire, la constante et un coefficient par facteur (Pression, Température, Opérateur (Robert), Hygrométrie) accompagné de son VIF. Ici les VIF restent proches de 1, signe que les facteurs ne sont pas redondants.

⚠️ Ajouter des composantes fait toujours monter le R² d’apprentissage : c’est la voie directe vers le surajustement. Le bon nombre de composantes se juge sur les lignes de test et l’onglet Modèle/Observation, pas sur le R².

Régression KOPLS

La régression K-OPLS est la version à noyau de la PLS : les X sont projetés dans un espace transformé par un noyau (ici RBF gaussien, avec son paramètre σ), ce qui permet de capter des relations non linéaires que la PLS classique ne voit pas. La case Standardiser X met les facteurs à la même échelle avant projection.

Deux familles de composantes sont réglées séparément : les composantes prédictives (A), qui portent l’information liée à Y, et les composantes orthogonales (B), qui absorbent la variation des X sans lien avec Y. Les boutons Trouver le meilleur noyau et Trouver la meilleure configuration cherchent automatiquement σ et le couple (A, B).

Les deux graphiques R² vs composantes servent à valider ce choix. Dans l’exemple, une seule composante prédictive suffit, au-delà le R² s’effondre, tandis que le R² progresse fortement jusqu’à 3 composantes orthogonales puis s’aplatit : la configuration retenue est A = 1 et B = 3, pour n = 25, p = 7, un noyau rbf (σ = 1,88736), une erreur standard de 1,15671 et un R² de 85,36 % (ajusté 84,72 %).

⚠️ Le K-OPLS ne donne ni p-values ni coefficients interprétables : il prédit, il n’explique pas. Il se juge donc uniquement sur l’onglet Modèle/Observation et les lignes de test. Le R² ajusté affiché repose de plus sur une approximation des degrés de liberté du noyau (ddl ≈ n − (A + 1)) : à lire comme un indicateur, pas comme une valeur exacte.

Réseaux de neurones

Le réseau de neurones est un perceptron multicouche (MLP) : les X traversent une ou plusieurs couches cachées de neurones avant de produire Y. La section Architecture fixe la fonction d’activation (ReLU par défaut) et la liste des couches cachées « + Ajouter une couche », puis le nombre de neurones de chacune (ici 16 puis 8). Plus les couches sont larges et nombreuses, plus le modèle est souple… et plus il risque de mémoriser les données.

La section Entraînement règle l’apprentissage : LR le taux d’apprentissage (1e-2 « très agressif » dans l’exemple), le planificateur LR qui le fait décroître au fil des itérations, Lot la taille des mini-lots (Full-batch = tout le jeu de données à chaque pas), L2 la régularisation qui bride les poids, et Itérations le nombre de passes. Le bouton Apprentissage lance le calcul.

Le tableau Statistiques donne n, p, l’erreur standard, le R² et le R² ajusté ; la courbe Perte d’entraînement montre la décroissance de la loss (MSE) au fil des itérations. Une courbe qui descend puis s’aplatit indique que l’apprentissage a convergé : prolonger les itérations n’apporte plus rien. Une courbe encore descendante à la dernière itération signifie l’inverse, il faut en ajouter.

⚠️ Dans l’exemple, R² = 100 % et une erreur standard de 0,00026 : le réseau reproduit exactement ses 25 lignes d’apprentissage. C’est le signe typique du surajustement, pas d’un bon modèle. Seuls l’onglet Modèle/Observation et les lignes de test permettent de trancher ; en cas d’écart, réduire la taille des couches, augmenter la régularisation L2 ou diminuer le nombre d’itérations.

13. Les modèles possibles avec Y Qualitatifs

Régression logistique binaire

La régression logistique binaire s’utilise quand Y ne prend que deux modalités (ici Qualitébin : OK / KO). Le modèle ne prédit pas une valeur mais la probabilité d’appartenir à la modalité étudiée ; l’onglet Coefficients se lit donc comme celui de la régression linéaire, avec quelques indicateurs propres.

Le tableau du haut fixe les modalités de référence : pour chaque X qualitatif (Traitement, Fournisseur) et pour Y. La référence est celle à laquelle tout est comparé elle n’apparaît pas dans le tableau des coefficients, et changer ce choix change la lecture des résultats sans changer le modèle. Un bandeau « Puis-je faire confiance au modèle ? » indique en outre si le nombre d’observations de la classe la plus rare par paramètre estimé est suffisant.

La ligne de statistiques remplace le R² de la régression linéaire : n, ddl, le χ² du modèle et sa p-value (la significativité globale), la déviance, puis trois pseudo-R², McFadden, Cox & Snell, Nagelkerke. Dans l’exemple, n = 180, χ² = 33,69 avec une p-value de 2,7·10⁻⁶ : le modèle apporte de l’information, même si les pseudo-R² (15,4 % à 24,3 %) restent modestes.

Le tableau Coefficients & signification donne, par terme : le coefficient, son sigma, la statistique z, la p-value, la conclusion de significativité en couleur, l’odds ratio avec son intervalle de confiance à 95 % et le VIF. L’odds ratio est la lecture la plus parlante : 2,66 pour Traitement (B) signifie que ce traitement multiplie par 2,66 la cote d’obtenir la modalité étudiée par rapport au traitement A.

💡 Un intervalle de confiance de l’odds ratio qui contient 1 signifie « effet non démontré » — c’est le cas de Fournisseur (C), dont l’intervalle va de 0,44 à 2,34. Inversement, Pression (OR = 1,09 par unité, IC 1,04–1,15) agit faiblement mais de façon certaine. Comme toujours, la qualité de classement se juge sur la matrice de confusion de l’onglet Modèle/Observation, pas sur les pseudo-R².

Régression logistique multinomiale

Quand Y comporte plus de deux modalités (ici Qualite : Mauvais / Bon / Acceptable), Ellistat bascule automatiquement en régression logistique multinomiale. Le principe reste le même, mais le modèle estime un jeu de coefficients par modalité de Y, chacune comparée à la modalité de référence choisie en haut de page — Mauvais dans l’exemple.

La ligne de statistiques se lit comme en binaire, avec un ddl plus élevé puisqu’il y a davantage de paramètres : n = 180, ddl = 10, χ² = 67,94 pour une p-value de 1,1·10⁻¹⁰, déviance 321,357, et des pseudo-R² de 17,45 % (McFadden), 31,44 % (Cox & Snell) et 35,52 % (Nagelkerke).

Le tableau Coefficients par classe présente une paire coefficient / p-value par modalité de Y. Une même ligne peut donc être significative pour une classe et pas pour une autre : Traitement (B) pèse nettement sur la probabilité d’être Bon plutôt que Mauvais (p = 0,0012) mais pas sur celle d’être Acceptable (p = 0,118). Un coefficient positif augmente la probabilité de la classe de la colonne par rapport à la référence.

Le tableau Tests globaux des termes (rapport de vraisemblance) répond à la question qui manque au précédent : « ce facteur agit-il, toutes classes confondues ? ». Chaque terme y reçoit un χ² RV et une p-value uniques — Pression (p = 9,3·10⁻⁷) et Température (p = 0,0003) sont très significatifs, Fournisseur l’est plus faiblement (p = 0,024).

💡 C’est le test global qu’il faut regarder en premier pour décider si un facteur reste dans le modèle. Les p-values par classe servent ensuite à comprendre où le facteur agit. Un facteur peut être globalement significatif sans qu’aucune de ses comparaisons individuelles ne le soit, et l’inverse arrive aussi — d’où l’intérêt d’avoir les deux tableaux.

Arbre de décision

L’arbre de décision découpe les données par une suite de questions binaires sur les X — « Fournisseur ≤ 0,5 ? », « Traitement ≤ 0,5 ? » — jusqu’à des feuilles qui portent chacune une classe prédite. C’est le modèle le plus lisible du menu : chaque chemin de la racine à une feuille se transcrit directement en consigne d’atelier.

L’onglet Configuration regroupe les réglages : le Critère de division (Gini ou entropie), la Profondeur maximum, l’Éch mini pour la division (nombre minimal d’individus pour qu’un nœud soit coupé), l’Éch min pour la feuille et le nombre d’éléments maximum. Le bouton Apprentissage reconstruit l’arbre après chaque modification.

Sous les réglages figurent l’Exactitude d’entraînement — la part d’individus bien classés, 49,4 % pour n = 180 et p = 3 dans l’exemple — puis le rappel des paramètres réellement obtenus : profondeur 4, 6 feuilles, critère gini.

Sur le graphe, chaque nœud interne affiche sa condition, sa profondeur et son impureté (imp) ; chaque feuille, en vert, affiche son effectif n, son impureté et la classe majoritaire avec sa probabilité — par exemple n = 27, Mauvais (p = 0,5556). Une impureté proche de 0 signale une feuille pure, donc une règle nette ; une impureté élevée signale une feuille où les classes restent mélangées, et la prédiction y est peu sûre.

⚠️ L’arbre est le modèle qui surajuste le plus vite : en augmentant la profondeur, on finit toujours par isoler chaque individu dans sa feuille et par atteindre 100 % d’exactitude d’entraînement sans rien avoir appris. Augmenter l’Éch min pour la feuille et limiter la profondeur sont les deux garde-fous ; la matrice de confusion de l’onglet Modèle/Observation, sur les lignes de test, tranche.

Forêt aléatoire

La forêt aléatoire construit non pas un arbre mais une centaine, chacun appris sur un tirage aléatoire des lignes (option Bootstrap) et sur un sous-ensemble aléatoire des X. La prédiction finale est le vote majoritaire de tous les arbres. Ce brassage corrige le principal défaut de l’arbre unique — son instabilité — au prix de la lisibilité : on ne peut plus lire le modèle comme une suite de règles.

L’onglet Configuration expose quatre réglages : le nombre d’arbres (100 par défaut), la Profondeur maximum (10), le Nb min d’échantillon par feuille (2) et l’interrupteur Bootstrap. Augmenter le nombre d’arbres ne surajuste pas — cela stabilise seulement la prédiction et allonge le calcul ; c’est la profondeur et le nombre minimal d’échantillons qui règlent la complexité.

Le bandeau donne l’exactitude d’entraînement — 97,8 % ici pour n = 180 et p = 5 — puis le rappel des paramètres retenus. À comparer aux 49,4 % de l’arbre unique sur les mêmes données : l’écart illustre le gain de précision, mais aussi le risque, puisque cette exactitude est mesurée sur les données d’apprentissage.

Le graphique Importance des caractéristiques classe les X par leur contribution à la qualité du classement, avec la valeur exacte rappelée sous le graphe : Pression 40,91 % et Température 40,75 % dominent nettement, les deux Fournisseur pèsent une dizaine de pour cent, et Traitement à −3,21 % n’apporte rien. C’est l’équivalent, pour la forêt, du tableau de significativité des régressions.

⚠️ Une importance négative ou quasi nulle signifie que le facteur dégrade légèrement la prédiction quand on le permute : il est du bruit pour le modèle. Attention toutefois, l’importance mesure une contribution prédictive, pas un effet causal, et deux facteurs corrélés se partagent l’importance au lieu de la cumuler. Comme pour l’arbre, le verdict se lit sur la matrice de confusion des lignes de test.

SVM – Support Vector Machine

Le SVM (Support Vector Machine) cherche la frontière qui sépare le mieux les classes, en maximisant la marge entre elle et les points les plus proches, les vecteurs de support. Grâce au noyau, cette frontière peut être très complexe dans l’espace des X d’origine, ce qui en fait un bon classifieur quand les classes ne se séparent pas par une droite.

L’onglet Configuration réunit les réglages : le Noyau (Rbf ici), C (Coût) qui règle la tolérance aux erreurs de classement — un C élevé colle aux données, un C faible accepte des erreurs pour garder une frontière lisse —, Gamma qui fixe la portée du noyau (Auto = 1/p), la Tolérance d’arrêt (1e-4 recommandé), le Nombre maximum de passes (10) et le Nombre maximum d’itérations (10 000).

Le bandeau affiche l’exactitude d’entraînement — 57,2 % pour n = 180 et p = 5 dans l’exemple — et l’encadré Paramètres du modèle rappelle la configuration réellement appliquée : noyau rbf, C = 180, gamma = auto, tol = 0,0001.

💡 C et Gamma se règlent ensemble et sont les deux seuls réglages qui comptent vraiment. Un Gamma trop grand crée une frontière qui épouse chaque point (surajustement) ; un C trop grand produit le même effet. Procéder par essais successifs en surveillant l’écart entre l’exactitude d’entraînement et les lignes de test, plutôt qu’en cherchant à maximiser la première.

⚠️ Le SVM ne fournit ni coefficients, ni p-values, ni importance des facteurs : il classe sans expliquer. Il se juge uniquement sur la matrice de confusion de l’onglet Modèle/Observation. Si l’objectif est de savoir sur quoi agir, la régression logistique ou la forêt aléatoire répondent mieux à la question.

Le KNN

Le KNN (K plus proches voisins) est le plus simple des classifieurs : il n’ajuste rien. Pour prédire une nouvelle configuration, il cherche dans les données les k lignes qui lui ressemblent le plus et retient la classe majoritaire parmi elles. Le « modèle » est donc le jeu de données lui-même : d’où sa force sur des cas déjà rencontrés, et sa faiblesse dès qu’on s’en éloigne.

L’onglet Configuration ne comporte que deux réglages : Voisins k (5 par défaut) et la Distance utilisée pour mesurer la ressemblance : Euclidien, Manhattan ou Chebyshev. Le bandeau donne ensuite l’exactitude d’entraînement, et l’encadré Paramètres du modèle rappelle la configuration appliquée (k = 5, métrique euclidienne).

Le choix de k arbitre entre bruit et lissage : un k petit colle aux données et réagit à chaque point isolé, un k grand lisse les frontières mais finit par prédire toujours la classe la plus fréquente. Un k impair évite les votes à égalité sur deux classes.

⚠️ Le KNN est sensible à l’échelle des X : un facteur exprimé en milliers écrase les autres dans le calcul de distance. Il se dégrade aussi vite quand les X sont nombreux. Comme le SVM, il ne fournit ni coefficients ni importance des facteurs, et se juge uniquement sur la matrice de confusion de l’onglet Modèle/Observation, lignes de test comprises.