Comment optimiser une expérience pour voir un effet le plus souvent possible?

4. Augmenter alpha:

Un expérimentateur doit diminuer au maximum le recouvrement entre le modèle Ho et H1.

Il serait tenté d'augmenter la surface alpha afin d'accroître la puissance (1-ß). Cette pratique n'est cependant pas recommandée.

L'expérimentateur délimite arbitrairement un intervalle de confiance (1-alpha) et une erreur de type I (alpha) mais par définition alpha doit être petit.

Soit il n'y a pas d'effet :

modifier alpha (si l'effet n'existe pas)

En augmentant alpha, l'expérimentateur rejettera plus souvent l'hypothèse nulle à tort.

Soit il y a un effet :

modifier alpha (si l'effet existe

Si on réalise un test avec un grand alpha :

En cas de RHo, la confiance est faible.
En cas d'AHo, le risque d'erreur est inconnu.

Aucune décision n'est fiable.

En conclusion:

Si la valeur observée se retrouve dans la zone de rejet de l'hypothèse nulle, cela veut dire que:

elle appartient à la population de référence mais, par hasard, il a obtenu une valeur observée qui est très éloignée de la moyenne de la population de référence. La probabilité de l'obtenir dans cette population de référence est très faible mais pas impossible.
elle est trop éloignée de la moyenne de la population de référence. Elle n'a pas été obtenue par hasard et, par conséquent, le modèle H1 est très vraisemblable.

Remarques:

1.	La seule chose que l'expérimentateur peut faire avec la surface alpha, c'est la rendre plus petite pour la rendre plus difficilement accessible. Cela entraîne une diminution de la puissance.

2.	Si un expérimentateur fixe un alpha nul, il ne prend aucun risque mais considérera toujours une valeur observée comme conforme. Par exemple, si le alpha est très petit, le seuil de signification à atteindre pour considérer le poids d'un individu comme trop élevé est pratiquement impossible à atteindre. Le poids d'un sumo risque d'être assimilé à un poids tout à fait habituel chez un homme adulte alors qu'il devrait être considéré comme un obèse.

3.	L'erreur de type I (alpha) résulte donc d'un compromis: alpha ne doit pas être trop grand. Si on rejette Ho, il faut avoir une grande confiance en sa décision. alpha ne doit pas être trop petit car s'il y a un effet à voir, le seuil de signification risque d'être impossible à atteindre vu son éloignement par rapport à la moyenne de la population de référence.