Bonjour à tous,

J'ai découvert ajourd'hui le package multtest, qui permet d'ajuster des p-valeurs pour les tests multiples.
Je voudrais savoir si certains d'entre vous l'ont déjà utilisé car je me pose quelques questions.
Je l'ai essayé sur mes données et pour la méthode "ABH", je n'ai eu aucun résultat :

Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
head(resultats_tests_methodes_ajustement$adjp)
             rawp   Bonferroni         Holm     Hochberg           BH
[1,] 1.155173e-41 4.066210e-39 4.066210e-39 4.066210e-39 4.066210e-39
[2,] 1.909754e-36 6.722334e-34 6.703237e-34 6.703237e-34 3.361167e-34
[3,] 3.497786e-35 1.231221e-32 1.224225e-32 1.224225e-32 4.104069e-33
[4,] 7.946113e-30 2.797032e-27 2.773193e-27 2.773193e-27 6.992579e-28
[5,] 6.304676e-26 2.219246e-23 2.194027e-23 2.194027e-23 4.438492e-24
[6,] 1.382612e-23 4.866795e-21 4.797664e-21 4.797664e-21 7.696601e-22
               BY ABH    TSBH_0.65
[1,] 2.619561e-38  NA 2.310347e-41
[2,] 2.165353e-33  NA 1.909754e-36
[3,] 2.643951e-32  NA 2.331857e-35
[4,] 4.504806e-27  NA 3.973056e-30
[5,] 2.859395e-23  NA 2.521870e-26
[6,] 4.958355e-21  NA 4.373068e-24
Je me demande si cela est dû à mes données ou à un bug.

De plus, avec la méthode TSBH, je me trouve à rejeter plus de tests que sans ajustement... Ce qui me semble pas possible d'un point de vue statistique... Peut-être que j'obtiens de tels résultats car j'ai mal compris la signification du paramètre alpha (paramètre à fournir en entrée de la fonction mt.rawp2adjp). J'ai compris que c'est une estimation du nombre de vraie hypothèses nulles, basée sur les résultats obtenus avec BH.
Pour moi, alpha= (nombre de tests à réaliser - nombre de tests à rejeter d'après BH) / nombre de tests à réaliser.

Pouvez-vous me dire ce que vous pensez de alpha et de manière plus générale, du package multtest ?

Merci d'avance,
Jane

Je mets ci-dessous une partie de la description de la fonction permettant ces calculs :
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
 
mt.rawp2adjp             package:multtest              R Documentation
 
Adjusted p-values for simple multiple testing procedures
 
Description:
 
     This function computes adjusted p-values for simple multiple
     testing procedures from a vector of raw (unadjusted) p-values. The
     procedures include the Bonferroni, Holm (1979), Hochberg (1988),
     and Sidak procedures for strong control of the family-wise Type I
     error rate (FWER), and the Benjamini & Hochberg (1995) and
     Benjamini & Yekutieli (2001) procedures for (strong) control of
     the false discovery rate (FDR).  The less conservative adaptive
     Benjamini & Hochberg (2000) and two-stage Benjamini & Hochberg
     (2006) FDR-controlling procedures are also included.
 
Arguments:
 
    rawp: A vector of raw (unadjusted) p-values for each hypothesis
          under consideration. These could be nominal p-values, for
          example, from t-tables, or permutation p-values as given in
          ‘mt.maxT’ and ‘mt.minP’. If the ‘mt.maxT’ or ‘mt.minP’
          functions are used, raw p-values should be given in the
          original data order, ‘rawp[order(index)]’.
 
    proc: A vector of character strings containing the names of the
          multiple testing procedures for which adjusted p-values are
          to be computed. This vector should include any of the
          following: ‘"Bonferroni"’, ‘"Holm"’, ‘"Hochberg"’,
          ‘"SidakSS"’, ‘"SidakSD"’, ‘"BH"’, ‘"BY"’, ‘"ABH"’, ‘"TSBH"’.
          Adjusted p-values are computed for simple FWER- and FDR-
          controlling procedures based on a vector of raw (unadjusted)
          p-values by one or more of the following methods
 
         ABH Adjusted p-values for the adaptive Benjamini & Hochberg
              (2000) step-up FDR-controlling procedure.  This method
              ammends the original step-up procedure using an estimate
              of the number of true null hypotheses obtained from
              p-values.
 
          TSBH Adjusted p-values for the two-stage Benjamini & Hochberg
              (2006) step-up FDR-controlling procedure.  This method
              ammends the original step-up procedure using an estimate
              of the number of true null hypotheses obtained from a
              first-pass application of ‘"BH"’.  The adjusted p-values
              are a-dependent, therefore ‘alpha’ must be set in the
              function arguments when using this procedure.