ABテスト (並行テスト) においてt検定やカイ二乗検定を使うときの注意点

#- データ生成用関数
data_gen <- function(mu, beta0, beta1, gamma, phi, sigma, N) {
  y0 <- y1 <- numeric(length = N) # 従属変数
  y0[1] <- y1[1] <- mu + rnorm(n = 1, mean = 0, sd = sigma) # 初期値 (群間差はなし)
  # データの生成
  for(t in 2:N) {
    error <- rnorm(n = 2, mean = 0,sd = sigma)
    y0[t] <- mu + beta0 * (t-1) + phi * y0[t-1] + error[1] # 統制群
    y1[t] <- mu + beta0 * (t-1) + phi * y1[t-1] + beta1 * (t-1) + gamma + error[2] # 実験群
  }
  
  data <- as.data.frame(cbind(1:N, y0, y1))
  return(data)
}

#- シミュレーション繰り返し用関数
cond_sim <- function(mu, beta0, beta1, gamma, phi, sigma, N, Iter=10000) {
  #- データ生成と検定
  res_test <- numeric(length = Iter) # 検定結果の格納
  for(iter in 1:Iter) {
    temp_y <- data_gen(mu = mu,beta0 = beta0,beta1 = beta1,gamma = gamma,phi = phi,sigma = sigma,N = N) # データ生成
    res <- t.test(temp_y$y0, temp_y$y1) # t検定
    if((res$p.value < 0.05) & (diff(res$estimate) > 0)) { # 差の符号も気にするように (phase Bが上がる想定)
      res_test[iter] <- 1 # 有意
    }else {
      res_test[iter] <- 0 # 有意差なし
    }
  } # for loop
  
  # 有意になった割合を返す
  return(mean(res_test))
}

mu <- 0 # ベースの水準
gamma_seq <- c(4.8, 5, 5.2) # 群間差γ
seqN_phi <- 50 # 自己相関の条件数
phi_seq <- c(seq(-1, -0.001, length.out=seqN_phi/2), seq(0, 1, length.out=seqN_phi/2)) # 自己相関の条件
res_plot <- matrix(NA, nrow = seqN_phi, ncol = length(gamma_seq)) # 格納用
for(i in 1:seqN_phi) {
  for(j in 1:length(gamma_seq)) {
    res_plot[i, j] <- cond_sim(mu = mu,beta0 = 1,beta1 = 0,gamma = gamma_seq[j],
                               phi = phi_seq[i],sigma = 1,N = 30,Iter = 2000)
  }
  print(i)
}

mu <- 0 # ベースの水準
beta1_seq <- c(0.38, 0.4, 0.45) # trend差β1の条件
seqN_phi <- 50 # 自己相関の条件数
phi_seq <- c(seq(-1, -0.001, length.out=seqN_phi/2), seq(0, 1, length.out=seqN_phi/2)) # 自己相関の条件
res_plot <- matrix(NA, nrow = seqN_phi, ncol = length(beta1_seq)) # 格納用
for(i in 1:seqN_phi) {
  for(j in 1:length(beta1_seq)) {
    res_plot[i, j] <- cond_sim(mu = mu,beta0 = 1,beta1 = beta1_seq[j],gamma = 0,
                               phi = phi_seq[i],sigma = 1,N = 30,Iter = 2000)
  }
  print(i)
}