スミルノフ・グラブス検定は、正規分布を仮定した標本において、最大値または最小値が外れ値かどうか判定する検定の一つである。
外れ値を除去する際、外れ値を一つずつ検証することよりも、外れ値がすべて除去されたデータだけがほしいときもあるのではないだろうか。

ここでは、正規分布を仮定したデータからスミルノフ・グラブス検定を繰り返し用いて外れ値を除去するソースコードをご紹介する。
このソースコードは、次のサイトのソースコードを参考にさせていただいた。

R — スミルノフ・グラブス検定

さっそくだが、スミルノフ・グラブス検定を繰り返し用いて外れ値を除去するソースコードは次になる。


remove.outliers <- function(x, conf.level = 0.95)
{
  x <- x[!is.na(x)]
  del.val <- NULL
  
  while (TRUE) {
    n <- length(x)
    if (n < 3) {
      break
    }
    
    r <- range(x)
    t <- abs(r - mean(x)) / sd(x)
    q <- sqrt((n - 2) / ((n - 1) ^ 2 / t ^ 2 / n - 1))
    p <- n * pt(q, n - 2, lower.tail = FALSE)
    
    if (t[1] < t[2]) {
      if (p[2] < 1 - conf.level) {
        del.val <- c(del.val, r[2])
        x <- x[x != r[2]]
        next
      }
    } else {
      if (p[1] < 1 - conf.level) {
        del.val <- c(del.val, r[1])
        x <- x[x != r[1]]
        next
      }
    }
    break
  }
  return(list(x = x, del.val = del.val))
}

参考にさせていただいたサイトにあるデータで試すと、次のようになり結果は一致する。


> x <- c(133, 134, 134, 134, 135, 135, 139, 140, 140, 140,
         141, 142, 142, 144, 144, 147, 147, 149, 150, 164)
> remove.outliers(x)
$x
 [1] 133 134 134 134 135 135 139 140 140 140 141 142 142 144 144 147 147 149 150

$del.val
 [1] 164

このデータに対して極端な値を追加して試すと、次のようになり、外れ値がすべて除去されたデータだけが手に入る。


> x <- c(-100, -50, 133, 134, 134, 134, 135, 135, 139, 140, 140, 140,
          141, 142, 142, 144, 144, 147, 147, 149, 150, 164, 200, 300)
> remove.outliers(x)
$x
 [1] 133 134 134 134 135 135 139 140 140 140 141 142 142 144 144 147 147 149 150

$del.val
 [1] -100  -50  300  200  164

関連する記事

  • UbuntuでRStudioの外観をDarkに変更する方法UbuntuでRStudioの外観をDarkに変更する方法 Ubuntu上のRStudio(ver 1.0.153)の外観をダークテーマに変更する方法をお伝えします。 2017年8月31日時点の安定版RStudioには、外観を変更する機能は搭載されておりません。しかし、daily […]
  • R実装と解説 母平均の検定(母分散未知) [latexpage] 母分散が未知の場合の母平均の検定とは、母集団が正規分布に従い、母分散が未知のときに母平均が標本平均と「異なる」または「大きい」、「小さい」かどうかを、検定統計量がt分布に従うことを利用して検定します。 統計的検定の流れ 検定の大まかな流れを確認しておきます。 帰無仮説H0と対立仮設H1をたてます […]
  • Ubuntu 日本語形態素解析システムJUMANのインストール方法Ubuntu 日本語形態素解析システムJUMANのインストール方法 buntu14.04で日本語形態素解析システムJUMANのインストール方法をお伝えする。 JUMAN単体では次のコマンドで簡単にインストールできる。 $ sudo apt-get install […]
  • MySQL 月の差分を計算する方法MySQL 月の差分を計算する方法 MySQLで、月の差分を計算する方法をお伝えする。 計算は、PERIOD_DIFF関数を用いれば簡単に求めることができる。 これは、二つの期間の差の月数を返す関数である。 PERIOD_DIFF(P1, […]
  • Wikipediaのデータファイルをプレーンテキストに変換するWikipediaのデータファイルをプレーンテキストに変換する Wikipediaのデータファイルをプレーンテキストに変換する方法を備忘記録として記しておく。 Wikipedia日本語版のデータファイルは以下のサイトからダウンロードできる。 ウィキペディア日本語版 Wikipediaのデータファイルをプレーンテキストに変換するPythonプログラム「WikiExtractor」を以下のサイトからダウンロードする。 […]
R スミルノフ・グラブス検定を繰り返し用いて外れ値を除去する方法