数人の女性が集まってワイン（らしい）を飲んでいる。いや、ただ飲んでいるのでなく飲みくらべているようだ。ブランドの当てっこ？それとはちょっと違う、実は市場調査における製品テストの一場面なのである。「もっともお好きなのは？」とか「お買いになるとしたらどれにしますか？」と一人ひとりの試飲者に聞いて、製品開発や販売予測のデータを得ようとしているのだ。

図・ワインＡ、Ｂ、Ｃの試飲風景

もし一番好きな製品が、Ａ…２人、Ｂ…１人、Ｃ…１人と出たとする。しかし「よしＡで行こう」と即座に決めるほど、世のメーカーはそそっかしくないだろ う。そこでもっとたくさんの人たちに試飲してもらうことにして、延べ１００人のデータが得られたとする。結果はＡ…５０人、Ｂ…３０人、Ｃ…２０人だっ た。これならＡに決定していいだろうか。

この人数の差が本来の製品の優劣によるものなのか、たまたまそう出ただけなのか、この判定のために行われるのが「有意性検定」である。そのための計算は次のようである。

つまりＡとＢの差が１８％以上なら有意と判定される。もとのデータでは２０％の差だから有意である。従ってテスト結果の１位と２位の隔たりはハッキリしているわけで、Ａ製品を販売するという意思決定は妥当なのである。ただしこの判定が絶対正しいかというと、危険率５％で誤る可能性がある。この確率をさらに小さくしたいときは式の右端の２をもっと大きくすればいい。もし「×３」として計算すると、それによる最小有意差による危険率は０.３％と限りなくゼロに近づく。

注：製品ＡＣ間の有意差は問題ないとして、ＢＣ間の検定は各人で試みていただきたい。

最小有意差の範囲内だというと「では２つの製品間に優劣はないのですね」と受け取る人がいるが、正しくは「このテストでは優劣が認められなかった」と判断を保留にすべきなのである。試飲者数をいくらでも増やせば、いつかは優劣の差が現れてくるだろうから、わずかのデータ（試飲者数）で性急に誤った判断をしてはならない。

なお、上では１人３種類の製品を試飲しているが、テスト方法を変えて１人にどれか１本ずつを割り当てて試飲してもらうこともできる。この場合の最小有意差の式は上と違うので注意されたい。またこれらの例は選好率または購入意向率という「比率」の検定であるが、そのほかに平均値の検定、分散の検定、相関の検定、時系列の検定といろいろある。それぞれ必要に応じて、とくに大切な意思決定に際しては広くかつ慎重に使われている。