ABテストについて解説します。
ABテストとは、例えば、ネット広告でAというランディングページとヘッドコピーだけを変えたBというランディングページでは、どちらがコンバージョン率が高いかを比較するものです。
テストの結果、コンバージョン率が高い方を採用して本格的に集客します。
ここで、通常の場合、単純にコンバージョン率だけを見て、決定してしまうのですが、実はこれが大間違いなのです。
私は前職で、医学臨床統計の仕事に関わっていました。
その仕事では、統計学の知識が必要になります。
そこで、東大の統計を専門にしている方に講師になっていただき、数ヶ月に渡り講義を受けていました。
統計学はわけのわからない、数式がずらずらと並び、聞いたことのない用語が飛び交います。
私は眠いのを我慢して、勉強していた記憶があります。
ところで、先のABテストの比較の件ですが、単にコンバージョンだけを比較するだけでは、誤った結果を生んでしまうのです。
統計学では、この場合は有意差検定というもので、判断します。
つまり、両者のコンバージョンの差は、「意味ある差なのか？」を統計により判断するのです。
もしかしたら、この差は偶然に起こった差ではないか？を統計学的に判断するのです。
偶然、少しだけAのコンバージョンが良かって、Aを採用して本格的に集客したとします。
本当は偶然、少しだけ良かっただけで、もしかしたら、実はBの方が良かったかもわからない。
そうなると、多額な広告費をつぎ込んだものの無駄金になってしまうのです。
