手動の多変量実験

実験は鍵です

マーケティングとビジネスインテリジェンスでは、 A/Bテスト ランダム化実験の用語です。コントロールマーケティング実験はキャンペーンの成功を向上させるのに役立ちます。直感に頼るのではなく、データに基づいた意思決定が前進する方法です。

マーケティングオートメーションプラットフォームであるMoEngageの文脈において、実験は基盤となるセグメントに対するキャンペーンです。ターゲットユーザーは、キャンペーンを作成する際に指定されたパーセンテージに従って、セグメントからランダムに選ばれます。ランダム化手順が正しければ、2つまたはそれ以上のグループ間の結果の違い（例えば、コンバージョン率）を、他のユーザー行動に影響を与える変動源を考慮することなく、テストしている変更に帰属させることができます。

A/Bテスト結果の分析

テストの結果を分析することが難しい部分でした。ほとんどのマーケターは、A/Bテストツールが提供する結果からビジネス判断を導き出すのに苦労しています。

2つのバリエーションでテストを実施したと仮定すると、次のクリック率が観察されます:-

A : インプレッション 50 クリック 20 CTR 40%

B : インプレッション 50 クリック 25 CTR 50%

O Bが勝利するバリエーションであると直接結論付けることはできません。真のCTRは知られておらず、サンプルを使って実験することでCTRを推測しようとしています。私たちが観察したパフォーマンスの違いは、テストしている変更によるものではなく、単に偶然によるものである可能性があります。

例えば、公平なコインを2枚使って限られた回数の投げを行うだけで、異なる表/裏の比率を得ることは十分に可能です。同様に、実際のユーザー行動が同じであっても、AとBの間に変化を見ることが可能です。

古典的アプローチ

A/B テストの結果を理解するために、一般的に「有意性」、「p 値」、および「信頼区間」といった用語に出くわします。多くの A/B テストツールは、この古典的な有意性テストのアプローチを採用しています。すべてのバリエーションが同じであるという帰無仮説を立て、その後、実験を実行することで帰無仮説を棄却するための証拠を見つけようとします。

古典的な有意性検定の設定に関する問題 :-

帰無仮説検定とp値は理解しにくく、説明するのも難しいです。恣意的な閾値（0.05？）があり、結果は二元的です - 帰無仮説を棄却するか、帰無仮説を棄却しないかのいずれかです。
p値は、現在の結果が純粋に偶然である可能性を示します。これはしばしば、より良いパフォーマンスの確率と誤解されます。信頼区間も、収益/CTR/CVRが範囲内にある95%の確率を直接示すものではありません。

ベイズテスト

古典的な有意性検定のこれらの欠点を克服するために、私たちはベイジアンフレームワークを採用しました。数学に集中し、科学的仮説を証明するのではなく、ベイジアンの設定はビジネスの意思決定を迅速化するために直接的な質問に答えることができます。分析は理解しやすく、技術的でない聴衆に伝えるのも容易です。結果で見る用語のいくつかを強調しましょう。

ベータ分布

ベイズフレームワークでは、CTR/CVRはサンプルサイズに基づく私たちの信念を表す確率分布の観点から考えられます。上記の例では、バリエーションBはサンプルサイズ50に基づいて推測されたCTRが50%です。これは、以下に示すようにベータ分布を使用してモデル化されます。

95% 信頼区間

曲線の広がりは、実験がCTRをどれだけ正確に測定したかを示しています。約0.5（50%）のピークは、最も可能性の高い値を示しており、両側の他の値も真のCTRである可能性があります。95%の信頼区間は、CTRが0.95の確率で落ちる範囲を示しています。

バリエーションBの場合、これは次のように計算されます (37, 63)。この区間が広くなるほど不確実性が増します。サンプルサイズが増えると、この広がりは圧縮されます。

チャンスの打破

それは、ある変動が他の変動またはすべての他の変動に勝つ可能性を示しています。私たちの2変量の例では、再び両方の変動のCTRに対する信念を確率分布を使用して表現します。

A (in Blue) : インプレッション 50 クリック 20 CTR 40% 信頼区間: (28, 54)

B (in Orange) : インプレッション 50 クリック 25 CTR 50% 信頼区間: (37, 63)

BがAより優れているとは限りません。平均値はかなり離れていますが、分布間にはいくらかの重なりがあります。上記の信頼区間もこの重なりの領域を強調しています。この不確実性を定量化するために、ある変動が別の変動を上回る確率を計算します。つまり、変動Aと変動Bのサンプルをランダムに抽出した場合、BからのサンプルがAのサンプルよりも高いCTRを持つ可能性はどのくらいですか。

Aに対するBの勝率 = 84 %

すべてを打ち負かすチャンス

2つ以上のバリエーションがあると仮定します

A : インプレッション 100 クリック 15 CTR 15%

B : インプレッション 100 クリック 20 CTR 20%

C : インプレッション 100 クリック 25 CTR 25%

2変数の場合と同様に、次のように計算できます:-

AがBとCに勝つ確率 = 2 %

BがAとCに勝つ確率 = 19 %

CがAとBに勝つ確率 = 78 %

バリエイツ	インプレッション	クリック	CTR	95% 信頼区間	すべてに勝つチャンス
A	100	15	15%	(9.33, 23.31)	2%
B	100	20	20%	(13.36, 28.91)	19%
C	100	25	25%	(17.56, 34.33)	78%

あなたのキャンペーンにとってこれは何を意味するのか

1つのバリエーションとコントロールを持つキャンペーンの場合

キャンペーンで1つのバリエーションとコントロールグループがある場合、バリエーション1がコントロールを上回る確率が75％を超えると、キャンペーンのコミュニケーションが主なコンバージョン目標を達成するのに役立っていることが確立されます。したがって、コントロールグループを削除し、すべてのユーザーに連絡してキャンペーンのカバレッジと影響を最大化することをお勧めします。

実行中のアクティブなキャンペーンからそれらを削除するには、単に編集してコントロールグループの割合をゼロに設定するだけです。単一の発生の一般的プッシュについては、今後の同様の性質のキャンペーンにこの学習を活用できます。

あなたのバリエーションパフォーマンステーブルで コントロールに勝つチャンス を見ることができます:

複数のバリエーションを持つキャンペーンの場合

複数のバリエーションがある場合、いずれかのバリエーションが他のすべてを上回る可能性が75％を超えると、その特定のバリエーションが他のすべてよりも優れていると見なされます。したがって、最も効果的なメッセージのバリエーションを送信することで、キャンペーンの影響を最大化できるよう、そのバリエーションのみを続けることをお勧めします。

アクティブなキャンペーンの他のバリエーションは、他のバリエーションの割合をゼロに設定することで削除できます。単一の発生に対する一般的なプッシュについては、今後の同様の性質のキャンペーンにこの学習を活用できます。e.g.以下のバリエーションパフォーマンスについて、キャンペーンのCTRを最大化するためにバリエーション2を継続することをお勧めします。

サンプルキャンペーンは次のようになります：

あなたは、バリエーション1が高いCVRを持っているにもかかわらず、なぜバリエーション3を続けることを推奨しているのかという質問を持っているかもしれませんか？それは、メッセージのコピーがメッセージのCTRを増加/減少させると信じているからです。コンバージョンは他の多くの要因にも依存しています。したがって、他のバリエーションに対して勝っていると見なすのは、CTRが高い場合のみです。