多変量テストまたは分割テストは、マーケターが1つ以上の変数を変更して、その変更された変数がキャンペーンの他の変数に与える影響を判断するために実施する実験です。

従属変数が1つ以上の独立変数に及ぼす影響:

• 現象を予測する手助け
• 変数間の因果関係がある場合、それを説明してください。

A/Bテストとは何ですか？

A/Bテスト 、スプリットテストとも呼ばれるこの手法は、メッセージコピーの2つのバージョン（バリエーションとして知られる）を比較する実験的なセットアップであり、ランダムに選ばれたユーザーグループに均等に送信することによって、どちらがエンゲージメント指標を向上させるかを知るためのものです。これは、1つの変数のみをテストするために比較が行われる場合に使用されます。

多変量テストとは何ですか？

多変量テスト は、異なるバリエーションのパフォーマンスを比較するために、ランダムに選ばれた異なるユーザーに送信される2つ以上のバリエーションを持ちます。

A/Bテストと多変量テストの違い

A/Bテストまたは多変量実験を作成する際には、バリエーション間の違いがマーケターがテストしたい違いだけであることを確認してください。

例えば:

もし、 画像付きのAndroidプッシュ通知が画像なしのものよりもCTRが高いかどうかをテストしたい 場合は、内容が類似している2つのバリエーションを作成し、そのうちの1つに画像を付けて送信し、もう1つには画像を付けないようにする必要があります。

さまざまな種類のユーザー分布

手動ユーザー配布

手動配布は固定されたユーザーセットに対して定義され、バリエーションキャンペーンを分析し、最良または勝者のキャンペーンをすべてのユーザーに送信します。

• マーケターはキャンペーンを受け取るユーザーの割合を設定します。
• マーケターは分析を見て、必要に応じてパーセンテージを変更します。

詳細については、 静的ユーザー分布 を参照してください。

Sherpaを使用した動的ユーザー分布

ダイナミックバリエーションとは、MoEngage Sherpa が自動的に勝者のキャンペーンを決定し、その勝者のキャンペーンをユーザーに送信することを意味します。

詳細については、 ダイナミックユーザー配分 を参照してください。

バリエーションをどのように分割すべきですか？

分割は最小サンプルサイズのためのもので、これは基準値と実験を成功と宣言する前に検出したいキャンペーンの変動の関数です。

あなたのバリエーション間の適切な分割:

• 実験の仮説や目的に応じて。
• どのバリエーションが最も良いパフォーマンスを発揮するかの確率的な見込み。

例えば、あるバリアントが成功する確率が80%と感じる場合、そのバリアントに80%のオーディエンスを割り当て、残りの20%を自信が少ないバリエーションに割り当てるべきです。

実験のために:

• キャンペーン内のバリエーション間のパーセンテージ分割を設定します
• アンインストールしたユーザーや頻度制限を超えたユーザーを削除する

MoEngageは、コントロールグループまたは多変量実験のメンバーのすべてのアクティブなトークンから外れています ランダムに選ばれました。

ランダム化により、各バリエーションのメンバーが全体のグループのメンバーと統計的に類似していることが確認され、特定のマーケティングキャンペーンやテストされているキャンペーンインスタンスを除いて、同じ条件にさらされることになります。

実験前

実験を作成する前に、次のことを行う必要があります。

1. 実験の目的、つまりテストしたい仮説を知っておくこと;
2. ベースラインのパフォーマンスのためにコントロールグループを作成したい場合は理解してください
3. この仮説をテストしたいセグメントを知ってください
4. いくつかのバリエーションを作成します（仮説の数の2乗、つまり1つの変数をテストする場合は2つのバリエーション、2つの変数をテストする場合は4つのバリエーション）し、その内容を確定します。
   
   

   仮説1	仮説2	バリアント名
   いいえ	いいえ	バリエーション 1
   はい	いいえ	バリエーション 2
   いいえ	はい	バリエーション 3
   はい	はい	バリエーション 4

5. 影響を与えたい指標を明確に定義し、それを実験のコンバージョン目標に使用してください。例えば、単にオープン率を上げたいのか、それともより多くのコンバージョンを得たいのかを考えてみましょう。

   info	ヒント A/Bテストキャンペーンで変数としてコンテンツをテストする際は、クリック率で勝者を測定します。より良いコミュニケーションは一般的にクリック率を向上させるためです。

実験中

実験を作成する際:

1. 各バリエーションにおいて、キャンペーンから有益な洞察を得るためには、各分割のユーザー数が少なくとも5000人以上であることを確認してください
2. トラッキングする指標を主要なコンバージョン目標として使用する

実験後

実験を分析している間に：

ベースラインの数値に対して、どのバリエーションが最も良いパフォーマンスを発揮したか、そしてどの仮説の組み合わせが表されているかを確認します。例えば、表に基づくと、バリエーション4は2つの仮説を表しています。したがって、バリアント2がバリアント1よりも良いパフォーマンスを示した場合、仮説1が有効であることがわかります。バリアント4がバリアント2よりも良いパフォーマンスを示した場合、仮説2が成立していることがわかります。

次のステップ

勝利のメッセージを特定したら、そこで止まらないでください。この学びを活かして次の実験ラウンドを作成しましょう。マントラはテスト。測定。学習。繰り返し。

• 手動ユーザー配信
• 動的ユーザー分布
• キャンペーンでユーザー分布を手動で実行する
• キャンペーンでユーザー分布を動的に実行する
• 多変量実験の編集
• バリエーションキャンペーンを分析する