Overview

MoEngage Flowsでは、 コントロールグループ は、フローに入って段階を進むユーザーの割合であり、意図的にそのフロー内で設定したキャンペーンを受け取らないように保持されます。マーケティングメッセージを控えることは直感に反するように思えるかもしれませんが、コントロールグループはあなたのエンゲージメント戦略の真の影響を正確に測定するために不可欠です。

このグループにメッセージを送信しないことで、有機的なユーザー行動の ベースライン を確立します。このベースラインは、あなたのフローのキャンペーンからの影響なしに、どれだけのユーザーが自力でコンバートするかを示しています。

このアプローチの真の価値は、フローを体験したユーザーのコンバージョン率（CVR）をコントロールグループのCVRと比較したときに明らかになります。この比較は、2つの重要な仮定を検証することを可能にします：

• ポジティブな影響: フローはユーザーがより高い率でコンバートすることを本当に促しています。
• 必要性： この特定のフローでユーザーを引き込む明確な必要があります。望ましいアクションを促進するために。

結果の解釈方法:

• メインフローのコンバージョン率（CVR）がコントロールグループのCVRよりも高い場合 、それはあなたのキャンペーンの効果を示しています。この成功を定量化するために、「コンバージョンアップリフト」を計算できます。これは、あなたのフローに直接起因するコンバージョンの増加率を示すパーセンテージです。
• 逆に、コントロールグループのCVRがフローのCVRと同等かそれ以上である場合 、それは重要な洞察を示しています：あなたのフローは期待通りに機能していません。この結果は、ユーザーがオーガニックにコンバージョンする可能性が高いか、あるいは悪いことに、フロー内のメッセージが彼らを discouraging している可能性があることを示唆しています。このようなシナリオでは、データはフローを一時停止し、再評価すべきであることを示しています。なぜなら、それは価値を追加していないからです。

コンバージョン向上

アップリフト分析は、MoEngageフローがどの程度ユーザーをコンバージョンに促したかを分析する最も一般的な方法です。アップリフトは、コントロールグループのユーザーからのオーガニックコンバージョンと、フローのアクションキャンペーンのいずれかを受け取ったユーザーのコンバージョンに対して測定されます。 アップリフト = [(フローベースCVR - コントロールグループCVR) / コントロールグループCVR] x 100。

アップリフトパーセンテージの理解

例

36時間のアトリビューションウィンドウが設定され、プッシュおよびメールキャンペーン用に構成されたフローを取りましょう。
36時間のアトリビューションウィンドウのデフォルトシナリオ：

• 時間 0 - ユーザーがフローに入る (90 TG, 10 CG)
• すべての人にプッシュキャンペーンPush-1が送信され、全員が受信したと仮定しています（100%のインプレッション/ビューを通じて）
• 0から24時間 - 5ユーザー (4 TG, 1 CG) 変換する。 これらのユーザーは、プッシュキャンペーンPush-1のみに帰属しています。
• 時間 24 - メールキャンペーン Email-1 が送信され、すべての人がメールを開封したと仮定しています（100% のインプレッション/ビューを通じて）。
• 24から36時間 - 8ユーザー (8 TG, 0 CG) 変換する。 これらのユーザーは、プッシュキャンペーン Push-1 とメールキャンペーン Email-1 の両方に帰属しています。
• 時間 36 から 60 - 5 ユーザー (4 TG, 1 CG) 変換する。 これらのユーザーは、メールキャンペーン Email-1 のみに帰属しています。

子供レベルでのアップリフトパーセンテージとCVR

フロー レベルでのアップリフト パーセンテージ

• 合計TG変換ユーザー数 = 16 / 90 = 17.7%
• 総CG変換ユーザー数 = 2 / 10 = 20%
• Uplift = -11.5%

コントロールグループを設定する方法は？

コントロールグループを追加するオプションは、エントリー条件ノードおよびフロー設定ページで利用可能です。コントロールグループはデフォルトで有効になっており、フローライフサイクルの任意の時点で変更できます。ユーザーは、コントロールグループ設定が有効な状態でフローが公開された後にのみ、コントロールグループの一部になります。

コントロールグループのユーザーは、フローのターゲットオーディエンスにいる全ユーザーの中から、旅行に参加する全ユーザーの中からランダムに選ばれます。

実験の神聖さを維持するために、ユーザーがコントロールグループの一部としてフローに入ると、その後のすべてのフローへのエントリーにおいてもコントロールグループの一部であり続けることを保証します。必要に応じて、これを無効にすることもできます。

コントロールグループのユーザーはどのように割り当てられますか？

MoEngageが運営する規模のため、ユーザーをランダムにサブグループに分割し、各グループに対してコントロールグループの分割割合を毎日適用します。上記のプロセスは、任意の日に異なるサブグループに同数のユーザーを割り当てることができるという前提で行われます。したがって、分割を維持するためにはフローに入るユーザーの最小数が必要です。 また、時間が経つにつれて、システムは条件に応じてCGに割り当てられるユーザーの数をスケールダウン/アップするため、CG内のユーザーの%は常に定義された値に近い状態を保ちます。

マーケティング担当者が「 コントロールグループのユーザーは、その後のエントリーでも引き続きその一部であるべきです 」（上記の画像に示されているように）をチェックすると、システムはCGとしてマークされたユーザーが常にCGユーザーであることを保証します。したがって、CGユーザーが他のタイプのユーザーよりもフローに繰り返し参加する場合、CGトリップと全体のトリップの間の%は定義された値よりも大きくなります。しかし、ユニークユーザーのレベルでの%の分割は定義された通りになります。

例えば、マーケターが20%のコントロールグループの分割を定義し、「コントロールグループのユーザーは、その後のエントリーでもそのグループに留まるべきです」と望むケースを考えてみましょう。ユーザーU1、U2、U3、U4、U5がそれぞれ1回、2回、3回、4回、5回エントリーするとします。U5をコントロールグループとしてマークします。この状況では：

合計旅行数 = 15
CG旅行数 = 5
ただし、CGの割合は20%に維持されています。なぜなら、5人中1人だけがコントロールグループとしてマークされたからです。

コントロールグループはどれくらいの大きさにすべきですか？

ターゲットオーディエンスに応じて、コントロールグループを最大95％または最小1％にすることができます。たとえば、100,000人のユーザーがフローに参加すると予想する場合、1％のコントロールグループで十分です。ターゲットグループが小さいほど、フローの効果を効果的に測定するためにコントロールグループは大きく構成する必要があります。

コントロールグループはどのように機能しますか？

ユーザーはフローに入る時点で無作為にコントロールグループに割り当てられます。コントロールグループのユーザーは、フローに入った後、旅行中の行動に応じてフローを進み、最終的にフローを終了します。これらのユーザーには、フロートリップ中にキャンペーンが送信されません。

コントロールグループのコンバージョントラッキング

フロー変換追跡と同様に、コントロールグループのユーザーの変換追跡は、フロー内で設定されたアクションキャンペーンのいずれかを通過するとすぐに開始されます。これらのユーザーはキャンペーンを受け取ったと仮定し、設定された帰属ウィンドウのために彼らの変換を追跡し始めます。非コントロールグループのユーザーと同様に、CGユーザーによって行われた変換は、アクションキャンペーンおよびフローに帰属されます。

コントロールグループの編集

マーケターはフローの期間中にコントロールグループのバリエーションをいつでも変更することができますが、トラフィックの配分を変更すると実験結果が無効になる可能性があるため、変更はお勧めしません。

例えば、Day 1に50%のコントロールグループでフローを公開し、その日に2000件のユーザーエントリーが発生したとしましょう。1000 Flow ユーザーエントリーは 250 の変換された旅行を生み出し、1000 コントロールグループ (CG) ユーザーエントリーは 200 の変換を取得します。したがって、CG CVRは20%であり、フローCVRは25%で、これは対照群からの25%の向上を示しています。

翌日、CGの変動を10%に変更し、翌日に1000件のユーザーエントリーが発生した場合。900の通常のフローエントリーのうち、45が少なくとも1回のコンバージョンにつながります（つまり、変換された旅行になりますが、100件のCGユーザーエントリーのうち、わずか4件が変換されます。Day 2のCG CVRは4%で、Flow CVRは5%です。これはCGからの25%の向上です。

今、1日目と2日目の結果を組み合わせると、CG CVRは18.55% [(204/1100)x100] になりますが、同期間中のフローCVRは15.52% [(295/1900)x100] に低下し、全体で-16.33%のネガティブなアップリフトを示します。

フローCVRは両日ともに個別には優れているにもかかわらず、コントロールグループが実験に勝っています。CGの分布を変更することで、最終的に実験の結果が変わりました。これは統計理論では シンプソンの逆説 として知られています。 このため、フローを公開する前にコントロールグループのバリエーションを修正することを強く推奨します。また、絶対に必要な場合や、そのフローの有効性を時間をかけて検証した場合を除き、変更しないでください。

対照群の削除

もしあなたが、長期間にわたってフローのコンバージョン向上を観察している場合は、フローのコントロールグループ設定を無効にすることをお勧めします。これが完了すると、フローに入るすべてのユーザーがフローに設定されたアクションキャンペーンを受け取る可能性があります。

コントロールグループのユーザーがフローに再参加すると、アクションキャンペーンを受け取る資格も得られます。以前のコントロールグループのユーザーのリストも削除されるため、コントロールグループが再度追加されると、CGユーザーの分布は以前のコントロールグループの影響を受けることなく、最初から始まります。

コントロールグループとしてマークされたユーザーを見つける

コントロールグループを削除した後、フローを通過した後にフローアクションキャンペーンイベントを受け取らなかったコントロールグループのユーザーをターゲットにするために、彼らを見つけることを検討するかもしれません。

フローのコントロールグループとしてマークされたユーザー

「ユーザーがフローに入った」イベントを実行したすべてのユーザーを、フローの flow-id であるFlow Id属性値を持つセグメントを作成できます。「コントロールグループ」属性を「true」にし、「コントロールグループタイプ」をフローに設定します。

ユーザーはグローバルコントロールグループとしてマークされています

「ユーザーがフローに入った」イベントを実行したすべてのユーザーを、あなたのフローの flow-id であるFlow Id属性値を持つセグメントを作成できます。「コントロールグループ」として「true」を、「コントロールグループタイプ」としてグローバルを指定します。