この記事は、最初の パート を基にしており、ベイズフレームワークを紹介し、実験の結果を分析するための直感的な「勝つ可能性」メトリックに到達しました。MoEngageは、Sherpaを使用した動的ユーザー分配について理解するために、記事を読むことをお勧めします。

静的A/Bテスト

実験の開始時にユーザーの割り当ては固定されています

従来のA/Bテストは、いくつかの固定されたバリエーションを作成し、ユーザーの静的な割合をランダムに割り当てる方法で機能してきました。このような設定では、以下の点を考慮してください：

1. いくつかのバリエーションは、コンバージョンやクリック率の面で良いパフォーマンスを発揮し、いくつかは悪いパフォーマンスを発揮します。しかし、パーセンテージは実験全体を通じて固定されており、かなりの数のユーザーがうまく機能していないバリエーションを受け取る可能性があります。
2. マーケターによる手動検査が時折必要であり、どのタイプのバリエーションがうまく機能するかを推測し、再度最適化されたキャンペーンを作成します。
3. さらなるイベントがトリガーされ、定期的なキャンペーンが長期間、場合によっては数ヶ月にわたって実行されます。そのような手動操作は時々不可能であるかもしれません。
4. A/Bテストは、統計的有意性と仮説検定に焦点を当てた厳密な実験を目的としています。私たちは、より高い平均コンバージョン率/クリック率を維持することに焦点を当てた継続的な最適化を望んでいます。

マルチアームバンディット

ここで、人工知能アルゴリズムのクラスを紹介します マルチアームバンディット カジノのスロットマシンに由来する名前の。まず、A/Bテストとスロットマシンのアナロジーを理解しましょう。

あなたはカジノにいて、レバーのあるさまざまなスロットマシン（バンディット）がたくさんあります。これらのマシンの各々の支払いの基礎となる頻度はわかりません。限られたチャンスがあり、目標は報酬を最大化することです。どのマシンが最も良い支払いを提供するかをどうやって学ぶのでしょうか？同様に、実験やキャンペーンでは、どのバリエーションが最も良いかを学ぶ必要があります。サンプルサイズは限られています。報酬は、より良いクリック/コンバージョン率の形で得られます。

探索-活用

最適なバリエーションまたは最適なスロットマシンを見つけることは、私たちを探索と活用のジレンマに置きます。

静的A/Bテストでは、最初に各バリエーションへの割り当てを単純にハードコーディングしています。この実験を開始すると、探索フェーズが始まります。手動介入の後、マーケターはどのバリエーションがより良いパフォーマンスを発揮しているかを推測し、最適化されたパラメータでキャンペーンを再作成できるかもしれません。新しい最適化されたキャンペーンは、利用フェーズとなります。A/Bテストは、探索の後に完全な利用となります。この探索から利用への明確な移行は欠点です。探索にどれだけの時間を費やし、利用にどれだけの時間を費やすべきか？そのジレンマは残ります！！

バンディットアルゴリズムのクラスは、これらの問題に対する答えです。純粋な探索と純粋な活用の2つの異なる期間の代わりに、バンディットテストは適応的で、探索と活用を同時に含みます。B バンドitアルゴリズムのすべてのクラスは、単に探索（学習）と活用（現在の最良情報に基づいて行動する）のバランスを最適に取ろうとしているというのが要点です。私たちの探索-活用戦略の実装は、ベイズバンディットに基づいています。

ベイジアンバンディットアルゴリズム

最初の部分を要約すると、私たちは ベイズフレームワークでは、CTR/CVRはベータ分布と呼ばれる確率分布の観点から考えられ、これはサンプルサイズに基づく私たちの信念を表します。実験の各バリエーションをベータ分布を用いてモデル化したとき、私たちは勝つ可能性に到達しました。特定の時点において、私たちは常に特定のバリエーションが他のすべてのバリエーションの中で最良である確率を知っています。

私たちのバンディットアルゴリズムは、これを基にして「打ち負かす可能性」に基づいて探索と利用を行います。3つのバリエーション（A、B、C）を例に挙げてみましょう：

実験が始まると、私たちは情報を持っておらず、真の基礎的なクリック率を知りません。したがって、すべてのバリエーションは勝つ確率が等しいです：

A: 全てを打ち負かすチャンス 33%

B: 全てを打ち負かすチャンス 33%

C: 全てを打ち負かすチャンス 33%

キャンペーンが進行するにつれて、各バリエーションのインプレッションとクリックを観察し始め、すべてを上回る可能性を再計算します。

A: インプレッション 100  クリック 15  CTR 15%  すべてを上回るチャンス 3%

B: インプレッション 100  クリック 20  CTR 20%  全体に勝つ確率 19%

C: インプレッション 100  クリック 25  CTR 25%  全体に勝つ確率 78%

この時点で、私たちは到達した新しい割合でキャンペーンを続けます。Cは勝者のようで、78%の配分を得ています。これは搾取です。しかし、残りの22%はAとBに行き、これは探査です。このようにして、勝つ確率を再計算し続け、配分が継続的に変化し続けます。

Sherpaによるコンテンツ最適化

MoEngageは、キャンペーンの配信を自動化し、最適化するソリューションの構築に一貫して注力しています。静的多変量実験の欠点（ 上記に述べた ）を解決し、キャンペーンのエンゲージメントを最大化するために、私たちは コンテンツ最適化 を開始しました。メッセージのバリエーションは、最も高いインタラクションの可能性があるものがリアルタイムで賢く予測され、ユーザーに送信されてエンゲージメントを最大化します。

マルチバリアントキャンペーンを作成する際、配分を手動で設定するか、Sherpa（私たちの機械学習アソシエイト）に任せることができます。Sherpaは、キャンペーンのCTRを最大化するために、バリエーションの配分を動的に最適化します。

プッシュキャンペーン

Sherpaはアクティブなプッシュキャンペーンに最も効果的ですが、一般的なプッシュキャンペーンにも大きな価値を追加します。

Email Campaign

Sherpaでは、最適化されたキャンペーン分析を提供するための基準メトリックを定義する必要があります。 次のメトリックのいずれかを選択してください：

1. 1. オープン率 - このオプションは、メールテンプレートにリンクがあまり含まれておらず、主に件名の実験を行っている場合に最適です。

   2. クリック率 - このオプションは、リンクやボタンがたくさんあるテンプレートにより適しており、ユーザーベースの大多数がiOS 15にいる場合など、オープン率があなたのユースケースに最適な指標ではないと感じる場合に適しています。

   3. オープン率とクリック率の両方 - このオプションは、件名とメール本文の実験よりもユースケースにより適しています。Sherpaは両方の指標を分析し、それに応じて配信を最適化します。

キャンペーンの分析

Sherpaによって強化されたダイナミックA/Bテストを使用して作成されたキャンペーンでは、マーケターは次の追加メトリックを確認できます。

1. 予測CTR: メッセージのバリエーションがユーザーによって均等に分割されていると仮定して、バリエーション間の平均CTRとして計算されます（例：2つのバリエーションの場合は50:50、3つのバリエーションの場合は33:33:33）。

2. 最終CTR: 変動の合計クリック数と合計インプレッション数の比率として計算されます。キャンペーンCTRと同じです

3. CTRの改善: CTRの改善は、Sherpaによるコンテンツ最適化の使用によってもたらされました。計算式は次の通りです:

4. CG Uplift: CG Upliftは、コントロールグループ（グローバルおよびキャンペーン）と比較したバリアントのコンバージョン率の改善です。CG Upliftは、あなたのコンバージョン率に影響を与えたバリアントを表示します。
CG Upliftは次のように計算されます：
CG Uplift = (すべてのバリアントの累積CVR / コントロールグループの累積CVR - 1) * 100

キャンペーンメトリクスのサンプルスナップショットをご参照ください。このキャンペーンでは、バリエーション2が82%のユーザーに割り当てられました。探索フェーズにおけるバリエーション2のCTRが高いため、バリエーション1はわずか18%です。この機会を活用して、SherpaはあなたのCTRを21.21%から25.70%に改善しました。すなわち、21.17%の改善、または4.5パーセントポイント。

CTRはクリック率です

私たちはこれをどうやって行っていますか？

コンテンツ最適化はベイズバンディットアルゴリズムを使用しています。ベイジアンバンディットは、実験の最後に「最終的な答え」を待つのではなく、勝ちパターンに徐々にトラフィックを移動させることで、配信の効率を向上させます。これは、明らかに劣ったバリエーションに行くはずだったサンプルを潜在的な勝者に割り当てることができるため、より速くなります。高パフォーマンスのバリエーションから収集された追加データは、「良い」アームと「最高の」アームをより迅速に分離するのに役立ちます。バンディット法は常に劣ったパフォーマンスのオプションを選択する可能性を残し、オプションの有効性を「再考」する機会を与えます。それは、低パフォーマンスのオプションを新しいオプションと交換するための作業フレームワークを提供し、継続的なプロセスで行います。