Day 013 — 研究開発：研究計画書

データ研究枠 研究計画書
研究課題: 休眠会員33万人へのメールを止めても、購入は減らないか
提出: 2028年2月14日（月）　研究代表: EC事業本部 販促システム部 MOps 宮田
分析: データサイエンス室（1名）　審査会: 2月24日（木）

━━ 1ページ目 ━━

■ 審査会に決めていただきたいこと
 1. この研究の承認
    費用: 内部工数0.5人月（約60万円。MOps 0.2人月、データサイエンス室 0.3人月）
    売上のリスク: 最大約190万円（止めた群で購入者率が0.2pt下がった場合、12週間）
 2. 許す購入の減少幅（推奨B）
    A 0.1pt … 1群44万人が必要。休眠会員は33万人しかおらず実施できない
    B 0.2pt … 1群12万人。全休眠に広げた場合、年に最大約2,200万円の減少まで許す
    C 0.3pt … 1群5万人でリスクは約120万円と小さいが、年約3,300万円の減少を見逃しうる
    Bの根拠: 迷惑メール報告率が0.3%を超えると、Gmailでメールが届きにくくなり、
    メール全体の増分売上（月約2,400万円）が危うくなる。年2,200万円は、
    それを防ぐための保険料の上限と考える

■ 結果が出たら何をするか（6/8に報告。いま決めておく）
 判定: 止めた群と送った群の購入者率の差（止めた群−送った群）と、その95%信頼区間
       データサイエンス室が計算し、審査会に報告する
 ・差の下限が −0.2pt より上      → 6月中に休眠会員33万人への配信を止める
 ・下限は下、差そのものは上      → 止めない。期間を延ばしての再判定はしない
 ・差そのものが −0.2pt 以下      → 止めない。月1通に減らす案を次の研究にする
 ・6週時点（4/17）で差が −0.5pt 以下 → その時点で中止し、止めた群への配信を再開

■ この研究で分からないこと
 ・12週間より先の影響（止められた会員が、ノヴァストアを忘れていくか）
 ・休眠でない会員（63万人）への影響。配信の回数を減らす効果
 ・LINE の配信の効果（LINE はこの研究で変えない）

━━ 2ページ目 ━━

■ なぜこの研究が要るか
 ・迷惑メール報告率: 直近4週平均0.24%。12/3（地震の朝）に0.41%、1/10（初売り）に0.29%
   Googleの送信者ガイドラインは0.1%未満を保ち、0.3%に達しないよう求めている
 ・休眠会員（過去180日にクリックも購入も0回）: 33万人（メール会員96万人の34%）
   迷惑メール報告の58%が休眠会員から（報告者を特定できる分の集計）
 ・休眠会員への配信を止めると、報告率は約0.15%に下がる見込み（計算: 0.24%×0.42÷0.66）
 ・一方で、休眠会員の12週間の購入者率は2.9%。メールがその購入を生んでいるのかは
   分からない（マーケティング部 関課長: 件名を見てアプリで買う人がいるはず）

■ この研究で確かめること（1つだけ）
 休眠会員への配信を止めても、12週間の購入者率（サイト・アプリ・LINEを問わず）は、
 送り続けた場合より0.2ポイント以上は下がらない。
 ※報告率は確かめない。送らなければ報告は出ないので、研究は要らない

■ 方法
 ・対象: 3/6時点の休眠会員。既存の対照群（配信しない10%）の会員は除く
 ・割り付け: 無作為に12万人ずつ「止める群」「送り続ける群」に分ける。残りは今までどおり
 ・期間: 3/6（月）〜5/28（日）の12週間。止める群には販促メールを送らない
   （注文確認・発送通知・パスワード再設定などの取引のメールは送る）
 ・集計: 割り付けた全員で比べる（途中で休眠でなくなった会員も除かない）
 ・人数の根拠: 購入者率2.9%、許す差0.2pt、片側2.5%、1群12万人で検出力83%
 ・ゴールデンウィークを含むが、両群に同じように入るので比較には影響しない

■ 費用とリスク
 ・内部工数 0.5人月（約60万円）。外部への支払いはない
 ・配信費は止めた群の分だけ減る（12万人×週4通×12週＝576万通、約58万円）
 ・売上のリスク: 差が−0.2ptなら約190万円（12万人×0.2%×7,800円）。
   中止条件（6週時点で−0.5pt以下）が働く場合、失う売上は約230万円までにとどまる見込み

■ よく聞かれる質問
 Q. 開封率を見れば、実験しなくても分かるのでは？
 A. iPhone のメール（2021年〜）は、受け取った時点で画像を読み込むため、開いていなくても
    「開封」と記録されます。当社の会員の多くが iPhone を使っており、開封率は当てになりません。
    休眠の定義に開封を使わないのも同じ理由です。
 Q. 業界ではサンセット（休眠会員への配信停止）が常識なら、研究せずに止めればよいのでは？
 A. 当社の休眠会員は12週間で2.9%が購入しており、メールがその購入を生んでいるかは
    分かりません。止めて売上が減っていても、前後の比較では季節の変動と見分けがつきません。
 Q. 休眠会員に送らないのは、会員に不利益では？
 A. 販促メールを送らないだけで、取引のメールは送ります。会員はいつでも配信を再開できます。

Data Research Program - Study Proposal
Title: Can we stop emailing 330K dormant members without losing purchases?
Submitted: Mon, Feb 14, 2028 | PI: Miyata (MOps, EC Division)
Analysis: Data Science Office (1 analyst) | Review Board: Thu, Feb 24

=== PAGE 1 ===

DECISIONS REQUESTED
 1. Approve this study
    Cost: 0.5 person-months internal (~JPY 0.6M; MOps 0.2, Data Science 0.3)
    Revenue at risk: up to ~JPY 1.9M (if the pause group's 12-week purchase
    rate drops by exactly 0.2 pp)
 2. Choose the maximum acceptable drop in purchase rate (we recommend B)
    A 0.1 pp: needs 440K per group; only 330K dormant members exist.
    B 0.2 pp: 120K per group; accepts up to ~JPY 22M/yr if rolled out.
    C 0.3 pp: 50K per group; ~JPY 1.2M at risk, but may miss ~JPY 33M/yr.
    Why B: above a 0.3% spam rate, Gmail may stop delivering our emails,
    putting ~JPY 24M/month of incremental email revenue at risk. We treat
    JPY 22M/yr as the ceiling on the insurance premium against that.

PRE-COMMITTED ACTIONS (results on Jun 8)
 Measure: difference in purchase rate (pause - control) with its 95% CI,
 computed by Data Science and reported to the Board.
 - Lower bound above -0.2 pp          -> pause all 330K dormant members in June
 - Lower bound below, estimate above  -> do not pause; no extension to re-test
 - Estimate at or below -0.2 pp       -> do not pause; test monthly emails next
 - At week 6 (Apr 17), estimate <= -0.5 pp -> stop the study; resume emails

WHAT THIS STUDY WILL NOT TELL US
 - Effects beyond 12 weeks (whether paused members drift away from us)
 - Effects on non-dormant members (630K) or of lower send frequency
 - Effects of LINE messages (unchanged in this study)

=== PAGE 2 ===

WHY NOW
 - Gmail spam rate: 0.24% (4-week average); 0.41% on Dec 3 (earthquake
   morning), 0.29% on Jan 10 (New Year sale). Google asks bulk senders to
   stay below 0.1% and never reach 0.3%.
 - Dormant members (no clicks or purchases in 180 days): 330K (34% of 960K),
   accounting for 58% of spam reports (where the reporter is identifiable).
 - Pausing them would bring the spam rate to ~0.15% (0.24% x 0.42 / 0.66).
 - Yet 2.9% of dormant members buy within 12 weeks. We do not know whether
   our emails cause those purchases.

HYPOTHESIS (one, pre-specified)
 Pausing emails to dormant members will not reduce their 12-week purchase
 rate (any channel) by 0.2 pp or more versus continuing to email them.
 We will not test the spam rate: members we don't email cannot report us.

DESIGN
 - Population: dormant as of Mar 6, excluding the existing 10% holdout
 - Randomization: 120K pause / 120K control; the rest continue as usual
 - Period: Mar 6 - May 28 (12 weeks). Transactional emails still go out.
 - Analysis: intention-to-treat (everyone as assigned)
 - Sample size: baseline 2.9%, margin 0.2 pp, one-sided alpha 2.5%,
   120K per group -> 83% power
 - Golden Week falls in the period but affects both groups equally.

COST AND RISK
 - 0.5 person-months internal (~JPY 0.6M); no external spend
 - Send cost saved in the pause group: 5.76M emails (~JPY 0.58M)
 - Revenue at risk: ~JPY 1.9M at a 0.2 pp drop (120K x 0.2% x JPY 7,800);
   capped at ~JPY 2.3M if the week-6 stopping rule is triggered

FAQ
 Q: Why not just look at open rates?
 A: Since 2021, Apple Mail preloads images, so emails are recorded as
    "opened" even when they are not. Open rates are unreliable for us.
 Q: Sunsetting dormant members is standard practice. Why not just do it?
 A: 2.9% of our dormant members still buy within 12 weeks. A before/after
    comparison could not separate the effect of the pause from seasonality.