今日の文書 — 実験レポート
実験レポート — 実験が終わったあとに、「何を確かめ、どうやって、何が出て、だから何をするか」を、実験に人とお金を出した人と、あとで同じ実験をやり直す人のために残す文書。医学なら臨床試験の論文（報告の書き方は CONSORT という国際的なチェックリストで決まっている）、企業なら A/B テストの結果報告や PoC の報告書がこれに当たる。
| 比べる文書 | いつ書くか | 本体 |
|---|---|---|
| 研究計画書（カテゴリ13の1本目、Day013） | 実験の前 | 確かめること・誤りと判断する条件・結果ごとの行動 |
| 実験レポート（今日） | 実験の後 | 計画書のどの行に当たったか・計画と違ったこと・その結果が成り立った条件 |
| 効果測定レポート（マーケティング#8） | 施策の後（実験でなくてもよい） | 施策の効果の見積もり |
この文書の勝負どころ: 再現に必要な条件が漏れなく書かれているか。
今日はこれを、経営層が読む実験レポートの言葉に言い換える。研究チームにとっての「再現」は「同じ手順でやれば同じ数字が出るか」（乱数の種・抽出条件・分析コード）である。しかし審査会にとっての再現は、「この結果を会社全体に広げたとき、同じ結果になるか」である。実験は、ある期間・ある対象・ある条件の下で行われる。広げるときにその条件のどれかが変わるなら、実験の結果はそのまま使えない。
実験レポートは、次の 4つの約束 を守る文書である。
| 約束 | 中身 | 守らないと何が起きるか |
|---|---|---|
| ① 計画書のどの行か | 計画書の判定表のどの行に当たったか。判定の条件を変えていないことを明言する | 結果を見てから基準を選んだと疑われる（Day013 の HARKing） |
| ② 計画と違ったこと | 実験中に計画どおりにいかなかったことを、結果をどちらに偏らせるかとセットで書く | 「影響は限定的」の一言で、判定そのものが揺らいでいることが隠れる |
| ③ 成り立った条件 | 対象・期間・その間に起きたこと。広げるときに同じになるかを1つずつ | 3〜5月の結果を年末商戦にも当てはめてしまう |
| ④ 再現の手がかり | 割り付けの乱数の種・抽出条件・分析コードの置き場所・データを確定した日 | 半年後に「本当にその数字か」と聞かれて誰も答えられない |
臨床試験の報告指針 CONSORT 2010 にも、②にあたる項目（3b: 試験開始後の方法の重要な変更とその理由）と、③にあたる項目（21: 結果の一般化可能性＝外的妥当性）がある。さらに、今日のような「〜より悪くはない」を確かめる試験（非劣性試験）の報告には CONSORT の拡張版（Piaggio ほか、JAMA 2012）があり、計画どおりにいかなかった会員が混ざると、結果が「差がない」側に寄りやすいことに注意を促している。今日の Good→Better の差は、まさにそこにある。
シナリオ
あなたは株式会社ノヴァストア EC事業本部・販促システム部の MOpsチームマネージャー・宮田。Day013 の研究計画書の続き（時間を Day029 から戻した話。Day021 の冒頭にある「2028年9月、休眠会員33万人への配信を止めた」の、その前の報告）。
| 日付（2028年） | 出来事（数字はシナリオ内の設定） |
|---|---|
| 2/24（木） | 審査会が研究計画書を承認。許す購入の減少幅は B（0.2pt） |
| 3/6（月）〜5/28（日） | 実験。休眠会員から無作為に12万人ずつ「止める群」「送る群」 |
| 4/17（月） | 6週時点の確認。差 −0.02pt で中止条件（−0.5pt 以下）に当たらず続行 |
| 4/26・5/10・5/24（水） | マーケティング部 販促企画課（関課長の課）が「ポイント失効前のお知らせ」を配信。配信基盤のセグメント配信機能から直接送ったため、MOps の除外リストを通らず、止める群のうち 40,920人（34.1%）にも3通届いた |
| 5/29（月） | データサイエンス室の堀さんが「1人あたり受け取ったメール数」を両群で数えて発見（止める群は0通のはずが、34.1%で3通） |
| 6/2（金） | 購入データを確定（キャンセルの反映を待つため5日おいた） |
| 6/6（火） | 報告書を審査会に配布（宮田が書く。分析は堀さん） |
| 6/8（木） | 審査会。1件15分（説明5分・質疑10分） |
結果（堀さんの集計。割り付けた全員で比べる＝ITT）:
- 購入者率（12週・サイト/アプリ/LINE を問わず）: 送る群 2.93%（3,516/120,000）、止める群 2.90%（3,480/120,000）、差 −0.03pt、95%信頼区間 −0.16〜+0.10pt
- 計画書の判定表: 「差の下限が −0.2pt より上 → 6月中に休眠会員33万人への配信を止める」の1行目に当たる
- 混入のなかった会員だけ（3/6 時点で5月末に失効するポイントを持っていなかった会員。両群とも約66%）: 送る群 2.42%、止める群 2.30%、差 −0.12pt、区間 −0.27〜+0.03pt。下限が −0.2pt を割っている
- 混入のあった側（失効ポイントあり。両群とも約34%）: 差 +0.13pt（区間 −0.14〜+0.40）
- 迷惑メール報告率（会社全体・Gmail）: 実験前 0.24% → 実験中（5/1〜5/28）0.20%。止める群に届いた失効前メールの報告率は 1通あたり0.12%（休眠会員への通常の販促メールは約0.41%〔導出〕）
- 退会: 止める群1,212人・送る群1,190人（差は偶然の範囲。χ²検定 p=0.65）。退会者も分母に残している
面倒な事情:
- 混入させたのは、休眠会員への配信停止に反対していた関課長の課である。わざとではない（ポイント失効前のお知らせは毎月の定例で、MOps の除外リストが「MOps 経由の配信」にしか効かない作りだったことを、誰も知らなかった）。書き方を誤ると、責任の押し付け合いになる
- 計画書は「6月中に止める」と約束している。 しかし混入の原因（除外が配信基盤の全機能に効かない）を直さずに33万人を止めると、同じ混入が起きる。配信基盤（StreamGate）の設定変更はベンダー作業で、8/28 完了が最短
- 去年のデータ研究枠3件は「一定の効果が見られた」で終わった（Day013）。石原CFO は「今年は結果で何が決まったかを報告させる」と言っている
読み手プロファイル
| 項目 | 内容 |
|---|---|
| 誰が読むか | データ研究枠の審査会。大野CTO（研究責任者。比べ方が正しかったか、結果を都合よく読んでいないかを見る）、石原CFO（出資者。売上がいくら減るか、何が決まるかを見る）。事務局の経営企画部が同席。写しを高梨部長（宮田の上司）・関課長（販促企画課）・堀さんへ |
| 何を判断するために読むか | ①計画書の約束どおり、休眠会員への配信を止めてよいか ②止めるなら、いつから・どの条件で ③実験中の混入を、判定を覆すものとして扱うか |
| 何を知っているか | 2/24 に自分たちが承認した計画書の1ページ目（許す幅0.2pt、結果4通りの行動、6週時点の中止条件）。「メールの増分売上 月約2,400万円」 |
| 何を知らないか | 実験中に混入があったこと。混入が結果をどちらに偏らせるか（非劣性の実験では「差がない」側に寄せる＝止める判断に有利に働く）。ポイント失効前メールが通常の販促と別の経路で送られていること |
| 何を気にしているか | CFO: 年にいくら減りうるか、また「一定の効果」で終わらないか。CTO: 計画書の判定条件を報告書で書き換えていないか。混入を隠していないか |
| 読む時間と場面 | 審査会の前夜に 1ページ目だけ 読む。当日は15分。2ページ目以降（方法の詳細・再現の情報）は、CTO が質疑で開く |
この読み手が変わると何が変わるか:
読み手が 研究チーム（堀さんと、半年後にこの実験をやり直す分析担当。Lv1: 味方） なら、金額と「決めていただきたいこと」は1行に減らし、割り付けの乱数の種・抽出のクエリ・購入の定義・データを確定した日・分析コードの版を1ページ目に置く（今日の60分版）。読み手が 関課長（Lv3: 混入を起こした課で、停止に反対していた）なら、冒頭に「混入は運用の作りの問題で、課の誤りではない」と原因の場所（除外リストの効く範囲）を書き、失効前メールは止めない（A案）ことを先に伝える。今回は 統計の専門家ではない経営層2名 なので、「計画書のどの行か」「混入でその判定がどこまで揺らぐか」「広げるとき何を同じにすればよいか」を1ページ目で渡し、統計の中身と再現の情報は2ページ目に回す。
4段階で見る — 「1ページ目の結果と判定」
以下は同じ実験レポートの 1ページ目の「結果と判定」（審査会が前夜に読む部分）を4段階で書き分けたもの。実験レポートで最も差が出るのは、方法の説明ではなく、ここである。
タブで精読、「横に並べる」で差を一望できる（横並びは各段階の要点3行だけ）。
行数 16・13・16・14行、字数 Bad264→Good387→Better451→Best426字（空白を除く・実測）。Best は Better より短い（Good より長いので最短ではない）。Better の「成り立った条件」4つが、A案の説明と年末の確認に吸収された。
計画書で「確かめない」とした報告率が1行目。
判定（差と信頼区間）がなく「ほぼ同等」。
混入は書かず「一定の成果」「展開を検討」。目的・方法・結果・考察・結論の型。差と区間あり。
混入は「一部」「影響は限定的と考えられる」。
結論は5番目「停止を推奨」。いつ・条件なし。1行目「計画書の判定表の1行目」。条件は不変。
混入を量・仕組みの原因・偏りの向きで書く。
混入のない66%では下限−0.27pt、と並べる。件名「止める。ただし失効前メールは送る条件で」。
A 失効前は送る／B 全部止める を審査会が選ぶ。
9/1開始の理由、年末の確認と再開の線。"Key highlights" / "positive signals".
"No significant impact was observed".
"continue to monitor and consider a rollout".Objective / Methods / Results / Discussion.
"non-inferiority was demonstrated".
"the impact is likely limited" (hedging)."Row 1 of the pre-registered decision table."
"Protocol deviation" + "biases toward zero".
"Conditions under which this holds"."...but only verified with point-expiry emails"
"Decisions requested" A/B, "we recommend A".
"the ceiling you accepted".データ研究枠 実験結果報告書
テーマ: 休眠顧客向けメール配信最適化の効果検証
1. 結果サマリー
・迷惑メール報告率が0.24%→0.20%に改善（約17%改善）
・配信通数を576万通削減し、配信コストを約58万円削減
・購入者率は配信停止群2.90%、配信群2.93%でほぼ同等
・売上への大きな影響は見られなかった
・施策の効果が確認できた指標もあり、一定の成果が得られた
2. 考察
配信停止による売上へのネガティブな影響は限定的であり、
到達率改善に一定の効果があると考えられる。
3. 今後
引き続き効果検証を継続し、全休眠顧客への展開を検討する。Data Research Program - Experiment Results
Topic: Validating optimized email engagement for dormant customers
Key highlights
- Spam complaint rate improved from 0.24% to 0.20% (~17% improvement)
- 5.76M fewer emails sent, saving ~JPY 0.58M
- Purchase rate was comparable (2.90% vs. 2.93%)
- No significant impact on revenue was observed
- Some metrics showed positive signals; overall results were encouraging
Discussion
The negative impact on revenue appears limited, and the initiative
seems to have contributed to improved deliverability.
Next steps
We will continue to monitor and consider a broader rollout."Key highlights" "positive signals" "encouraging" は英文でも判定を避けた報告の合図。"No significant impact was observed" は「差がない」ではなく「差を見つけられなかった」で、英文の審査者は "absence of evidence is not evidence of absence" と返す。
実験報告書: 休眠会員へのメール配信停止が購入者率に与える影響
1. 目的: 休眠会員への配信を止めても、12週間の購入者率が0.2pt以上
下がらないかを確かめる（研究計画書 2/14）
2. 方法: 休眠会員から無作為に12万人ずつ2群に分け、3/6〜5/28の12週間、
一方への販促メールを止めた。割り付けた全員で比較（ITT）
3. 結果:
送った群 2.93%（3,516/120,000） 止めた群 2.90%（3,480/120,000）
差 −0.03pt（95%信頼区間 −0.16〜+0.10pt）
6週時点（4/17）の差は −0.02pt で、中止条件に当たらなかった
4. 考察: 信頼区間の下限が−0.2ptを上回り、非劣性が示された。
なお、実験期間中に止めた群の一部にポイント失効メールが
配信されたが、通数は少なく影響は限定的と考えられる。
5. 結論: 全休眠会員33万人への配信停止を推奨する。Badから何が変わったか:
- ③事実と解釈の分離が動いた。判定に使う数字（差 −0.03pt と、その95%信頼区間）が出た。人数も分子・分母で書いた。「ほぼ同等」という解釈ではなく、計画書の判定の形で書いている
- 報告率が消えた。 目的を計画書の仮説そのものにし、確かめない指標を報告の中心から外した
- 6週時点の確認を書いた。中止条件が実際に確かめられたことが分かる
- 混入に触れた。 Bad は書いていなかった
- 実験レポートの型（目的・方法・結果・考察・結論。論文の IMRaD に近い）が揃っている。社内の書式があれば、これで提出できる
まだ足りないもの（ここが今日の本題）:
- 混入の書き方が、判定を守る方向に寄っている。 「一部」「通数は少なく」「影響は限定的と考えられる」には、どれも根拠がない。実際は止める群の34%に、3通届いている。3通は送る群の48通に比べれば少ないが、届いたのは12週で最も購入につながりやすい「ポイント失効前」のメールである
- 混入が結果をどちらに偏らせるかが書かれていない。 止めた群の一部にメールが届くと、2群の違いが小さくなり、差は0に近づく。「〜より悪くはない」を確かめる実験では、差が0に近づくことは、判定を「止めてよい」の側に押す。つまりこの混入は、宮田さんにとって都合の良い方向の偏りであり、だからこそ数字で確かめて見せる必要がある
- 結論が計画書と食い違っている。 計画書は「6月中に止める」と約束したが、Good は「推奨する」とだけ書き、いつから・どの条件でかがない。混入の原因（除外リストが配信基盤の全機能に効かない）を直さないまま33万人を止めると、同じ混入がまた起きる
- 結論が1番下にある。 前夜に1ページ目を読む CFO は、5番目まで読んでようやく何が決まるかを知る
Study Report: Effect of Pausing Emails to Dormant Members on Purchase Rate
1. Objective: Test whether pausing emails reduces the 12-week purchase
rate by 0.2 pp or more (study proposal, Feb 14).
2. Methods: 120K vs. 120K dormant members, randomized; promotional emails
paused for one group, Mar 6 - May 28. Intention-to-treat analysis.
3. Results:
Control 2.93% (3,516/120,000); Pause 2.90% (3,480/120,000)
Difference -0.03 pp (95% CI -0.16 to +0.10 pp)
Week-6 check (Apr 17): -0.02 pp; stopping rule not triggered.
4. Discussion: The lower bound exceeded -0.2 pp; non-inferiority was
demonstrated. Some members in the pause group received point-expiry
emails, but the volume was small and the impact is likely limited.
5. Conclusion: We recommend pausing all 330K dormant members.英文の study report の型（Objective / Methods / Results / Discussion / Conclusion）が揃っている。ただし "the impact is likely limited" は hedging（may / likely）で根拠の無さを包んだ文で、英文の審査者は "limited in which direction, and by how much?" と聞く。
実験レポート: 休眠会員へのメールを止めても、購入は減らないか（6/8 審査会）
結果: 計画書の判定表の1行目に当たった（判定の条件は計画書から変えていない）
購入者率 止めた群2.90% / 送った群2.93%、差 −0.03pt
95%信頼区間 −0.16〜+0.10pt → 下限が −0.2pt より上
金額にすると: 33万人全員に広げた場合、年約330万円の減少（悪くて約1,780万円）
審査会が許した上限（年約2,230万円）の内
計画と違ったこと: 止めた群の34%（4.1万人）に、ポイント失効前のメールが
3通届いた（4/26・5/10・5/24）。販促企画課の定例配信が配信基盤の
別機能から送られ、MOpsの除外リストを通らなかった（除外の作りの問題）
この混入は差を0に近づける＝「止めてよい」側に結果を押す
届かなかった66%だけで比べると 差 −0.12pt（区間 −0.27〜+0.03pt）
この結果が成り立った条件: 3〜5月（年末商戦を含まない）／取引メールは送る／
失効前メールは34%に届いた／LINEは変えていないGoodから何が変わったか（★ここが今日の学習の中心）:
読み手プロファイルの各項目に、変更を1対1で対応させている。
| 読み手プロファイルの項目 | Betterで行った変更 |
|---|---|
| 何を気にしているか（CTO）「判定条件を報告書で書き換えていないか」 | 1行目を 「計画書の判定表の1行目に当たった（判定の条件は計画書から変えていない）」 にした。CTO が最初に確かめたいのは、良い数字ではなく約束が守られたかである。Good は「非劣性が示された」と統計の言葉で結論を書いたが、計画書のどの行かは読み手が照らし合わせる必要があった |
| 何を気にしているか（CFO）「年にいくら減りうるか」 | 差 −0.03pt を 33万人・1年の金額にした。推定どおりなら年約330万円、信頼区間の下限なら約1,780万円〔導出〕。そして審査会自身が2/24に許した上限（年約2,230万円）と並べた。CFO は「0.03pt」を判断できないが、「自分が許した額の内か外か」なら判断できる |
| 何を知らないか「混入が結果をどちらに偏らせるか」 | 「この混入は差を0に近づける＝『止めてよい』側に結果を押す」と、偏りの向きを1行で書いた。Good の「影響は限定的」は、向きも大きさも書いていない。向きが分かると、読み手は「だから都合の良い結論に見えるのでは」と自分で疑える。書き手に有利な向きの偏りほど、書き手が先に書く |
| 何を知らないか（同上）「どれくらい揺らぐか」 | 混入のなかった66%だけで比べた数字（差 −0.12pt、下限 −0.27pt）を並べた。この66%は「3/6 時点で5月末に失効するポイントを持っていなかった」という、割り付けの前に決まっていた性質で分けているので、2群の比べ方は崩れていない。下限が −0.2pt を割っていることを、数字のまま見せた |
| 何を知っているか「計画書の1ページ目」 | 計画書と同じ言葉（判定表・1行目・許す幅・下限）を使った。読み手が2/24に読んだ文書と、そのまま照らし合わせられる |
| 読む時間と場面「前夜に1ページ目だけ」 | 結論（1行目）を最初に置き、方法の説明（無作為に12万人ずつ・ITT）は2ページ目へ回した。方法は計画書で承認済みなので、変わっていなければ1ページ目に要らない |
「この結果が成り立った条件」を書いた理由: 今日の勝負どころ（再現に必要な条件）を、審査会の言葉にしたのがこの1行である。実験は「3〜5月」「取引メールは送る」「失効前メールは34%に届いた」「LINE は変えていない」という条件の下で行われた。33万人に広げたとき、この4つのどれかが変わると、結果はそのまま使えない。 特に「失効前メールは34%に届いた」は、Good では「混入（実験の失敗）」としか扱われていなかった。Better は、それを結果が成り立った条件の1つとして書き直した。
原因の書き方: 「販促企画課の定例配信が配信基盤の別機能から送られ、MOps の除外リストを通らなかった（除外の作りの問題）」と、人ではなく仕組みの場所を書いた。販促企画課は配信停止に反対していた関課長の課である。「販促企画課が誤って送信」と書けば、読み手は意図を疑い、関課長は防御に回る。危機管理のポストモーテム（危機管理#4）と同じ blameless（非難しない） の考え方で、直すべき場所が「除外リストの効く範囲」だと分かる書き方にした。
それでも残っている問題（Bestで扱う）:
- 審査会に何を決めてもらうかが書かれていない。 1行目の判定は「止める」だが、混入のなかった66%では下限が −0.2pt を割る。止めるときに失効前メールも止めるのかで、使える結果が変わる。それを選ぶのは審査会である
- 計画書の「6月中に止める」と食い違う事情（除外の作りを直すのに 8/28 までかかる）が書かれていない
- 「年末商戦を含まない」と書いたが、年末に何が起きたらどうするかがない。条件を書いただけで、行動になっていない
ここで動いた軸: ①結論の位置（最後の「推奨する」から、1行目の「計画書の1行目」へ）、③事実と解釈の分離（「影響は限定的と考えられる」という解釈から、偏りの向きと、混入のない会員だけの数字へ）、②読み手適合（統計の言葉から、審査会自身が許した金額との比較へ）。
Readout: Can we stop emailing dormant members without losing purchases?
(Review Board, Jun 8)
Result: Row 1 of the pre-registered decision table. Criteria unchanged.
Purchase rate: pause 2.90% vs. control 2.93%; difference -0.03 pp
95% CI -0.16 to +0.10 pp -> lower bound above -0.2 pp
In money: if rolled out to all 330K, ~JPY 3.3M/yr lost (worst ~JPY 17.8M),
within the JPY 22.3M/yr ceiling the Board accepted in February.
Protocol deviation: 34% of the pause group (40,920) received 3 point-expiry
emails (Apr 26, May 10, May 24). A routine campaign was sent through a
platform feature that bypassed the MOps suppression list (a design gap).
This biases the difference toward zero, i.e., toward "safe to pause".
Among the 66% who received nothing: -0.12 pp (CI -0.27 to +0.03 pp).
Conditions under which this holds: Mar-May (no holiday peak); transactional
emails sent; point-expiry emails reached 34%; LINE unchanged."Protocol deviation" は臨床試験の報告で使う中立の用語で、「誰かのミス」ではなく「計画と違ったこと」を指す。"biases the difference toward zero, i.e., toward 'safe to pause'" と偏りの向きを書くのが英文の NI 報告の作法。"Criteria unchanged" の2語は、日本語版の「判定の条件は計画書から変えていない」と同じ約束。
実験レポート: 休眠会員へのメール停止 — 判定は計画書の1行目（止める）
ただし確かめられたのは「ポイント失効前メールは送る」条件の下でだけ
審査会に決めていただきたいこと（6/8）
1. 止め方（推奨A）
A 失効前メールだけは送る … 実験で測った条件そのもの。差−0.03pt
（下限−0.16pt）で許す幅0.2ptの内。年約330万円の減少（悪くて1,780万円）
B 失効前メールも止める … 測れたのは失効ポイントのない66%だけで
下限−0.27pt。年約3,010万円の減少を否定できず、許した上限を超えうる
2. 開始は9/1（計画書は6月中）。除外を配信基盤の全機能に効かせる設定が
8/28に完了するため（4/26の混入の原因）。それまで2群は今のまま続ける
3. 年末の確認: 休眠の1割（3.3万人）には1/14まで送り続ける。年末8週の
差が−0.4pt以下なら、2/8の審査会で配信の再開を諮る
判定の条件は計画書から変えていない。違ったのは混入1点だけ（2ページ目）Betterから何が変わったか:
- ②読み手適合 → 混入を「実験の失敗」から「選べる止め方」に変えた。 実験で実際に測れたのは、「販促メールは止めたが、失効前メールは一部に届いた」状態である。だから33万人に広げるとき、その状態をそのまま再現すれば（A）、ITT の結果（下限 −0.16pt）がそのまま使える。失効前メールまで止める（B）なら、測れたのは混入のなかった66%だけで、下限は −0.27pt。混入は、結果を弱めた事故であると同時に、「どの条件なら結果が再現するか」を教えてくれた。今日の勝負どころ（再現に必要な条件）が、ここで判断の材料に変わる
- ④次の行動 → 「6月中」を「9/1」に変え、その理由を1行で書いた。 計画書の約束から外れる点を、報告書の側から先に言う。除外の作りを直さずに止めれば、同じ混入が起き、A の条件（失効前メールだけ送る）も B の条件（全部止める）も守れない。それまでの間は2群を今のまま続けるので、12週より先の差（計画書で「分からないこと」に挙げたもの）も参考として測れる
- ③事実と解釈の分離 → 「この研究で分からないこと」を、行動に変えた。 Better は「年末商戦を含まない」と条件を書いただけだった。Best は休眠の1割に年末まで送り続け、その差で再開を諮ると、分からないことを確かめる手順にした。−0.4pt は「この人数で見分けられる大きな害」の線（2ページ目に計算）で、0.2pt の判定をやり直すものではない
- ⑤想定反論 → 「混入を口実に、都合の良い結果を選んだのでは」を先に潰した。 最後の行で「判定の条件は計画書から変えていない」と書き、A と B の両方の数字を並べた。都合の悪い方（B の下限 −0.27pt）も1ページ目に出しているので、CTO は「隠した数字があるか」を探さなくてよい
- ①結論の位置 → 件名の2行で「判定」と「その限り」を渡した。 前夜に件名だけ読んでも、「止める。ただし条件つき」と分かる
- 減らしたもの: Better の「購入者率 止めた群2.90% / 送った群2.93%」の行（差と下限だけ残し、両群の率は2ページ目へ）、混入の日付3つと原因の詳しい説明（2ページ目へ）、「成り立った条件」の4つの列挙（A の説明と年末の確認に吸収した）
分量（実測）: JA Bad16・Good13・Better16・Best14行、空白を除く字数は Bad 264・Good 387・Better 451・Best 426字（EN 16・13・17・15行）。Best は Better より2行・25字短い（Good より長いので、4段階で最短ではない。Day029 のような厳密な逆転ではなく、Better→Best で減る型）。足したのは「決めていただきたいこと」3項目（A/B の比較・開始日・年末の確認）、外したのは両群の率・混入の日付と原因の詳細・条件の列挙。外した分が足した分より多かったのは、Better の「成り立った条件」4つが、A の説明（失効前メールは送る＝実験の条件）と年末の確認に吸収され、別の行が要らなくなったから
宮田さんが迷った点 — 「12週間やり直す」を推奨しなかった理由: 宮田さんは最初、「混入のない条件でもう12週間確かめてから（6/12〜9/3）、9月に判定する」案（C）を推奨しようとした。混入のない66%で下限が −0.2pt を割っている以上、慎重に見えるからである。しかし計画書は「期間を延ばしての再判定はしない」と約束している。C は、1行目の判定が出たのに、出なかったことにしてもう一度測ることで、約束の精神（結果を見てから測り直さない）に反する。しかも、9/1 まではどのみち除外の設定が終わらず止められないので、C を選んでも止める日は変わらない。変わるのは「判定をやり直した」という前例だけである。宮田さんは C を推奨から外し、2ページ目の「採らなかった案」に理由と一緒に残した。前提が変わる場合（たとえば、除外の設定が6月中に終わり、A でも B でも6月に止められるなら）、B を選びたい審査会には C を「B のための確認」として出す価値がある。
今回はBestまで作るべきか: Best必要。 実験レポートは、本来は記録が目的の文書で、判定表の1行目にきれいに当たったなら Better で十分である（計画書で行動まで決めてあるので、報告書で新しく決めることがない）。今回 Best にするのは、計画と違ったこと（混入）が、計画書の判定表に無い選択（失効前メールを送るか）を生んだからと、計画書の約束（6月中）から外れるからである。どちらも、報告書の書き手には決められず、計画書を承認した審査会が決めることである。逆に、混入がなく、6月中に止められるなら、Best の「決めていただきたいこと」は空になり、Better で止める。
Readout: Pause dormant members - Row 1 of the decision table (pause),
but only verified with point-expiry emails still being sent.
Decisions requested (Jun 8)
1. How to pause (we recommend A)
A Keep point-expiry emails: exactly the tested condition. -0.03 pp
(lower bound -0.16 pp), within the 0.2 pp margin. ~JPY 3.3M/yr (worst 17.8M)
B Stop them too: only the 66% subgroup tested it; lower bound -0.27 pp.
Cannot rule out ~JPY 30M/yr, above the ceiling you accepted.
2. Start Sep 1, not in June as planned: the platform-wide suppression fix
(root cause of the Apr 26 deviation) lands Aug 28. Both groups continue as-is.
3. Holiday check: keep emailing 10% of dormant members (33K) until Jan 14.
If the 8-week holiday difference is -0.4 pp or worse, we bring
resumption to the Feb 8 Board.
Decision criteria are unchanged from the proposal; one deviation (page 2).件名の2行目 "but only verified with..." が、英文の readout で結論の限界を件名に入れる型。"Decisions requested" → 選択肢 A/B → "we recommend A" は計画書（Day013）と同じ定型で、承認した人が同じ形で読める。"the ceiling you accepted" と主語を you にするのは、決めたのが審査会自身であることを思い出させる英文の言い回し。
日英差分ノート
1. 「ほぼ同等」「影響は限定的」と "non-inferior at the pre-specified margin"
日本語の報告書は「ほぼ同等」「大きな影響は見られなかった」「影響は限定的」と、断定を避ける言葉で結果を書くことが多い。英語の実験報告では、非劣性の結論は "non-inferior at the pre-specified margin of 0.2 pp" と、事前に決めた幅とセットで書く定型がある。幅を書かない "comparable" "no significant impact" は、英文の審査者には「判定していない」と読まれる。日本語でも「許す幅0.2ptの内」と、幅を必ず一緒に書くことで、断定を避ける言葉から抜け出せる。
2. 「一部の会員に配信があった」と "protocol deviation" — 日本語は主語と量を消す
日本語の「一部の会員に配信されたが」は、受け身で主語（誰が送ったか）を消し、「一部」で量を消す。角を立てないための書き方だが、読み手は「どれくらい」「なぜ」を知る手がかりを失う。英語の "protocol deviation" は、誰かを責める語ではなく、「計画と違ったこと」を指す中立の専門用語で、件数・割合・原因を書くのが当然とされる。今日の Best は日本語でも「混入」と名前を付け、量（34%・3通）と原因の場所（除外の作り）を書き、人の名前は書かないことで、角を立てずに中身を残した。
3. hedging の強さ — "likely" で包むか、数字で包むか
英語の hedging（may / likely / appears to）は、根拠が弱いことを正直に示す道具である。ところが Good の "the impact is likely limited" は、根拠が無いことを、根拠が弱いかのように見せている。英文の実験報告では、hedging の代わりに信頼区間を書けば、不確かさは数字が語る。日本語の「〜と考えられる」も同じで、区間を書いたら「考えられる」は要らない。
4. "pp" と "%" — 今日は金額でも確かめる
Day013 で書いたとおり、差は "percentage points (pp)"。今日の差 −0.03pt を "0.03%" と書くと、33万人・1年の金額が約330万円から約3万円に変わってしまう（100倍の開き）。金額に直してみると、"pp" と "%" の取り違えにその場で気づける。
頻出表現
| 日本語 | English | トーンの強さ・使う場面 |
|---|---|---|
| 計画書の判定表の1行目に当たった | Row 1 of the pre-registered decision table | 強い。報告の1行目に |
| 判定の条件は変えていない | criteria unchanged from the proposal | 強い。HARKing の疑いを先に消す |
| 許す幅0.2ptの内（非劣性） | non-inferior at the pre-specified margin of 0.2 pp | 強い。幅とセットで |
| 計画と違ったこと（混入） | protocol deviation | 中立。人を責めない |
| 差を0に近づける方向に偏る | biases the difference toward zero | 中立。偏りの向き |
| 割り付けた全員で比べる | intention-to-treat (ITT) | 中立。主な分析 |
| この結果が成り立った条件 | conditions under which this holds / generalisability | 中立。広げる前に |
| 影響は限定的と考えられる | the impact is likely limited | 弱い。根拠がなければ使わない |
| ほぼ同等 | comparable | 弱い。幅がないと判定にならない |
| 一定の成果が得られた | results were encouraging | 弱い。何も決まらない報告の合図 |
差分5軸まとめ
| 軸 | 🔴 Bad | 🟡 Good | 🟢 Better | 🔵 Best |
|---|---|---|---|---|
| ① 結論の位置 | ない（報告率の改善が1行目） | 5番目「推奨する」 | 1行目「計画書の1行目」 | 件名で「止める。ただし条件つき」 |
| ② 読み手適合 | 良く見える数字の順 | 論文の型（目的〜結論） | 審査会が許した金額と比べる | 混入を「選べる止め方」にして審査会に渡す |
| ③ 事実と解釈の分離 | 「ほぼ同等」「一定の成果」 | 差と信頼区間。混入は「限定的」 | 偏りの向きと、混入のない66%の数字 | A/B の両方の下限を並べ、分からないことを確かめる手順に |
| ④ 次の行動 | 「展開を検討」 | 「停止を推奨」（いつ・条件なし） | なし（条件は書いたが行動にしていない） | 止め方・9/1・年末の確認と再開の線 |
| ⑤ 想定反論 | 混入を書かない | 「影響は限定的」で済ませる | 混入の向き（都合の良い側）を自分で書く | 都合の悪い数字も1ページ目に出し、「選び直し」の疑いを消す |
| 分量（実測） | 16行・264字 | 13行・387字 | 16行・451字 | 14行・426字 |
今回の学習の中心は Good → Better。 Good は実験レポートの型をすべて満たし、数字も正しく、結論（非劣性）も計画書どおりである。それでも 混入を「影響は限定的と考えられる」の1文で済ませたことで、判定がどこまで揺らいでいるかが読み手から見えなくなった。Better は、混入が結果をどちらに偏らせるか（この実験では書き手に都合の良い側）を自分で書き、混入のなかった会員だけの数字を並べた。Best は、その混入を「どの条件なら結果が再現するか」という問いに変え、審査会が選べる形にした。実験レポートの誠実さは、都合の悪い数字を、都合の良い数字と同じ大きさで書けるかで決まる。
Best版・全文
日本語版 全文を見る
データ研究枠 実験レポート
研究課題: 休眠会員33万人へのメールを止めても、購入は減らないか
判定: 計画書の判定表の1行目（止める）。ただし確かめられたのは
「ポイント失効前メールは送る」条件の下でだけ
配布: 2028年6月6日（火） 審査会: 6月8日（木）
研究代表: EC事業本部 販促システム部 MOps 宮田 分析: データサイエンス室 堀
写し: 高梨部長、マーケティング部 販促企画課 関課長
━━ 1ページ目 ━━
■ 審査会に決めていただきたいこと
1. 止め方（推奨A）
A ポイント失効前メールだけは送り、ほかの販促メールを止める
… 実験で測った条件そのもの。差 −0.03pt（95%信頼区間の下限 −0.16pt）で、
2/24に決めた許す幅0.2ptの内。33万人・1年で約330万円の減少（悪くて約1,780万円）
B 失効前メールも含めて全部止める
… 測れたのは失効ポイントを持たない66%だけで、下限 −0.27pt。
年約3,010万円の減少を否定できず、許した上限（年約2,230万円）を超えうる
Aの失効前メールは月1通、休眠会員の約34%宛て。迷惑メール報告率は1通あたり0.12%
（通常の販促は約0.41%）で、会社全体の報告率への影響は1%未満（相対）
2. 開始は9/1（金）。計画書は「6月中」だった
理由: 除外を配信基盤（StreamGate）の全機能に効かせる設定が8/28（月）完了。
直さずに止めると4/26と同じ混入が起き、AもBも条件を守れない
それまで: 止めた群12万人は止めたまま、送った群12万人は送ったまま続ける。
12週より先の差を参考として9/14に報告する（判定には使わない）
3. 年末の確認
9/1以降も休眠会員の1割（約3.3万人、無作為）には2029/1/14まで送り続ける。
年末8週（11/20〜1/14）の購入者率の差が −0.4pt 以下なら、
2/8（木）の審査会に、休眠会員への配信の再開を諮る
■ 判定（計画書どおり）
購入者率（12週・サイト/アプリ/LINEを問わず）
送った群 2.93%（3,516/120,000） 止めた群 2.90%（3,480/120,000）
差 −0.03pt 95%信頼区間 −0.16〜+0.10pt
計画書の判定表:
▶ 差の下限が −0.2pt より上 → 6月中に休眠会員33万人への配信を止める（今回）
下限は下、差そのものは上 → 止めない。期間を延ばしての再判定はしない
差そのものが −0.2pt 以下 → 止めない。月1通に減らす案を次の研究にする
6週時点で差が −0.5pt 以下 → 中止（4/17の差は −0.02pt。当たらず）
判定の条件（主な指標・許す幅・ITT・期間）は計画書から変えていない
■ 計画と違ったこと（1点）
4/26・5/10・5/24（水）、販促企画課の定例「ポイント失効前のお知らせ」が、
止めた群のうち40,920人（34.1%）にも届いた（3通）。
原因: MOpsの除外リストは「MOps経由の配信」にだけ効く作りで、配信基盤の
セグメント配信機能から送ったメールには効かなかった。課の誤りではなく除外の作りの問題
発見: 5/29、堀さんが1人あたりの受け取り通数を両群で数えて発見
結果への影響: 2群の違いが小さくなり、差は0に近づく。
この実験では「止めてよい」側に結果を押す向きの偏り
■ この研究で分からないこと
・年末商戦（11〜1月）の影響（→ 決めていただきたいこと3で確かめる）
・失効前メールも止めた場合の、失効ポイントを持つ会員への影響（Bを選べない理由）
・休眠でない会員（63万人）への影響
━━ 2ページ目 ━━
■ 混入の大きさを確かめた分析（割り付け前の性質で分けているので、比べ方は崩れていない）
送った群 止めた群 差（95%信頼区間）
全員（主な分析、ITT） 2.93% (120,000) 2.90% (120,000) −0.03pt（−0.16〜+0.10）
失効ポイントなし（混入なし） 2.42% (79,300) 2.30% (79,080) −0.12pt（−0.27〜+0.03）
失効ポイントあり（混入あり） 3.92% (40,700) 4.05% (40,920) +0.13pt（−0.14〜+0.40）
注: 分けた2つの結果の差は、偶然の範囲を出ない。「失効前メールを送った方が買う」
とは読まない。この表は「混入でどこまで判定が揺らぐか」を見るためだけのもの
■ 金額の計算
・33万人×差×1人あたり12週の購入額7,800円×52/12
−0.03pt → 年約330万円、−0.16pt → 約1,780万円、−0.27pt → 約3,010万円
・審査会が2/24に許した上限: 0.2pt → 年約2,230万円
・配信費の節約（Aの場合、失効前メールを除く）: 年約680万円（1通0.1円）
■ 迷惑メール報告率（参考。研究では確かめない指標）
・会社全体（Gmail）: 実験前4週 0.24% → 5/1〜5/28 0.20%（止めた群12万人の分だけ下がった）
・止めた群に届いた失効前メール: 1通あたり0.12%（3通・延べ122,760通で147件）
■ 方法（計画書から変えていない）
・対象: 3/3（金）時点の休眠会員（過去180日にクリックも購入も0回）。既存の対照群（10%）を除く
・割り付け: 会員IDのハッシュで無作為に12万人ずつ（種: 20280303）
・期間: 3/6（月）0:00〜5/28（日）23:59。止めた群にも取引のメールは送った
・購入: 注文確定（キャンセルを除く）。データ確定 6/2（金）
・退会: 止めた群1,212人・送った群1,190人（χ²検定 p=0.65）。退会者も分母に残した
■ 採らなかった案
C 混入のない条件で12週間やり直し（6/12〜9/3）、9月に判定し直す
… 1行目の判定が出たのに測り直すことになり、計画書の「期間を延ばしての
再判定はしない」の精神に反する。9/1まではどのみち止められず、止める日も変わらない
D 混入のあった会員を除いて主な分析をやり直す
… 止めた群の側だけ除くと、2群の比べ方が崩れる。上の表のように両群を同じ性質で分けた
■ 再現の手がかり
割り付け: dsr-2028-01/assign.sql（種 20280303） 分析: dsr-2028-01/analysis.ipynb
データの確定日: 2028/6/2 問い合わせ: データサイエンス室 堀English 全文を見る
Data Research Program - Study Readout
Question: Can we stop emailing 330K dormant members without losing purchases?
Verdict: Row 1 of the decision table (pause) - verified only with
point-expiry emails still being sent
Distributed: Tue, Jun 6, 2028 | Review Board: Thu, Jun 8
PI: Miyata (MOps, Marketing Systems) | Analysis: Hori (Data Science Office)
cc: Takanashi (Head of Marketing Systems), Seki (Promotions Planning)
=== PAGE 1 ===
DECISIONS REQUESTED
1. How to pause (we recommend A)
A Keep point-expiry emails; stop all other promotional emails.
Exactly the tested condition: -0.03 pp (lower bound -0.16 pp), within
the 0.2 pp margin set on Feb 24. ~JPY 3.3M/yr lost (worst ~JPY 17.8M).
B Stop point-expiry emails too.
Only the 66% subgroup without expiring points tested this: lower bound
-0.27 pp. We cannot rule out ~JPY 30M/yr, above your JPY 22.3M ceiling.
Under A, point-expiry emails go monthly to ~34% of dormant members; their
spam rate is 0.12% per send (vs. ~0.41% for regular promotions), moving the
company-wide rate by less than 1% (relative).
2. Start Sep 1, not in June as planned.
The platform-wide suppression fix (StreamGate) lands Aug 28. Pausing
before then would repeat the Apr 26 deviation under either option.
Until then, both groups continue as-is; we will report the post-12-week
difference on Sep 14 for information only (not for a decision).
3. Holiday check
Keep emailing a random 10% of dormant members (~33K) until Jan 14, 2029.
If the 8-week holiday difference (Nov 20 - Jan 14) is -0.4 pp or worse,
we bring resumption to the Feb 8 Board.
VERDICT (as pre-registered)
12-week purchase rate (any channel)
Control 2.93% (3,516/120,000) | Pause 2.90% (3,480/120,000)
Difference -0.03 pp, 95% CI -0.16 to +0.10 pp
Decision table:
> Lower bound above -0.2 pp -> pause all 330K in June (this result)
Lower bound below, estimate above -> do not pause; no extension
Estimate at or below -0.2 pp -> do not pause; test monthly emails
Week 6 estimate <= -0.5 pp -> stop (Apr 17: -0.02 pp; not triggered)
Primary metric, margin, ITT analysis and period are unchanged from the proposal.
PROTOCOL DEVIATION (one)
On Apr 26, May 10 and May 24, the routine point-expiry campaign reached
40,920 pause-group members (34.1%), 3 emails each.
Cause: the MOps suppression list applied only to sends via MOps, not to the
platform's segment-send feature. A design gap, not a team error.
Detected May 29 by counting emails received per member in both groups.
Effect: it narrows the contrast and pulls the difference toward zero -
here, toward "safe to pause".
WHAT THIS STUDY DOES NOT TELL US
- Effects during the holiday peak (Nov-Jan) -> decision 3 tests this
- Effects of stopping point-expiry emails for members with expiring points
- Effects on non-dormant members (630K)
=== PAGE 2 ===
SENSITIVITY (split by a pre-randomization attribute; randomization preserved)
Control Pause Diff (95% CI)
All (primary, ITT) 2.93% (120,000) 2.90% (120,000) -0.03 pp (-0.16, +0.10)
No expiring points (clean) 2.42% (79,300) 2.30% (79,080) -0.12 pp (-0.27, +0.03)
Expiring points (deviated) 3.92% (40,700) 4.05% (40,920) +0.13 pp (-0.14, +0.40)
Note: the two subgroups do not differ beyond chance. Do not read this as
"point-expiry emails increase purchases"; the table only bounds the deviation.
MONEY
330K x difference x JPY 7,800 per 12 weeks x 52/12
-0.03 pp -> ~JPY 3.3M/yr; -0.16 pp -> ~17.8M; -0.27 pp -> ~30.1M
Ceiling accepted on Feb 24: 0.2 pp -> ~JPY 22.3M/yr
Send cost saved under A: ~JPY 6.8M/yr (JPY 0.1 per email)
SPAM RATE (for information; not a tested outcome)
Company-wide Gmail: 0.24% (4 weeks before) -> 0.20% (May 1-28)
Point-expiry emails to the pause group: 0.12% per send (147 of 122,760)
METHODS (unchanged)
Population: dormant as of Mar 3 (no clicks or purchases in 180 days),
excluding the existing 10% holdout. Randomization: hash of member ID,
120K per group (seed 20280303). Period: Mar 6 00:00 - May 28 23:59.
Transactional emails sent to both groups. Purchase = confirmed order,
net of cancellations; data frozen Jun 2. Attrition: 1,212 vs. 1,190
(chi-square p = 0.65); all kept in the denominator.
OPTIONS NOT RECOMMENDED
C Re-run 12 weeks without the deviation (Jun 12 - Sep 3), then re-decide:
it would re-test after a Row-1 result, against the spirit of "no
extension"; and pausing cannot start before Sep 1 anyway.
D Drop deviated members from the primary analysis: dropping them from one
arm only breaks randomization; we split both arms instead (table above).
REPRODUCIBILITY
Assignment: dsr-2028-01/assign.sql (seed 20280303)
Analysis: dsr-2028-01/analysis.ipynb | Data frozen: Jun 2, 2028 | Contact: Hori完成の定義チェックリスト
実験レポートを出す前に必ず確認する。「雑・妥協」を防ぐための外部基準。1つでも未チェックがあれば、まだ出さない。
今日の演習
Good の「なお、実験期間中に止めた群の一部にポイント失効メールが配信されたが、通数は少なく影響は限定的と考えられる。」の1文だけを、3行に書き直す。
手順:
- 量: 「一部」を、人数と割合と通数にする（シナリオから拾う）
- 原因の場所: 「配信された」の主語を、人ではなく仕組みにする（どの仕組みが、何に効かなかったか）
- 向き: この混入は、差を0に近づけるか、遠ざけるか。それは「止めてよい」の判定に有利か不利かを1行で書く
3行目（向き）を自分の言葉で書けたら、今日の目的は達成。書けたら Better の「計画と違ったこと」と見比べる。さらに余裕があれば、「では、混入のなかった会員だけで比べると？」という4行目を、シナリオの数字で足してみる。
同じ実験の「再現の手引き」を、研究チーム（Lv1: 味方）向けに書く。読み手は、2029年の春にこの実験を別の対象（たとえば休眠でない会員の配信回数）でやり直すことになる、データサイエンス室の新しい分析担当。題材は自分の職場の実験（なければ下の設定）。
設定（自分の題材がない場合）: 堀さんは2029年4月に異動する。後任は統計に詳しいが、ノヴァストアのメール配信の仕組みも、2028年の混入も知らない。
守る条件:
- 金額と「決めていただきたいこと」は1行に減らし、代わりに 対象の抽出条件（休眠の定義と、その日付）・割り付けの方法（種）・購入の定義（キャンセルの扱い）・データを確定した日・分析コードの置き場所 を1ページ目に置く
- 「受け取ったメールの通数を両群で数える」確認（今回、混入を見つけた手順）を、次の実験でも最初の週にやる手順として書く
- 今回の混入の原因（除外リストの効く範囲）が直ったかを、どうやって確かめるかを1行で書く
- 最後に、この手引きは Better 止めでよいか、Best が要るかを1行で判定する
取り組む前のヒント
考える順序
- 研究チームの「再現」は、審査会の「再現」と違う。審査会は「広げたら同じになるか」、研究チームは「同じ手順でやれば同じ数字が出るか」。同じ言葉で、読み手ごとに中身が違うことを最初に確かめる
- 再現に要る情報は、自分が当たり前だと思っていることほど漏れる。「休眠」の定義の日付（3/3 時点）、「購入」にキャンセルを含めるか、退会者を分母に残すか。この3つは、変えると数字が変わる
- 今回の混入は「誰も知らなかった仕組み」から来た。仕組みを確かめる手順（通数を数える）を、結果を見る前の週に置く
陥りやすい罠
- 分析コードの場所だけ書いて、コードが前提にしているデータの確定日を書き忘れる。後から届いた購入やキャンセルで、同じコードでも数字が変わる
- 「次の実験では混入に注意すること」と書く。注意ではなく、確かめる手順と、その結果をどこに書くかを書く
チェックすべき観点 書き上げたら「この手引きだけを渡された人が、2028年の数字（差 −0.03pt）を自分で出し直せるか」と「次の実験の最初の週に、何を数えればよいかが分かるか」の2点を確かめる。
実務での使いどころ
実験レポートは、計画書と対になって初めて意味を持つ文書である。計画書が「何が出たら何をするか」を先に約束し、レポートが「どの行に当たったか」を報告する。2026年現在、A/B テストの基盤（社内の実験プラットフォームや SaaS）は、差と信頼区間、判定まで自動で出す。自動で出ないのは、今日の Good→Better の部分 —— 計画と違ったことが結果をどちらに偏らせるか、結果がどの条件の下で成り立ったか —— である。 基盤は「止める群に何通届いたか」を数えてくれないことが多い。数える手順を実験の最初の週に置くのは、人の仕事として残る。
| 関係 | 文書 | この実験レポートとの関係 |
|---|---|---|
| 前 | 研究計画書（研究開発#1、Day013） | 判定表・許す幅・中止条件・「分からないこと」。今日のレポートは、この表のどの行かを1行目に書いた |
| 後 | RFP（調達#1、Day021） | 2028年9月に休眠会員への配信を止めた後、11月から報告率が再び上がる。今日の「年末の確認」の1割は、その時期の購入の差を測る仕組みにもなる |
| 横 | 効果測定レポート（マーケティング#8） | 実験でない施策の効果の報告。今日の「偏りの向きを書く」は、そこでも使える（比べる相手が無作為でない分、向きの議論はもっと大事になる） |
| 後 | 技術ブログ記事（研究開発#4） | 「休眠会員への配信を止めた実験で、混入から学んだこと」は、社外の担当者にも役立つ題材。除外リストの効く範囲の話は、多くの会社に当てはまる |
| 横 | ポストモーテム（危機管理#4） | 混入の原因を、人ではなく仕組みの場所で書く（blameless）。今日は1行で済ませたが、混入が大きければ別にポストモーテムを書く |
現場で一番効くのは、実験の最初の週に「止めた群が、本当に止まっているか」を数えること。 今回の混入は、5/29 に見つかった。4月の第1週に数えていれば、4/26 の1通目の前に止められた。計画どおりにいかないことは必ず起きる。報告書で誠実に書くより先に、起きた週に見つける仕組みを置く。
この回の設計メモ（迷った他案・扱わなかった範囲・出所）
迷った他案と採らなかった理由
- 結果を判定表の2行目（どちらとも言えない）にする案 — 計画書の「期間を延ばしての再判定はしない」が試される、最も教材になる結果だった。しかし Day021 で「2028年9月に休眠会員33万人への配信を止めた」と書いており、2行目なら止めないことになって続編と矛盾する。代わりに、1行目の判定と、混入のない会員での下限割れを両方出し、「延ばして測り直さない」約束は Best の「採らなかった案 C」で試した
- Best の推奨を C（混入のない条件で12週やり直し、9月に判定）にする案 — 最初はこれで書いた。結果的に止める日（9/1）は同じになり、Day021 とも合う。しかし「1行目が出たのに測り直す」のは、計画書の約束の精神（結果を見てから測り直さない）に反する。推奨から外し、本文と全文の両方に理由つきで残した。前提が変わる場合（除外の設定が6月中に終わる）には C の価値が出る、とも書いた
- 混入のあった会員を除く分析（per-protocol）を主にする案 — 非劣性の試験では ITT と per-protocol の両方を見るのが定石だが、今回は止めた群の側にしか混入がないため、片方の群だけ除くと比べ方が崩れる。割り付け前の性質（3/6 時点の失効ポイントの有無）で両群を分ける感度分析にした。これは「混入した会員そのもの」ではなく「混入しうる性質の会員」を除いているので、厳密な per-protocol とは違う。その違いは本文で「比べ方は崩れていない」とだけ書き、per-protocol の言葉は使わなかった
- 読み手を研究チーム（カタログの主な読み手）にする案 — カタログは実験レポートの主な読み手を「研究チーム」としている。読み手 Lv2（距離のある読み手）の方針を優先し、計画書を承認した審査会にした（ルール5）。研究チーム向けの「再現」は60分版と全文の2ページ目「再現の手がかり」に回した
- 年末の確認を2割（6.6万人）にする案 — 2割なら −0.2pt の判定に近い検出力（約78%〔導出〕）が出る。しかし休眠会員に送り続ける人数が倍になり、迷惑メール報告率が約0.18%（1割なら約0.17%）〔導出〕に上がる。年末の確認は「0.2pt の判定のやり直し」ではなく「大きな害（−0.4pt）を見つける」ためと位置づけ、1割にした。1割で −0.4pt の害を見分ける確率は約98%〔導出〕
扱わなかった範囲
- ベイズ流の報告（「差が −0.2pt より悪い確率は何%か」）。経営層には分かりやすいが、計画書が信頼区間で判定を約束しているため、報告で方法を変えない
- ばらつきを減らす補正（CUPED）。Day013 で他案に挙げたまま。計画書に無い分析を報告書で足すと、選び直しの疑いを招く
- 混入のポストモーテム（なぜ除外リストが MOps 経由にしか効かなかったか、誰も気づかなかったのはなぜか）。本文では原因の場所を1行で書くにとどめた
- 個人情報・特定電子メール法の観点。送らない側の変更で、法令上の新しい論点は生まないとして扱わなかった（法的な確認はしていない）
- 時間の流れの食い違い: Day021 の推移表では「2028年8月 0.24%（休眠会員にも配信）」としている。今日の Best では 9/1 までの間も止めた群12万人を止めたままにするので、8月の報告率は約0.20%前後になるはずである。Day021 の表は丸めた記述として扱い、次に到達性の筋を扱う回で「8月は止めた群の分だけ低い」と揃える
数字と概念の出所
- 本文の会社・人物・日付・金額はすべて架空の設定。〔実測〕はシナリオ内の実績値（両群の購入者数、混入人数40,920人、6週時点の差、報告率0.20%、失効前メールの報告147件、退会者数）、〔導出〕は計算値、〔仮定〕は置いた値（配信費1通0.1円、除外設定の完了日8/28）。Day013 の設定（1人あたり12週の購入額7,800円、許す幅0.2pt＝年約2,230万円、休眠への通常販促の報告率約0.41%＝0.24%×0.58÷0.34）を引き継いだ
- 計算は作成時に Python で行った〔導出〕: 差と95%信頼区間（2つの比率の差、正規近似）— 全員 −0.030pt（−0.165〜+0.105）、失効ポイントなし −0.117pt（−0.267〜+0.032）、あり +0.130pt（−0.138〜+0.399）、6週時点 −0.020pt。年の金額 33万人×差×7,800円×52/12: 0.03pt 334.6万円・0.16pt 1,784.6万円・0.2pt 2,230.8万円・0.27pt 3,011.6万円。配信費 33万人×4通×52週×0.1円＝686.4万円。失効前メールの報告率 147÷122,760＝0.120%。失効前メールが会社全体の報告に足す割合 約0.8%（休眠の34.1%×月1通×0.12% ÷ 非休眠63万人×週4通の月間×0.153%）。退会の偏り χ²＝0.20、p＝0.65。年末の確認の検出力（1割＝3.3万人対29.7万人、購入者率2.9%）: −0.2pt で約54%、−0.4pt の害で約98%。2割で −0.2pt 約78%
- 日付の曜日（2028/3/6月・4/17月・4/26水・5/10水・5/24水・5/28日・6/2金・6/6火・6/8木・8/28月・9/1金、2029/2/8木）は作成時に計算して確認した
- CONSORT 2010（項目3b: 試験開始後の方法の重要な変更とその理由／項目21: 一般化可能性）: CONSORT 2010 statement（Schulz, Altman, Moher, 2010）https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3043330/ ほかチェックリストの写し（2026-10-15 に検索結果の要約で確認。本文は未読）。なお CONSORT は2025年に改訂版が出ているはずだが（記憶による）、項目番号は2010年版で書いた
- 非劣性試験の報告の拡張: Piaggio G, Elbourne DR, Pocock SJ, Evans SJ, Altman DG. Reporting of noninferiority and equivalence randomized trials: extension of the CONSORT 2010 statement. JAMA 2012;308(24):2594-604. https://jamanetwork.com/journals/jama/fullarticle/1487502 （2026-10-15 に書誌を検索結果で確認）。「ITT は非劣性の試験では非劣性側に寄りうるので、per-protocol と両方を報告する」という中身は、検索結果では本文を確認できず、記憶による記述。本文では「注意を促している」と弱めに書いた
- 「absence of evidence is not evidence of absence」は統計の教育で広く使われる言い回し（Altman & Bland, BMJ 1995 が有名だが、今回は出典ページを確認していない。記憶による）
- 分量（行数・字数）は、各コードブロックを作成後にスクリプトで数えた実測値
何が起きているか:
これは怠慢ではなく、「結果は良かったのだから、細かいことで足を引っ張られたくない」という気持ちから生まれる形である。良い数字を先に並べ、判定のやり方や混入は「細かいこと」として省く。しかし、審査会が報告書で最初に確かめるのは、良い数字ではなく、計画書の約束が守られたかである。