シナリオ
あなたは引き続き Priya Anand — Director of SRE, Anchorpoint Systems（B2B決済インフラ、ARR約$40M、ロンドン在住）。物語上の時刻は Day 176 の会議の6日後、2027/1/13（水）14:05〜14:55 UTC。
1/11（月）、CEO の Hannah が3段階の方針を承認した。段階3（言わない）: CloudEdge の名前、"false"、"zero"、測っていない数字。実測の切り替え時間は再試験で中央値 61秒・最悪 1分52秒、本番障害で 2分21秒——「1分未満」はどの数字でも成り立たない。取締役会は 1/26（火）、資料の締め切りは 1/19（火）。
テストの中身（Priya が確認できる事実）
| 項目 | 内容 |
|---|---|
| ページ／指標 | /reliability。デモ依頼フォームの送信率 |
| A（現行） | 文章だけ |
| B（挑戦） | A ＋ 90秒の動画（Noor が11月に制作、方針の決定より前） |
| 期間・配分 | 12/7（月）〜1/11（月）の35日、50/50、1日各群 約120人 |
| 結果 | A: 4,210人中88件（2.09%）／ B: 4,190人中119件（2.84%）。+36%、p = 0.027 |
| 止め方 | 終了条件なし。毎朝 p 値を見て、0.05 を切った最初の日に止めた |
🎬 動画 0:41 のナレーション: "When a provider goes down, Anchorpoint fails over in under a minute."
あなた
Priya Anand
Director of SRE。切り替え時間の証拠の持ち主。マーケに部下はいない
投稿者
Leo Brandt
Growth Analyst、トロント。入社4か月、初めて自分で回したテスト。母語話者・熱心
VP
Dana Whitfield
VP Marketing、ボストン。取締役会に数字を見せたい。速く断定的
動画の作者
Noor Haddad
PMM、リスボン。B2。聞かれるまで話さない
重要なコンテキスト
目的
Leo を公に認めつつ、B の公開と取締役会への "+36%" を止め、代わりの1行を出す
Leo を公に認めつつ、B の公開と取締役会への "+36%" を止め、代わりの1行を出す
公開の場
#growth-experiments は約40人。書いたことは取締役会資料に貼られうる
#growth-experiments は約40人。書いたことは取締役会資料に貼られうる
二択
一文を削ればテストはやり直し。削らなければ毎日約120人の見込み客に「1分未満」と言い続ける
一文を削ればテストはやり直し。削らなければ毎日約120人の見込み客に「1分未満」と言い続ける
立場
段階3は承認済みの方針。ただし Noor・Dana の仕事に命令する立場ではない
段階3は承認済みの方針。ただし Noor・Dana の仕事に命令する立場ではない
タスク
メッセージ2 と メッセージ4（Priya のスレッド返信）を英語で書いてください。1投稿150文字以内、各メッセージ3投稿以内。制限時間20分。
growth-experiments · Anchorpoint · 41 members
Leo Brandt14:05
📈 Reliability page test, final: B (90-sec failover video) beat A on demo requests, 2.09% → 2.84%, +36%, p = 0.027 🎉 Calling it. Shipping B to 100% tomorrow.
🎉 14🙌 6💬 3 replies
Dana Whitfield14:12
Love it. This goes on the board slide Tuesday: "Reliability messaging lifts pipeline 36%." @Priya can you sanity-check the video before it goes in? 🙏
Noor Haddad14:15
Script's here → notion.so/anchorpoint/failover-video-v3
Leo Brandt14:20
Thanks all! For the record we checked it every morning, it finally crossed 0.05 on Monday so I stopped it there 🙂
メッセージ2 — Priya の返信（14:30頃）
投稿1: Leo を具体的に認める＋出す前に2点投稿2: Content: 「1分未満」は段階3 → Noor に今日削れるか → やり直しは承知投稿3: Stats: 毎日見て止める問題を1文 → Leo と20分
Dana Whitfield14:41
Priya, the board doesn't need a stats seminar. Six deals are stuck on reliability. Can we at least say "early tests show up to 36% lift"? Noor can swap the line after the board.
Leo Brandt14:44
Fair on the peeking, my bad 😬 Could we run a sequential test on what we have instead of restarting? Optimizely does that, right?
メッセージ4 — Priya の返信（14:55頃）
投稿1: Dana: "up to 36%" を主語「私」で断る＋理由3つ投稿2: Leo: 発想を認め、今回は論点が消えたと言う投稿3: 取締役会の代わりの1行＋Dana と15分
使える表現・フレーズ
カードをクリックすると英語フレーズを表示します。
きれいな設計と分かりやすい報告クリックで英語を表示 →
Clean split and a clear write-up💡 「何が」良かったかを名指す。"Great job!" だけだと前置きに聞こえる
出す前に2点クリックで英語を表示 →
Two things before B ships or goes on a slide💡 指摘の数と時点を先に。「出すな」でなく「出す前に」
それは段階3にある（誰が・いつ）クリックで英語を表示 →
That's tier three (Hannah, Monday).💡 自分の意見でなく承認済みの方針だと示す
やり直しになるのは承知しているクリックで英語を表示 →
It resets the test, I know.💡 相手の損を相手より先に言う。反論の先回り
誤った勝ちの率が5%を大きく超えるクリックで英語を表示 →
pushes the false-win rate well past 5%💡 "invalid" より角が立たない。やり方の性質として言う
終了条件を決めようクリックで英語を表示 →
set a fixed endpoint💡 統計の講義をせず、直す行動で終える
〜を支持できないクリックで英語を表示 →
I can't stand behind "up to 36%"💡 VP に命令せず、主語を自分（証拠の持ち主）に置く
幅は +3% から +78%クリックで英語を表示 →
The range runs +3% to +78%💡 "95% CI" と書かずに区間を経営層へ
デモ依頼であって商談額ではないクリックで英語を表示 →
it's demo requests, not pipeline💡 指標のすり替えを短く正す
いま見込み客に出ているクリックで英語を表示 →
it's live to buyers today💡 「後で直す」が効かない理由を時制で言う
いい発想クリックで英語を表示 →
Good instinct.💡 部分的に正しい提案を認める。謝った相手に追い打ちしない
前提が変わって論点が消えたクリックで英語を表示 →
Today it's moot.💡 米語の用法。英国の相手には "It doesn't apply here."
取締役会に載せる1行の案クリックで英語を表示 →
Board line I'd suggest: "..."💡 断るだけでなく、そのまま貼れる代案を引用符で
ヒント（段階的開示）
ヒント 1 — 構成・方向性
順番は「認める → 中身（言わない数字）→ 統計」。「1分未満」は今まさに見込み客への誤った約束で、統計より重い。動画の件は事実＋承認済みの方針で言い、やり直しの損を自分から言う。統計は「正しい・間違い」でなく「確率がどう変わるか」を1文、数字（約29%）は Leo との20分で。Dana には理由を3つ1文に詰め、必ず代わりの1行を出す。Leo の逐次検定の案は半分正しいので、認めてから退ける。
ヒント 2 — キーフレーズ・表現
- メッセージ2:
"Nice work, @Leo."/"Two things before B ships or goes on a slide"/"That's tier three (Hannah, Monday)."/"It resets the test, I know."/"pushes the false-win rate well past 5%"/"set a fixed endpoint" - メッセージ4:
"I can't stand behind ..."/"the range runs +3% to +78%"/"demo requests, not pipeline"/"live to buyers today"/"Good instinct."/"set up before day one"/"Today it's moot"/"Board line I'd suggest:"
ヒント 3 — 骨格テンプレート
メッセージ2 の骨格：
[Leo を名指しで具体的に褒める + 出す前に2点（中身・統計）]
[Content: 動画の一文 → 段階3（Hannah, 月曜）→ Noor に今日削れるか → やり直しは承知]
[Stats: 毎日見て最初に切った日で止める → 誤った勝ちが5%超 → Leo と20分、終了条件]
[Content: 動画の一文 → 段階3（Hannah, 月曜）→ Noor に今日削れるか → やり直しは承知]
[Stats: 毎日見て最初に切った日で止める → 誤った勝ちが5%超 → Leo と20分、終了条件]
メッセージ4 の骨格：
[Dana: "up to 36%" は支持できない + 幅／指標／いま出ている]
[Leo: 発想は良い + 最初から仕込めば使える → やり直しに組み込む + 出す B が違うので論点が消えた]
[取締役会の代わりの1行（引用符）+ Dana と明日15分]
[Leo: 発想は良い + 最初から仕込めば使える → やり直しに組み込む + 出す B が違うので論点が消えた]
[取締役会の代わりの1行（引用符）+ Dana と明日15分]
モデル解答（C1〜C2相当）
growth-experiments · thread
You (Priya Anand)14:30
Nice work, @Leo. Clean split and a clear write-up 👏 Two things before B ships or goes on a slide: one content, one stats. Content: B's video says we fail over "in under a minute". That's tier three (Hannah, Monday). @Noor can we cut it today? It resets the test, I know. Stats: checking daily and stopping at the first p<0.05 pushes the false-win rate well past 5%. @Leo 20 min today to set a fixed endpoint?
Dana Whitfield14:41
Priya, the board doesn't need a stats seminar. ... "early tests show up to 36% lift"? Noor can swap the line after the board.
Leo Brandt14:44
Fair on the peeking, my bad 😬 Could we run a sequential test on what we have instead of restarting? ...
You (Priya Anand)14:55
@Dana I can't stand behind "up to 36%": the range runs +3% to +78%, it's demo requests, not pipeline, and that line is live to buyers today. @Leo good instinct. Sequential works if it's set up before day one, so let's build it into the restart. Today it's moot: we won't ship that B. Board line I'd suggest: "Test restarted 13 Jan after we removed an unverified claim; read-out early March." Dana, 15 min tomorrow on the slide?
文字数（Python の len() で実測）: メッセージ2 = 121／148／137 文字（77語）、メッセージ4 = 140／142／143 文字（78語）。すべて150文字以内。
"+36%" の幅を見る（相対差の95%区間）
点推定 +36%
0%+40%+80%+120%
帯は +3.5%〜+78.4%（比の対数で計算）。"up to 36%" は点推定を上限のように見せる言い方で、区間の上半分を捨て、下限（ほぼ0）も隠す。
解説
構成分析
1
最初の投稿は「褒める＋予告」だけ — 🎉 が14個付いた投稿に、いきなり問題を書くと「水を差す人」になる。本当に良かった点（50/50 の配分、数字で簡潔な報告）を名指し、「出すな」ではなく「出す前に2点」。
2
"Content:" "Stats:" のラベル — スレッドでは1投稿＝1論点。後から返す人が「Content の件」と指せる。Day 170 の "On 75s:" と同じ型。
3
中身を統計より先に — 「1分未満」はテストの正しさと無関係に、いま毎日約120人の見込み客への誤った約束。統計を先に書くと p 値の議論に埋もれる。
4
"That's tier three (Hannah, Monday)." — 根拠は Priya の好みでなく承認済みの方針。実測値（61秒など）は書かない。書くと「では61秒と書けば」という次の議論（それも取締役会の後の段階2）を呼ぶ。
5
"@Noor can we cut it today?" — 命令せず問いの形、ただし "today" で期限は明確。11月に作った Noor を責める語は無い。
6
"It resets the test, I know." — いちばん大事な4語。35日分が無駄になると自分から言えば、Dana の反論は「損」ではなく「時期」に移る（実際にそうなる）。
7
統計は1文、数字なし — シミュレーションでは約29%だが、スレッドに書くと "29%?" の議論が始まり、Leo が40人の前で防戦することになる。数字は20分の場で。
8
Dana には主語を自分に — "You can't say that" は VP への命令。"I can't stand behind ..." は証拠の持ち主としての責任の話で、Dana の権限に触れない。
9
理由を3つ、1文で — 幅（+3%〜+78%）、指標（デモ依頼≠pipeline）、時制（live to buyers today）。3つ目が「取締役会の後で削ればいい」への直接の答え。
10
Leo には "Good instinct." から — 逐次検定（always-valid p-values）は「毎日見たい」問題の正しい道具。ただし始める前に決めるのが筋。そして削った後の B は別物なので、今のデータに何をかけても答えにならない。"my bad 😬" の相手に追い打ちしない。
11
代わりの1行をそのまま貼れる形で — 取締役会には悪いニュースを「自分たちで見つけて直した話」として出す。取締役は「数字が良い」より「この会社は自分の数字を疑える」を見ている（月次フォーカスの核心）。最後に Dana と15分で、決めるのは Dana と Hannah だと残す。
重要表現まとめ
| 表現 | 意味・ポイント |
|---|---|
write-up | 結果の報告文 |
ship | （機能・ページを）公開する |
reset | やり直しにする。"It resets the test" |
false win | 差が無いのに「勝った」と出ること。"false positive" より平易 |
endpoint | 判定の時点（何人・何日で読むか） |
stand behind | （主張に）責任を持つ |
the range runs X to Y | 幅は X から Y。区間を経営層向けに |
pipeline | 商談の総額。デモ依頼とは別物 |
live | 公開中の。"live to buyers" |
my bad | （口語）自分のミス。Slack では上司の前でも普通 |
moot | 米: 論点として消えた／英: 議論の余地がある。英国相手は "doesn't apply" が安全 |
read-out | 結果を読む時点・報告 |
文化的ポイント
| 日本の職場で起きやすいこと | 英米のチャット文化で期待されること |
|---|---|
| 公開チャンネルでは指摘せず、本人に DM（顔を立てる） | 公開で出た主張は公開で直す。顔を立てるのは書き方（褒める・仕組みの話・詳細は別の場）で |
| 「細かい点で恐縮ですが…」の長い前置き | 前置きは1文で具体的に褒め、論点の数を言う |
| 統計の誤りを全部丁寧に説明する | スレッドでは1文。長い説明は「若手に公開講義する人」に見える |
| VP の提案に代案なしで黙る／「難しいです」 | 理由を短く、主語を自分に、代案を貼れる形で |
| 絵文字を使わない／多用する | Leo の祝賀に 👏 を1つ。Dana への返事と方針の話には付けない |
| チャンネル全体に返信する | 議論はスレッド内。"Also send to #channel" は結論の告知だけ |
数字の根拠（出所の区別）
| 数字 | 区分 | 中身 |
|---|---|---|
| A 4,210人／88件、B 4,190人／119件、35日、1日各群約120人 | シナリオ設定 | 本問の設定 |
| 2.09% → 2.84%、+36%、p = 0.027 | 導出（計算） | 2群の比率の z 検定（合算比率）、z = 2.22 |
| 95%区間 +3%〜+78% | 導出（計算） | 比の対数の標準誤差で +3.5%〜+78.4% |
| 毎日見て止めると誤った勝ち 約29% | 実測（シミュレーション） | A/A（両群 2.1%）、1日各群120人、35日毎日判定、5,000回で 28.6%。35日目に1回だけなら 4.7% |
| 2.1% → 2.9% の検出に各群 約5,980人 | 導出（計算） | 両側 α = 0.05、検出力 80% |
| 再開後の読み取り「3月初め」 | 導出 | 6,000 ÷ 120 = 50日、1/14 開始で 3/5 |
| 切り替え時間 61秒・1分52秒・2分21秒 | シナリオ設定 | Day 169〜176 から引き継ぎ |
| 曜日、時刻（14:05 UTC = 9:05 EST） | 確認済み／導出 | python3 で曜日確認。1月は夏時間なし |
| 各投稿の文字数・語数 | 実測 | Python の len() と split() |
迷った他案と採らなかった理由
(1) 動画の「1分未満」をどうするか
| 案 | 採らなかった理由 | 前提が変われば |
|---|---|---|
| A. 最後まで回してから削る | その間、毎日約120人に測っていない数字を見せ続け、承認済みの段階3に知っていて反する | 1/20 の再試験で全回1分未満、かつ取締役会の後なら、段階2の数字として言い換えて残せる |
| B. 取締役会の後に削る（Dana 案） | 取締役会に出すのが、出さない B の数字になる。後で別物と分かれば Day 175〜176 の信頼が崩れる | — |
| C. B ごと取り下げ | 残り89秒は段階1の範囲で価値がありそう。テストの機会を捨てる | 動画の他の部分にも段階3の主張が多ければこちら |
| D. 採用 | 一文だけ今日削る。テストはやり直しと自分から言う | |
(2) どこで指摘するか
| 案 | 採らなかった理由 | 前提が変われば |
|---|---|---|
| E. Leo に DM だけ | スレッドに "+36%" と "lifts pipeline 36%" が残り、Dana が資料に貼る | 🎉 が付く前なら DM で伝え、Leo 自身に訂正してもらうのが最良 |
| F. Dana に DM だけ | Leo と Noor が知らないまま明日 B を100%に出す | — |
| G. スレッドで統計を詳しく（29%も） | 公開講義になり、"29%" に議論が集まって動画の件が埋もれる | Leo が自分から聞いたら、20分の後に要点をスレッドに残す |
| H. 採用 | スレッドで短く（褒める・2点・詳細は20分） | |
(3) Leo の「逐次検定で今のデータを救えないか」
| 案 | 採らなかった理由 | 前提が変われば |
|---|---|---|
| I. 「後付けは無効」と言い切る | 正確でない。always-valid p-values は設定をデータを見る前に決めれば、どこで止めても有効になりうる | — |
| J. その場でかけてみる | 削った後の B は別物。何をかけても「出す B が勝つか」の答えにならない | 動画を削らずに済む状況なら検討に値する |
| K. 採用 | 発想を認め、やり直しに最初から組み込む。今回は論点が消えた | |
よくある日本人のミス
❌ "Sorry to interrupt the celebration, but..."
謝って入ると「水を差す人」の役を引き受ける
→
✅ "Nice work, @Leo. ... Two things before B ships"
❌ "This test is invalid."
正確でもなく、Leo の仕事全体を否定する
→
✅ "stopping at the first p<0.05 pushes the false-win rate well past 5%"
❌ "You should not use the video."
命令で、理由が無い
→
✅ "B's video says ... 'in under a minute'. That's tier three (Hannah, Monday)."
❌ やり直しになることに触れない
相手の損を言うと押しが弱くなると思う
→
✅ "It resets the test, I know."
❌ "We cannot say 36% because of statistical problems."
経営層には理由が抽象的すぎる
→
✅ "the range runs +3% to +78%, it's demo requests, not pipeline"
❌ "Your suggestion is wrong."
部分的に正しい案を全否定する
→
✅ "Good instinct. Sequential works if it's set up before day one"
❌ 断って終わる
代案を出すのは越権だと思う
→
✅ "Board line I'd suggest: '...'"
❌ ロンドンの同僚に "It's moot."
英米で意味がずれる
→
✅ "It doesn't apply here."
ワンランク上の表現
Basic: "Leo, the test has a problem. We checked it every day. Also the video has a wrong number. Please don't ship B."
B2: "Great work, Leo! Before we ship B, two concerns: the video says 'under a minute', which we agreed not to say, and checking the p-value every day can give false results. Can we talk?"
C1: "Nice work, @Leo 👏 Two things before B ships: the video claims 'under a minute', which is tier three, so @Noor can we cut it? And daily peeking inflates false wins. 20 min today?"
C2: "Lovely write-up, @Leo. Two catches before this travels any further. The video promises 'under a minute', a number we've agreed never to put in front of buyers, so B can't ship as it stands, and yes, that costs us the test. Separately, stopping at the first p<0.05 flatters any result. Grab 20 min with me and we'll make the rerun bulletproof."
- "before this travels any further" — 数字が資料や取締役会へ流れていく危険を一言で
- "stopping at the first p<0.05 flatters any result" — flatter ＝ 実際より良く見せる
- "make the rerun bulletproof" — やり直しを前向きな目標に変える
- "The honest headline is that we caught it ourselves." — Dana 向けの別解
- "I'd rather show the board a slower number we can defend." — 時間の圧力に正面から答える
業界の実物との対応（参照日 2026-10-14、記憶による要約で未再確認）: Armitage, McPherson & Rowe (1969) 繰り返し検定による誤りの増加／Evan Miller "How Not To Run an A/B Test"（2010）／Johari et al. "Peeking at A/B Tests"（KDD 2017、Optimizely Stats Engine）／Kohavi, Tang & Xu Trustworthy Online Controlled Experiments（2020）／FTC の広告の立証（substantiation）の考え方・英国 CAP Code。最終的な文言の判断は法務（Grace）。
この問題で扱わなかった範囲
- 動画の残り89秒の確認: 段階1に収まるかは Grace と Noor の仕事
- やり直しのテスト設計の詳細（逐次検定の方式、最小検出差、主指標を商談化率にするか）: Leo との20分の中身
- 6件の商談への別の打ち手: Day 176 で Noor が持っている話
- Leo への個別のフォロー: 初めてのテストでつまずいた若手のコーチングは 1on1 の題材
- "+36%" が既に社外に出ていた場合: 訂正の連絡が要り、危機対応（月次フォーカス2）の話になる
- 日本語での同様の場面: 英語の練習に絞ったため
次のステップ
- 発展: 1/14、Dana は代わりの1行を受け入れたが "Fine, but Hannah will ask what the six deals are getting in the meantime." Hannah への Slack（3投稿以内）で、B を取り下げてやり直した理由・取締役会の1行・6件には段階1の文面と Noor の質問票への回答で当たること、を伝える（"+36%" は書かない）
- 次回予告（Day 178・木曜）: Presentation × Marketing
自己評価（解いた後に記入）
理解度
チェック
自分の回答
メッセージ2 — スレッド返信（14:30）
メッセージ4 — スレッド返信（14:55）