OPENING LAB GUIDE

信頼区間の読み方

シミュレーション誤差を読み、小さな差を過大評価しない方法です。

01

点推定と範囲

成功率は実行した標本での成功割合で、Seedが変わると少し動きます。95% Wilson信頼区間は、現在の標本数と観測率から真の確率がありそうな範囲を示します。

これは作成済みの区間に95%の確率で真値があるという意味ではなく、同じ手順を繰り返した区間の約95%が真値を含むよう設計された方法です。

02

2つのデッキを読む

区間が大きく重なるとき、小数点の差を確定的な優位としないでください。同じSeedと増やした試行で方向が維持されるか確認します。区間が分かれても、入力した初動条件の差でありデッキ全体の強さではありません。

03

試行回数を決める

設定確認は少ない試行で十分です。1枚変更のような小差を判断するときは、信頼区間の幅が判断基準より狭くなるまで増やします。極端に低い・高い確率は成功または失敗例が少ない点にも注意します。

04

共有に必要な情報

成功条件、目標ターン、Seed、試行回数、信頼区間を一緒に残します。DrawStateの結果カードは再現に必要な情報を一枚にまとめます。