ある物質の物性値の測定を \(N\) 回行い、それぞれ \(x_i\)（\(i = 1, 2, \cdots, N\)）という値を得たものとしよう。 この \(N\) 回の測定値（標本）と、この物性値の測定結果一般（母集団）の確率分布、特にその平均と分散の関わりについて考えよう。
まず \(N\) 回の測定値について、その平均 \(\bar{x}\) （標本平均と呼ぶ）を次式で定義する。
\begin{equation} \bar{x} = \frac{1}{N} \sum_{i = 1}^N {x_i} \label{eq:samp1} \end{equation}
中心極限定理から、標本平均は正規分布に従うと考えてよい。 標本平均の平均は母集団の平均 \(\mu\) に等しい（\(x_i\) は同じ確率分布に従うそれぞれ独立なランダム変数 iid であることに注意）。
\begin{equation} \avg{\bar{x}} = \frac{1}{N} \sum_{i = 1}^N {\avg{x_i}} = \frac{1}{N} \sum_{i = 1}^N {\mu} = \mu \label{eq:samp2} \end{equation}
標本平均の分散は母集団の分散 \(\sigma^2\) の \(1/N\) になる。
\begin{equation} \var{\bar{x}^2} = \frac{1}{N^2} \var{\sum_{i = 1}^N {x_i}, \sum_{i = 1}^N {x_i}} = \frac{1}{N^2} \left[ \sum_{i = 1}^N {\var{x_i^2}} + \sum_{i \ne j} {\var{x_i x_j}} \right] =\frac{1}{N^2} N \sigma^2 = \frac{\sigma^2}{N} \label{eq:samp3} \end{equation}
ここで個々の測定が統計的に独立であること（\(\var{x_i, x_j}_{i \ne j}\) = 0）を用いた。
これをスローガン風にまとめれば
「(標本)平均の平均は(母)平均だが、(標本)平均の分散の平均は(母)分散の \(1/N\) になる」
ということになろう。
つまり 100 回の測定の平均値の分布の変動幅は１回の測定の 1/10 になると考えられる。
平均と分散に関わる関係式として、次のチェビシェフの不等式は重要です：
\[ \Pr(|x - \mu| \ge k \sigma) \le \frac{1}{k^2} \]
チェビシェフの不等式は、任意の数 \(a \gt 0\) について、次の関係が成り立つことから導くことができます（マルコフの不等式）：
\[ \avg{y^2} = \int_0^a {y^2 f(y) \rmd y} + \int_a^{\infty} {y^2 f(y) \rmd y} \ge a^2 \int_a^{\infty} {f(y) \rmd y} = a^2 \Pr(y \ge a) \]
ここで \(y = |x - \mu|\) とすると、 \(\avg{y^2} = \sigma^2\) ですから、\(a = k\sigma\) とすればチェビシェフの不等式を得ます。 チェビシェフの不等式は、裏方（？）で仕事をしていることの多い "確率" それ自身が、 前面に出てくるユニークな関係式です。
チェビシェフの不等式で \(q = k \sigma\) とおくと、 標本平均 \(\bar{x}\) の分散が \(\sigma^2/N\) になることから次の関係が成り立ちます：
\[ \Pr (|\bar{x} - \mu| \ge q) \le \frac{\sigma^2}{N q^2} \]
測定回数 \(N\) を大きくとれば、標本平均の母平均からの偏差が任意に取った数 \(q\) より大きくなる確率がいくらでも小さくなるわけで、 試行回数を十分大きくとれば標本平均が母平均になるという、「大数の法則」が得られます。
なお計算機実験でもない限り同じ条件で 100 回実験を行うというのは現実的ではなく、 JIS 規格では測定の「繰り返し性」と「再現性」についてルールが定められています。
ここで標本のばらつきと母集団の分散の関係を考えよう。 まず取り出してきた \(N\) 個のデータについて、残差２乗和 \(S\) を次式で定義する。
\begin{equation} S = \sum_{i = 1}^N {(x_i - \bar{x})^2} = \sum_{i = 1}^N {x_i^2} - N \bar{x}^2 \label{eq:samp4} \end{equation}
さて母集団の平均 \(\mu\) からの偏差の２乗の和について次の式が成立する。
\begin{equation} \sum_{i = 1}^N {(x_i - \mu)^2} = \sum_{i = 1}^N {(x_i - \bar{x} + \bar{x} - \mu)^2} = \sum_{i = 1}^N {(x_i - \bar{x})^2} + N(\bar{x} - \mu)^2 = S + N(\bar{x} - \mu)^2 \label{eq:samp5} \end{equation}
ここで \(\avg{(x_i - \mu)^2} = \sigma^2\) また \(\avg{(\bar{x} - \mu)^2}\) は標本平均の分散で \(\sigma^2/N\) なので、残差２乗和の平均は
\begin{equation} \avg{S} = (N - 1) \sigma^2 \label{eq:samp6} \end{equation}
残差２乗和の平均は母集団の分散の \(N - 1\) 倍になる 。
従って標本分散 \(s^2\) を次式で定義すれば、標本分散の平均は母集団の分散になる：
\begin{equation} s^2 = \frac{S}{N-1} \label{eq:samp7} \end{equation}
今日では標本分散は通常上式 \eqref{eq:samp7} で定義され、 標本分散の平均は母集団の分散になる（\(\avg{s^2} = \sigma^2\)）。 標本標準偏差は標本分散の平方根である。 なお標本標準偏差の平均は一般に母集団の標準偏差にならないことに注意する（\(\avg{s} \ne \sigma\)）。
標本平均については式 \eqref{eq:samp1} で問題ないのですが、 標本分散については流儀があります。 式 \eqref{eq:samp7} で与えられるのは 不偏標本分散 unbiased sample variance と呼ばれるものです。 平均を取ったものが母集団の分散になるというのは至極まっとうで、 さらにいろいろな標本分散の取り方の中で、 「不偏標本分散の分散」が最も小さくなることが知られています（不偏最小分散推定）。 また t-検定などさまざまな統計手法とも相性がよく。 今日、「標本分散」として普通に行われるのは式 \eqref{eq:samp7} による定義で、 皆さんにも強くお薦めするところです。
そもそも母集団がすべて分かっておれば、 母集団全体を標本とすればよく、 残差 2 乗和 \(S\) を単に \(N\) で割ったものが分散となります （母分散。 全国模試で日本全国、全員分の得点データが分かっているような状態で計算されるような分散。 標本分散は日本の ”典型的な学校” 内での得点データから計算される分散と思ってもらえればよいでしょうか）。 化学の通常の測定データの場合、無限に大きな母集団を想定するので、 相手にするのは標本分散ということになります。 EXCEL などの市販の表計算ソフトには、 分散を求める関数に 2 種類されていますが、 「母分散」ではなく（EXCEL であれば var.p） 「標本分散」を求める方（EXCEL であれば var.s）が「不偏標本分散」を与える関数で、 こちらを使ってください。 あるいは関数電卓を使っている向きは、 標準偏差のキーに 2 種類あるでしょうが、 その内の標本標準偏差のキー（カシオ製であれば σn-1 のキー） を使ってください。
ところで先にも述べていますが、 標本標準偏差 \(s\) は、不偏推定になっていません（\(\avg{s} \ne \sigma\)）。 一般に不偏推定となるように標本標準偏差を決めるのは困難ですが、 正規分布に従うことを要請すると、不偏標本標準偏差を評価することができます。 詳細は省略しますが、標本分散（あるいは残差 2 乗和）が自由度 \(N - 1\) の χ2 分布に従うことになるので、 不偏標本標準偏差は標本標準偏差の平均 \(\avg{s}\) より、少し小さい値になります。 これはちょうど気体分子運動論で出てくるマクスウェルの速度分布で、 平均速度 \(\avg{|\vec{v}|}\) と根平均 2 乗速度 \(\sqrt{\avg{\vec{v}^2}}\) のちがいを問題にするのと同じようなものです。
標本分散として、不偏標本分散（式 \eqref{eq:samp7})を取ることを、縷々述べたわけですが、 これが絶対というわけでもないことには、 心しておいていただいてよいでしょう。 ここでの問題が、 得られたサンプル（標本）から、元（母集団）の統計量を推定することだと思えば、 最小 2 乗法でよく見るアイデアが使えるはずです。 つまりサンプルが実現する確率が、もっとも大きくなるように、 標本平均 \(a\) と標本分散 \(b^2\) を決めようというわけです。 正規分布を仮定すると、\(x_1, x_2, \ldots, x_N\) という標本が得られる確率は次式で与えられます：
\[ P(a, b) = \frac{1}{(\sqrt{2 \pi} b)^N} \exp \left[ {-\frac{\sum_i {(x_i - a)^2}}{2 b^2}} \right] \]
これが極値を持つ条件を求めると、
\[ \frac{\partial \ln P(a, b)}{\partial a} = -\frac{\sum_i {(x_i - a)}}{b^2} = 0, ~~~~~ \frac{\partial \ln P(a, b)}{\partial b} = -\frac{N}{b} + \frac{\sum_i {(x_i - a)^2}}{b^3} = 0 \]
ですから
\[ a = \frac{\sum_i {x_i}}{N} = \bar{x}, ~~~~~ b^2 = \frac{\sum_i {(x_i - a)^2}}{N} = \frac{\sum_i {(x_i - \bar{x})^2}}{N} = \frac{S}{N} \]
という結果となり、 式 \eqref{eq:samp7} の不偏標本分散とちがい、 母分散の場合同様、標本の数 \(N\) で割るのが正解ということになります （最ももっともらしい maximum likelihood 推定。最尤推定）。
またより高次のモーメントが関与する統計量 （分布のひずみを反映する 3 次のモーメントを含む歪度 skewness など） については不偏推定自身が困難です （3 次のモーメントの不偏推定はできても、 モーメントの比の不偏推定は困難）。 サンプルの数 \(N\) が10 を超えてくると標本と母集団の差は小さくなるので、 どうせならと、あっさり標本を母集団のように見なして取り扱う流儀も根強く存在します。 特に市販のソフトで歪度、尖度など種々の統計量を利用する場合、 詳細な検討にはソフトの処理内容を検討しておく必要があります。