シャノン=ハートレーの定理 – Wikipedia

シャノン・ハートレーの定理(シャノン=ハートレーのていり、英: Shannon–Hartley theorem)は、情報理論における定理であり、ガウスノイズを伴う理想的な連続アナログ通信路の通信路符号化を定式化したものである。この定理から、そのような通信路上で誤りなしで転送可能なデータ(すなわち情報)の最大量であるシャノンの通信路容量が求められる。このとき、ノイズの強さと信号の強さが与えられることで帯域幅が決定される。この定理の名称は、アメリカの2人の電子工学者クロード・シャノンとラルフ・ハートレーに由来している。

あらゆる多重かつ多相の符号化技法を考慮すると、シャノン・ハートレーの定理から導かれる通信路容量 C (誤り無しか低誤り率で転送可能な最大レート)は、信号の平均の強さを S、正規分布ノイズの強さを N としたとき次のように与えられる。

ここで

C は通信路容量で、単位はビット毎秒
B は通信路の帯域幅で、単位はヘルツ
S は帯域幅上の信号の総電力
N は帯域幅上のノイズの総電力
S/N は信号のS/N比であり、信号とノイズの電力の単純な比で表され、単位はよく使われる対数表現のデシベルではない。

1920年代後半ごろ、ハリー・ナイキストとラルフ・ハートレーは様々な情報転送に関する基本概念を生み出した。特に通信システムとして電報を対象としていた。当時、それらの概念は強力なブレークスルーではあったが、理論として体系化されるまでには至らなかった。1940年代、クロード・シャノンはナイキストやハートレーの業績に基づいて通信路容量の概念を生み出し、情報理論として体系化した。

ナイキスト・レート[編集]

1927年、ナイキストは、電報の通信路に単位時間当たりに送り込めるパルス数が帯域幅の2倍に制限されていることを示した。式で表すと次のようになる。

ここで、fp はパルスの周波数(秒あたりのパルス数)、B は帯域幅(ヘルツ)である。2B という値は後に「ナイキスト・レート」と呼ばれるようになり、限界である 2B のパルスを送ることを「ナイキスト・レートでの信号送信」と呼ぶようになった。ナイキストは、これを1928年の論文 “Certain topics in Telegraph Transmission Theory” の一部として発表した。

ハートレーの法則[編集]

同年、ハートレーは通信路で転送できる情報の量とレートを定式化した。後にハートレーの法則と呼ばれるようになり、シャノンの伝送路符号化理論の重要な先駆けとなった。

ハートレーの主張は、通信路上で確実に区別して転送可能な最大の信号振幅のレベルの数は、信号の振幅のダイナミックレンジと受信側がその振幅レベルを識別できる精度によって制限されるということである。特に、転送される信号の振幅が [ –A … +A ] ボルトに制限され、受信側の精度が +/– ΔV ボルトである場合、識別可能な最大パルスレベル数 M は以下の式で与えられる。

ハートレーは、情報量はパルスレベル数の対数で得られるものとして、情報量が通信路の帯域幅と通信路の使用時間に比例するとした。ハートレーの法則という用語はこの比例のことを指す場合もある。そして、ハートレーはナイキスト・レートを取り入れて達成可能な情報レート R (ビット毎秒)を以下のように定式化した。この形式をハートレーの法則とする場合もある。

ハートレーは M と通信路のノイズの関係を明確にはしなかった。そのため、システム設計者は低い誤り率を達成するために M を安全側に設定せざるを得なかった。誤りのない容量の定量化はクロード・シャノンまで待たねばならなかった。シャノンは、ハートレーの業績(パルス数の対数が情報量)とナイキストの業績(帯域幅による制限)に基づいて理論を構築した。

ハートレーの定式化した容量は、誤りのない M 値の通信路で毎秒 2B 個の記号(ビット)を送る場合に相当する。これを通信路容量という場合もあるが、誤りのない通信路は一種の理想化であり、シャノン・ハートレーの定理で示される誤りのある通信路での通信路容量に比べると実用性は低い。

通信路符号化と通信路容量の理論[編集]

クロード・シャノンの情報理論は第二次世界大戦中に構築され、ノイズのある通信路上で確実に通信できる情報量を把握するための大きな進歩となった。ハートレーの成果を発展させ、シャノンが1948年に発表した通信路符号化定理は、ノイズの影響下での誤り訂正方法の効率の最大値を示した。この定理の証明によって、無作為に構築された誤り訂正符号が本質的に最高の符号でもあることを示した。証明はそのような無作為な符号の統計的操作によって行われた。

シャノンの定理は通信路の統計的記述から通信路容量を計算する方法を示している。ノイズのある通信路での容量 C と転送レート R の関係が

であるとき、受信側での誤り率を極めて小さくする符号化技法が存在する。つまり、理論上は C (ビット毎秒)を上限として誤り率をほぼゼロで情報を転送できることを示している。

反対も重要である。もし