先週書いた 産経世論調査を巡る毎日との批判合戦で産経が「自爆」（笑） - kojitakenの日記 で、私は意識して「統計」という言葉を使わなかった。記事内でを検索していただければすぐに確認できるが、記事中に「統計」という言葉は、毎日新聞の平田崇浩氏が書いた記事の引用部分にしか含まれていない。私は単に、産経新聞が標本数34の回答数を、小数点以下1桁を含むパーセンテージで表記したことを笑いものにしただけである。つまり、サンプル調査の誤差がどうこう、といった七面倒くさい話以前の問題だろう、と暗に言ったわけである。
その記事について、産経世論調査を笑う前に（2015年10月4日）が、
毎日新聞・平田崇浩氏が恐らく「意義」を「有意性」と書き間違えて産経新聞の記事への批判を行い、産経新聞・酒井充氏もポイントの掴みづらい反論を行い、そしてブログ主のkojitaken氏が、統計的な有意性が何かを理解しないまま、産経新聞をアホと笑っている。
と書いている。折角苦労して面倒臭い「統計」のことは何も書かずに産経を嗤ったのになあ、と思った。
ともあれ、私の無理解についてはともかく、毎日の平田氏と産経の酒井氏を「どっちもどっち」と言わんばかりのブログ主の論旨は明らかに公正さを欠く。まずその点を指摘したい。
ブログ主によると、
平田氏が「参加したと答えた推定人数わずか３４人を母数に、支持政党の内訳をパーセンテージで、しかも小数点以下まで算出することに統計的な有意性はほとんどない」と指摘しているわけだが、意味不明である。「有意性」は「意義」の書き間違いでは無いであろうか。
とのことだ。統計学の用語の使用法が間違っているという意味なのだろう。
ただ、用語法の問題はさておき、平田氏の記事*1には、
１０００サンプル程度の無作為抽出調査では、パーセンテージで通常３〜４ポイントの誤差が生じるとされる。
と書かれている。
実際、ネット検索で適当に見つけた http://www.stat.go.jp/teacher/c2hyohon.htm を参照すると、母集団が十分大きく、サンプル数が1000で、調査結果（たとえばある政党の支持率）が50%であったとすると、真の値は95%の確率で
50.0％±3.2、すなわち46.8％〜53.2％
の範囲に存在することになる。つまり、毎日の平田氏は、統計の用語の使用法が適切であったかどうかはさておき、標本数1000の調査結果の標本誤差について、間違ったことは書いていないと思われる。
一方、産経の酒井氏は、下記のように書いている*2。
私は９月１２、１３両日の世論調査で、集会への参加経験者の４１・１％が共産党支持者であり、１４・７％が社民、１１・７％が民主、５・８％が生活支持層で、参加者の７３・５％が４党の支持層だったと書いた。産経・ＦＮＮは安保法成立後の９月１９、２０両日にも合同世論調査を実施し、２２日付朝刊では、集会に「参加したことがある」が４・１％で、共産党（２４・３％）や民主党（１７・０％）など法案に反対した政党の支持層が計４６・３％を占め、支持政党なしが２９・２％だったことを伝えた。
安保法案に反対する（した）政党を支持する人たちが集会参加に占める割合は、わずか１週間で７３・５％から４６・３％となった。「誤差」のレベルを超えた差だ。それでも、共産党を筆頭に法案に反対する（した）政党の支持層の参加率が高いことは変わらなかった。
ここで酒井氏は、「安保法案に反対する（した）政党を支持する人たちが集会参加に占める割合は、わずか１週間で」誤差のレベルを超えた差で激減したと書いている。この認識は妥当だろうか。
ポイントは、「安保法案に反対する（した）政党を支持する人たちが集会参加に占める割合」が、9/12,13の調査では標本数34*3、9/19,20の調査では同41で行われていることだ*4。
http://www.stat.go.jp/teacher/c2hyohon.htm に示されている数式を当てはめると、
- 9/12,13の調査のように、標本数34のうち25人（＝73.5%）が「安保法案に反対する（した）政党を支持する」と答えた場合、真の値は95%の確率で73.5%±15.1%、すなわち58.4％〜88.6％の範囲に入る。
- 9/19,20の調査のように、標本数41のうち19人（＝46.3%）が「安保法案に反対する（した）政党を支持する」と答えた場合、真の値は95%の確率で46.3%±15.6%、すなわち30.7％〜61.9%の範囲に入る。
これが果たして
「誤差」のレベルを超えた差だ。
と言えるのだろうか。安保法案賛成政党支持者や無党派層のデモ参加者の比率が増えた可能性はかなり高いが、2つの調査の誤差範囲（2σ）には重なりがあるから、「『誤差』のレベルを超えた差」とまでは言い難いであろう。そもそも、産経の酒井氏は「73.5%」だの「46.3%」だのといった数字の誤差をいったいどのくらいだと考えていたのだろうか。
何が言いたいかというと、毎日の平田氏の場合は、問題があったとしてもせいぜい（私のような素人では気づかない）「用語の不適切な使用法」があった（かもしれない）に過ぎないのに対し、産経の酒井氏は、標本数が34や41の調査に基づく推計でも、標本数1000の場合と標本誤差が同じであると思い込んでいるとしか解釈できない文章を書いていることだ。つまり、平田氏の場合は単なる専門用語の用法の問題であるのに対し、酒井氏の場合は標本誤差の認識自体が誤っている可能性が高い。よって、酒井氏の方が平田氏よりもずっと重大な誤りを犯していることは明らかではないか。そういうことである。ついでに書くと、毎日の平田氏が書いた産経批判記事の核心部はこの部分であると私は解釈した。
『ニュースの社会科学的な裏側』のブログ主は、毎日の平田氏が「百分率を小数点以下まで表示することの是非を持ち出した事」を問題視するかのような文章を書いているが、標本誤差が15ポイントほどもあるような調査結果を小数点以下1桁まで表示することは、読者に、あたかも産経の世論調査の一部を抽出した酒井氏の無茶な主張が「真の値が41.05%以上41.15%未満」の精密さを持つデータであるかのような印象を与えることにほかならないのであって、これを問題視しないほうがどうかしている。
以下は蛇足である。
前記ブログ主は
ブログ主のkojitaken氏は、公開されている情報で統計的な有意性が計算できる事に気づいていないようだ。計算をしたら、百分率の表記やデモ参加者の人数が、議論全体を左右する問題では無い事が分かる。
として、
調査対象者全体とデモ参加者の支持政党には統計的に有意な差がある。
と書いているが、ご苦労さまとしか言いようがない。
なぜなら怠惰な私は、前の記事では統計の話を省略していたため、
調査対象者全体とデモ参加者の支持政党には統計的に有意な差がない。
などとは一言も書いていないからだ。
毎日の平田氏の書いた
参加したと答えた推定人数わずか３４人を母数に、支持政党の内訳をパーセンテージで、しかも小数点以下まで算出することに統計的な有意性はほとんどない。
という文章を私が引用したことが、
調査対象者全体とデモ参加者の支持政党には統計的に有意な差がない。
と主張していることとイコールである、と言いたいのかも知れないが、それは言いがかりというものである。
つまらない記事を書くのもたいがいにしてもらいたい。
ブログのタイトルに「社会科学」と銘打っていながら、細かい用語法にばかりこだわったり、人が書いてもいないことを勝手な思い込みと憶測に基づいて書く。これでは、「社会科学」とはそのようなお粗末な方法論による「学問もどき」なのかと誤解されかねない。つまり、ブログ主は社会科学を冒涜していると言っても過言ではないのである。
*1:http://mainichi.jp/feature/news/20150917mog00m070001000c.html
*2:http://www.sankei.com/premium/news/151001/prm1510010005-n4.html
*3:産経の調査に「デモに参加した」と答えた回答数は、標本数1000のうち34だった。産経はその34の回答の支持政党別内訳を小数点以下1桁までのパーセンテージで表示したが、毎日の平田氏はそれを批判したのである。
*4:毎日の平田氏は、産経の9/12,13の調査をもとにした記事について、「参加したと答えた推定人数わずか34人を母数に」と書いたが、10/2の記事で示したように、産経が標本数34（9/12,13の調査）の回答をもとに、ナマの数字をそのまま使って計算していることは間違いないと断定できる。
