2015，台南的南鯤鯓代天府新年抽國運籤時抽到一張「武則天坐天」，媒體大肆報導，甚至出現在某些報紙的頭版頭條。大家看到可能只是笑一笑就翻過去了，但我看到的是一個非常好的機會解釋什麼是 Publication Bias.(編按：出版偏倚)

資料及圖片來源在文章結尾

首先，因為版上也有不少不在台灣的華人朋友，為了讓大家看了都能瞭解整個狀況，請容我稍微解釋一下。

其實我也是今年才知道，原來全台各地的許多廟宇，在新年的時候會抽出一張預測未來一年國家運勢的「國運籤」[1]，而在這眾多廟宇各自抽出的無數張國運籤裡面，有一張特別引人注目的「武則天坐天」。

  • 為什麼引人注目呢？

因為台灣有一位女性政治人物叫做蔡英文 (小英)，雖然在 2012 年總統大選選輸了，但至今仍然深得民心，很多人都希望她能在下一次總統大選繼續出來選，所以當這些人看到「武則天坐天」時，心中不免燃起希望，認為這張嘗試預測未來一年國家運勢的國運籤，預測了小英很有可能在 2015 年選上台灣的總統 (儘管台灣每四年才選一次總統)。

  • 讓我們先假裝籤詩對現實世界有預測能力

小英能在 2015 年選得上台灣總統也沒什麼不好的，這也是台灣民主以及男女平權的勝利。雖然我在上文中一再強調，不過可能有些朋友沒注意到，台灣有無數間廟宇，會在新年的時候抽出無數張國運籤，但為什麼我們只知道南鯤鯓代天府抽到「武則天坐天」呢？

  • 因為媒體只報讀者想看的內容

其實應該說，媒體只報他們認為讀者會想看的內容。在資本主義的架構下，幾乎所有的媒體都是營利事業，而他們的收入來源 (我猜) 大部分是廣告費，廣告費的多寡則取決於實體媒介的訂戶數量以及網站的流量。所以媒體朋友，很自然地，會嘗試刊登更多更吸引流量的故事。請各位捫心自問，當你看到新聞標題寫「台南市某處又有小貓卡在樹上」或是「台北某醫院急診室醫生又拯救一名病患性命」的時候，你會點下去嗎？大概不會吧！大家想看的是新奇有趣或是很少發生的故事，媒體工作者們提供的當然也就是新奇有趣的故事。所以，剛好在為數眾多的國運籤中，出現了一張跟現在政局有點關係，而且好像是在預言台灣會出現女性統治者的籤 時，媒體當然會大肆報導，因為神奇的巧合很好賣阿！

  • 很可惜，這故事連巧合都稱不上

當你投十次銅板，連續出現十次數字的時候，你會覺得很神奇。但是當你投十萬次銅板，其中某十次連續出現數字的時候，你大概只會覺得手很酸想要休息，因為十 萬次中出現連續十次數字的機率實在是太高了。所以全台灣抽出這麼多張國運籤中，只要你有意願，一定也可以找到一張某部分能夠拿來做文章的國運籤 (天阿，這 好像也可以拿來解釋 Multiple Endpoints 的問題)，而其他沒什麼故事的國運籤就自然而然地消失在歷史的洪流之中 *1。這個狀況就像是，明明你已經投了十萬次銅板，但你卻只專注 在連續投出十次數字的那一小段，然後摸一摸自己的頭，很得意地說道：「哇！我好厲害，我一定有超能力！」

  • Publication Bias，出版偏倚

在學術出版界中這個情況也是很嚴重的問題，出版偏倚在學術界的影響，簡單來說就是大部分被發表的研究，都在證明研究者的假說是正確的，造成我們在分析所有相關研究的時候會出現不該出現的結果 [2]。這個問題的成因就跟國運籤的故事很像，假設今天研究員在非常細心地觀察生活中的點滴後，發現當樹上卡的小貓越多，急診室手術成功率越高，而他接著就想出某種實驗，來證明小貓卡在樹上可以讓急診室手術更成功。

如果這個實驗結果出來，是兩者沒有任何關係，研究者很自然的就會把這個研究結果收到抽屜裡面，進行下一個研究，只有在實驗結果顯示兩者的關係有顯著性時，研究者才會嘗試發表這篇論文。

但做實驗就像投銅板一樣， 有些時候因為巧合，原本沒有關係的兩件事情也可以出現正向關係，假設今天全世界有一兩萬組科學家都測試了小貓跟手術的關係，其中一定會有兩三組發現小貓會造成手術更成功，然後發表這個論文，其他一兩萬組科學家就摸摸鼻子去做其他實驗了。但因為只有這兩三組的成果被發表，我們能看到的也就只有這兩三組賽到的結果。所以之後不管我們怎麼做分析，出現的結果都會是兩者真的有關係。

  • 這不只是科學家的問題

就算今天科學家認識到了這個問題，決定發表小貓跟手術沒有關係的論文，科學期刊的編輯大概也不會想要出版這篇論文 (你會想要出版嗎？XDD)。更嚴重的是，這個狀況還真的在現實世界中發生過。

  • 你相信人類有預知能力嗎？

2011 年的時候，美國康乃爾大學 (Cornell University) 的教授 Daryl J. Bem 在<< 性格與社會心理學期刊>>(Journal of Personality and Social Psychology，JPSP) 上發表了一篇證明大學生有預知能力的論文 [3]，在這個論文中有九個不同的研究，其中預知效果亮眼的是第九個研究。

我們都知道，在學習新的單字時，如果我們在測驗前有努力的去背誦，考試出來的結果會比較好，只不過這個研究發現，就算你是在考試後才背誦這些單字，也會讓你的考試成績變好 (也就是說你在考試的時候能夠預知你之後背誦的單字)。

想也知道，這個論文在 JPSP(一個還算不錯的期刊) 出來的時候引起了整個學界的轟動，很多科學家想要嘗試重新做這個實驗，看看這個發現是不是真的，Bem 也提供了整個實驗的細節供大家參考。只不過，這些重製的研究結果出來後，完全否定了 Bem 的發現。

研究者認為 JPSP 的編輯應該會對這個結果感到興趣，所以他們就送去給 JPSP 想請他們發表，沒想到 JPSP 的回覆竟然 是：「我們不發表重製實驗 (JPSP does not publish replications)」。這些研究員之後試圖在各個比較靠譜的期刊上發表，也是得到類似的回覆，最後他們好不容易才在開放取閱的 PLOSone 上發表他們的結果 [4][5]。可見現在很多學術出版商不是很在乎出版偏倚的問題 *2。

  • 出版偏倚奪去許多人命

1980 年的時候有一組研究團隊想要測試一個藥物，lorcainide，對治療心律不整是否有幫助。他們的臨床試驗募集到了 100 個病患，這群病患被分成兩組，50 個人收到了 lorcainide，50 個人收到了只有糖的安慰劑。

六個禮拜後，收到安慰劑組的人有 47 個人完成實驗，其中只有一個人死亡，而收到 lorcainide 的病患中，有 48 個完成實驗，但卻有 9 個死亡。

但是因為當初研究者在設計實驗的時候，他們想要測量的是 lorcainide 是否對治療心律不整有幫助，而且這個死亡率算是在他們預期中的結果，所以他們並沒有特別在意這個問題。

而在寄給期刊<< 柳葉刀>> (Lancet) 跟其他兩三個心臟科期刊被拒絕後，研究者也就放棄發表這個研究了 [6]。遺憾的是，lorcainide 最後還是被作為心律不整藥物被某些公司推出了，結果到了 1989 年，lorcainide 被一個整合性研究證明會造成病患死亡率提高[7]，但是從藥物上市到下架中間，估計已經有 100,000 人因為 lorcainide 而死 [8]。

如果當初 1980 的實驗有被發表，可能會有更多人注意到 lorcainide 會增加病患的死亡率， 而 lorcainide 很有可能就不會被當作心律不整的藥物被開給病人，這 100,000 人可能也就不會白白喪失寶貴的性命了。

  • 出版偏倚無所不在

雖然在我們生活中，媒體的出版偏倚除了造成我們對現實世界產生錯誤的認識外，大概不會有什麼太嚴重的後果。但在醫學界，這是真實且會奪走人命的嚴重問題， 而在本文提到的兩個例子只是冰山一角，我們需要正視這個問題，如果你有認識醫生，請問問他知不知道出版偏倚的嚴重性，如果你本身是醫生，請看看下面這個 Ben Goldacre 的 TED Talk，我也是在這個 talk 裡看到之後才去詳細瞭解上面兩個例子的原委，在這個 Talk 裡面有更多數據以及例子解釋出版偏倚的嚴重性。那就這樣，謝謝收看，三分鐘科學我們下次見。

 

(影片來源：Youtube，想看中文字幕可至TED-Ben Goldacre)

註.)
1.)(2015/2/22 編輯) 底下有讀者 (邱聖夫) 提醒，並不是所有廟抽出的國運籤都有機會上新聞，而代天府歷年來抽國運籤都有上新聞，所以文中的比喻不應該用一兩萬家廟來當作總體。不過如果你點進去資料來源 1 裡面也可以看出，當天不只是代天府有抽國運籤，也有其他有頭有臉的廟宇有抽國運籤，但當天得 到多數媒體關心的仍然是代天府抽出的國運籤，所以我想出版偏倚的影響還是有，但在本文中被我誇大化了。沒有考慮到這點是我的失誤，真的很抱歉。
(2015/2/22 第二次編輯) 等等，我多想了兩分鐘，因為廟宇大小而決定你是否報導國運籤的內容不也是出版偏倚嗎！？ 不管怎樣，媒體都沒有把全台灣的國運籤報導出來阿！這篇文章的重點是出版偏倚，而不是為什麼只有代天府的籤被大肆報導阿 orz
(2015/2/22 第三次編輯) 所以這裡整理一下，我們那天被「武則天坐天」新聞轟炸的原因如下
a.) 代天府是間大廟，媒體很關心他們抽出的國運籤
b.) 代天府抽出的國運籤某一部份提到武則天
c.) 台灣有小英
d.)b+c 看起來是個神奇的巧合
e.) 其他你可以想到的任何原因
這些通通加在一起造成「武則天坐天」被大肆報導，但不管任何原因，媒體不會把全台灣的國運籤報導出來就是所謂的出版偏倚。

2.) 最近其實也有些期刊專門發表 negative result，像是Journal of Negative Results in BioMedicine，所以其實已經有人嘗試著解決這個問題了，不過理論上來說，negative result 的數量應該會是 positive result 數倍，但專門發表 negative result 的地方仍然屈指可數。這只是個開頭，要到真正解決出版偏倚可能還有一段時間。

你可能也會有興趣：
我們該投資基礎科學嗎？
鮮味的真面目
味精的安全性
基改到底在改什麼改

圖片來源：
南鯤鯓代天府抽籤「武則天坐天」！蔡英文笑：大家恭喜
蔡英文
卡樹貓
跟預知沒什麼關係的圖
資料來源:
1.)國運籤中有玄機？南鯤鯓抽中「武則天坐天」
2.)Song, F.; Parekh, S.; Hooper, L.; Loke, Y. K.; Ryder, J.; Sutton, A. J.; Hing, C.; Kwok, C. S.; Pang, C.; Harvey, I. (2010). “Dissemination and publication of research findings: An updated review of related biases”. Health technology assessment (Winchester, England) 14 (8): iii, iix–xi, iix–193.
3.)Bem, D. J. (2011, January 31). Feeling the Future: Experimental Evidence for Anomalous
Retroactive Influences on Cognition and Affect. Journal of Personality and Social Psychology.
Advance online publication. doi: 10.1037/a0021524
4.)Christopher C. French (2012) Precognition studies and the curse of the failed replications. The Guardians
5.)Stuart J. Ritchie , Richard Wiseman, Christopher C. French. Failing the Future: Three Unsuccessful Attempts to Replicate Bem’s ‘Retroactive Facilitation of Recall’ Effect. PLOSone. March 14, 2012 DOI: 10.1371/journal.pone.0033423
6.)Hampton J (2015). Therapeutic fashion and publication bias: the case of anti-arrhythmic drugs in heart attack. JLL Bulletin: Commentaries on the history of treatment evaluation (www.jameslindlibrary.org).
7.)Hine LK, Laird N, Hewitt P, Chalmers TC (1989). Meta-analytic evidence against prophylactic use of lidocaine in acute myocardial infarction. Archives of Internal Medicine 149:2694-8.
8.)Ben Goldacre. What doctors don’t know about the drugs they prescribe. TED Talk.

 

(本文、圖片皆授權自友站三分鐘科學，臉書專頁：三分鐘科學，不得轉載。)