讀書心得:Science Fictions
Stuart Richie的"Science Fictions: How Fraud, Bias, Negligence, and Hype Undermine the Search for Truth"在2020年8月上市時,在我追蹤的推特圈逝起了一陣討論潮。過去十年許多科學領域,持續有多位科學家合作的論文,指出多數有高影響力的研究成果無法再現或被揭露操作錯誤,此現象稱為科學研究再現危機。作者Stuart Richie是心理科學再現危機的見證者與參與者。雖然這本書以暢銷書筆法寫作,由於主調不符合中文書市場,很難出現在大眾視野。根據在podcast的心得分享,改寫為適合更多大眾接受的版本,希望讓更多人了解現代科學的另一面相。
科學論文出版系統出了什麼問題?
2011年Stuart Richie還是愛丁堡大學博士生時,因為投入重現當時Deryl Bem發表於人格與社會心理學刊,而引發爭議的的"超感知覺"研究,成為早期呼籲心理學界重視再現危機(replication crisis),以及實踐與推廣開放科學操作的心理科學研究者。累積十年的研究,以及與各界人士的互動,在2020年他以暢銷書筆法寫出這本「科學幻想」。
更早之前,英國卡迪夫大學Chris Chambers教授就出版相同主題的「心理科學的七宗罪」,探討社會科學各種應該反思的扭曲現象及深層成因。相較於Chris Chambers陳列與剖析個案的犯罪成因,Stuart Richie從創始於17世紀的科學論文期刊系統開始,解析這套系統如何形塑今天各種學術領域研究者的研究樣態,以及系統演進所帶來的問題。這是今天任職於政府或私人支持的學術機構人員,要取得學位、謀求工作職位、乃至有工作職位要更上一層樓者,每一個生涯階段要提出發表成績,才能在關鍵時刻取得競爭優勢。
儘管在學術圈打滾許久的研究人員都了解,但是社會大眾比較不了解的是學術期刊影響力是如何形成的。Stuart的書中提到學術期刊是在二十世紀下半葉才開始市場化,主要的運作者並不是大學及學術機構,也不是各國研究經費補助單位,而是經營期刊出版的跨國出版商。在大型出版商逐漸取得壟斷地位,學術機構與研究經費補助單位需要衡量研究者的研究續,各方勢力逐漸形成的一種市場規則。這套市場規則形成之前的三個世紀之間,科學論文出版系統已經幫助無數學者取得名聲及歷史地位,規則形成之後雖然還是有學術巨星出世,各種讓人扼腕的學術醜聞與不端事件也層出不窮。Stuart Richie解析的醜聞事件不只是心理科學領域的案例,他借重科學社會學者Robert Merton提出的莫頓規範(Mertonian norms),做為解析這些案例發生原因的理論。莫頓規範指出體現倫理精神的科學社群,組成成員一致落實四種要求(imperatives)。在此引述張邦彥先生的摘譯做為說明:
普遍主義(universalism):關於真理的斷言,必須要是非關個人的。也就是說,要排除任何關於科學家種族、國籍、宗教的特殊主義考量。 共有性(communism):科學的實質發現是社會協作的產物,因而屬於整體社群。科學家對智慧財產權的宣稱,應只侷限於「承認」(recognition)和「尊重」(esteem)。 無私利性(disinterestedness):科學家應將自身的工作置放於同儕的嚴格審視之下,不可為了私利而捏造科學成果,或利用外行人的輕信建立自己的權威。 有組織的懷疑(organized skepticism):科學家必須依照經驗與邏輯的標準,不妄下定論,對信念進行超然的審視。
Stuart Richie主張現代科學論文出版剛開始上路時的科學界普遍行為,是符合莫頓規範的,卻在追求影響力的市場則建立之後,學術社群的普遍行為與共識,卻逐漸偏離四種要求。為了剖析偏離規範的原因,以及找出幫助科學家重回規範的解法,他將收集整理的案例樣態,分成四個章節探討不端行為;偏頗論點;粗疏操作;過度吹捧,探討這些個人或群體的行為為何背離莫頓規範。
不端行為一章探討心理科學之外的其他領域的不端行為,這一章一開始Stuart就直指各種造假抄襲行為,基本就是背離有組織的懷疑,這章介紹的案例從中文媒體或網路資訊都能找到相關介紹,值得仔細看的是他談論不端樣態與發生原因,還有不端案件帶來的負面影響。偏頗論點與粗疏操作這兩章則觸及科學研究再現危機,經常討論的課題。偏頗論點是指科學家以先入為主的觀點規劃與執行研究計畫,導致一種主題的科學論文過度偏向單一論點的出版偏誤現象,以及研究者為了追求正向顯著結果而做出降低p值的各種操作(p-hacking),Stuart認為這種得到符合特定觀點的研究結果,不論是研究者個人的偏好,或者發表過程中編輯與評審的偏見,都是違背莫頓規範的無私利性與普遍主義,值得玩味的是Stuart還提到個人價值觀連結研究興趣而造成的偏誤,在台灣學術圈也存在類似的案例,像是靈界的科學。偏頗論點到粗疏操作這兩章Stuart都提到整合分析(meta analysis)技術如何偵測被動手腳的研究內容,而在粗疏操作這章則談到數據檢測方法,以及估計統計考驗力的統計策略。然而更精確的檢測需要研究者提供完整的資料,但是就算是Stuart身處的心理學界,到現在也不是所有學者都願意完公開研究資料。他認為這種行為違背了共有性與有組織的懷疑。
過度吹捧描述研究結果尚未明朗時,就先做公關操作披露研究者樂觀的預期,最後成果不如預期或被其他專家揭露證據或方法不足的地方,不但讓想搏得版面的個人或機構落得灰頭土臉;利用科學研究吸引媒體關注的風氣,也會錯誤地引導應該穩紮穩打的科學研究,帶來急功近利的不良影響。這一章Stuart的討論引用許多2014年英國卡迪夫大學跨心理學、媒體及醫學領域的專家合作調查結果與建議,這份調查比較四百多份英國頂尖大學的生醫與健康相關研究,研究論文結論與媒體報導內容的差異,這些研究有兩種類型:相關性研究與動物實驗研究。調查結果顯示媒體報導的說法比研究論文更偏向肯定,Stuart藉這份調查的結論批判研究機構企圖利用媒體增加研究表現能見度的策略,將對學術界整體發展帶來負面影響。
Stuart雖然沒有在過度吹捧這一章指出機構或個人追求媒體能見度的行為,到底背離那莫頓規範的那些項目,讀到下一章乖張誘因(Perverse Incentives),就能了解過度吹捧所談到的案例,是為了解析讓科學研究走歪的誘因。他舉出二十世紀九零年代中國政府開始直接發獎金激勵科學家在高影響力期刊發表論文,帶動整體論文發表數量的成長,讓其他國家開始效法,Stuart直指這種政策直接危害莫頓規範的無私利性。雖然科學文化基石較穩固的西方國家較少採用,但是2013年法國學者比較當年與2005年獲得專任職位的研究者履歷表,發現2013年獲得第一份專任教研職位的履歷表著作篇數,平均比十年前增加一倍。2007年美國國家科學院進行的一項普遍調查,儘管接受調查的大多數研究者表示認同莫頓規範,也有需多證據顯示誘導研究者背離規範的誘因持續存在,並且朝更糟糕的方向演進。
Stuart 在最後一章提出的解方,我認為可以和Chris Chambers的心理科學七宗罪最後一章相互參照。兩人提出的解方相當一致,不過Chris 是以對症下藥的脈絡描述各項解方,Stuart則不斷提醒讀者究竟認不認同維持科學社群運作的規範正在受到挑戰?認同的話再談如何矯治。Stuart與Chris Chambers提出的解方都是提倡實踐開放科學操作,不過Stuart更試圖和質疑者對話,因此比Chris 的書更深入探討哲學層次的課題。附錄的十則閱讀科學論文的箴言,提供任何有需要閱讀第一手科學文獻的讀書參考。如果讀者想嘗試的話,先決條件是能認同科學研究再現危機是種徵候:現代科學界正被各種不良誘因導向背離莫頓規範的方向。