小額信貸推薦

作者序  v
黃序  xi
主譯者序  xiii

第1章  背景說明  1
評鑑的領域  4
評鑑的定義  5
什麼是評鑑？專有名詞說明  8
結果與過程評鑑  9
評鑑的貢獻  12
評鑑歷史  12
評鑑與其他研究比較  18
摘要  23

第2章  評鑑的目的  25
誰需要評鑑？  25 明顯與潛在的目的  27 不利評鑑的情況  30 決策取向評鑑  31
評鑑作為組織學習  33
評鑑的意圖性用途  35
形成性與總結性評鑑  38
形成性─總結性與歷程─結果：不同的建構  39
目的的相容性  40
評鑑如何委託  42
內部與外部評鑑  45
結構中的層級  48
應為誰的用途服務  50
摘要  54

第3章  瞭解方案  57
為何方案知識有用  58 方案特徵描述  60 瞭解方案  62 方案想要達成什麼？  64
方案如何運作：揭露方案的改變理論  68
方案理論與實施理論  71
組織評鑑以檢視方案理論  73
建構方案理論  75
利用改變理論作為評鑑指引  76
將方案理論與實際發展對照  81
說明改變理論的優點  82
對方案理論的批評  84
摘要  86

第4章  規劃評鑑  89
適合評鑑的時機  90 評鑑問題的類型  92 規劃階段中其他的決定  94 如何決定探討哪一個問題  96 指出評鑑問題  101
量化或質性研究  102
評鑑設計  107
一個研究或是一系列研究  110
設計不同類型的方案  111
一些實際的方案  112
倫理議題  114
摘要  118

第5章  評鑑者的角色  121
參與角色的類型  123 其他評鑑者角色的理由  125 實施參與式評鑑  128
優缺點的平衡  131
參與取徑的其他限制  134
倫理問題  135
摘要  139

第6章  發展測量  143
測量  144 方案結果  147 不同測量的選擇  154
未預期的結果  157 中期進展紀錄  159 方案歷程  162 方案輸入、資源與環境  164
多項測量  169
多少測量才足夠？  169
變項測量  170
發展新測量  173
評鑑中測量的重要特徵  179
摘要  185

第7章  蒐集資料  187
資料來源  187 抽樣  202
訪談  204
進行編碼  207
已存在的統計資料  209
蒐集資料的倫理議題  216
摘要  220

第8章  評鑑設計  223
設計過程性的評鑑  224
關於結果評鑑的設計  226
重要的概念  229
設計  233
非正式的設計  234
正式研究設計  237
摘要  264

第9章  隨機化實驗  269
隨機分派  269
有方案的變異  277
隨機分派的程序  278
應付所產生的困難  282
讓隨機分派實驗有問題的情況  285
隨機分派實驗的批評  286
摘要  292

第10章  良好設計的延伸  295
重新驗證  295 後設分析  296 成本效益和成本效能分析  306 摘要  314

第11章  質性方法  317
質性評鑑的設計  318 蒐集資料  321 田野工作與分析  331 質性評鑑和方案理論  333 倫理議題  334
結合質性與量化取徑  336
摘要  338

第12章  分析及詮釋資料  341
導論  342 評鑑的分析工作  343 分析策略  353 分析實例說明  360
分析方法相關書籍  361
研究倫理  363
摘要  364

第13章  撰寫報告和傳播結果  367
報導  368
傳播  382
評鑑結果的應用  389

第14章  正直的評鑑  403
了解方案  404
維持高度的技術品質和相關性  405
運用的平衡及判斷  407
從一開始就考慮用途  408
在研究過程中表現合乎倫理  409
存活與獲得報酬  410

名詞解釋  411
參考書目  427
索引  453

作者序

　　當我的第一本書《評鑑研究》甫於1972年出版，評鑑是當時研究領域的新工具。這段期間以來，評鑑的經驗逐漸累積。許多類型方案當時正經歷首次嚴格的檢視，今日已成為數以百計、甚至是數以千計的評鑑討論主題，我們對於方案如何有效進行運作知道的更多，我們也知道更多關於評鑑方法、統計技術和質性評鑑策略。

　　我們也知道要解決社會問題是困難且吃力的，需要有大量的金錢、時間、毅力及想法。本國及世界上許多其他國家的社會問題沒有什麼簡單的解決方法，沒有神奇子彈可以消滅犯罪、貧窮、疾病或是環境的敗壞。人們將持續擔心教育、暴力和社區凝聚力。改善得一步步來，而改善得需要仔細、系統化的評鑑來辨別哪種干預形式有較好的效果。伴隨著評鑑所帶來的資訊和洞察力，組織及社會將更能提升以改進人類福祉為旨的政策及方案。

　　本書主要鎖定三種對象：最主要是為需要評鑑入門知識的大學生或研究生。它是本非技術性的書、不需要統計知識，以簡單且容易閱讀的文字寫成。顧及新手的需求，我以淺白文字介紹研究和評鑑的概念。學生們會發覺先認識一些基礎科學的研究方法是有益的。

　　第二類讀者是有經驗的評鑑者們。這本書所談到哲學、基本原則和評鑑的程序，會讓已經從事評鑑工作多時（或剛踏入評鑑領域）的人感到特別有幫助。

　　第三類讀者是行政人員、方案主管、決策者、政府、以及基金會之方案管理人員。這些人不需要自己從事評鑑，但他們得將評鑑委託出去、檢視評鑑提案以及讀取評鑑報告。他們需要了解什麼是評鑑、評鑑可以做到什麼、以及做不到什麼、如何去辨別一個好的評鑑提案、以及好的之於壞的評鑑報告。他們必須知道如何去支持好的評鑑、以及判斷他們所讀到及贊助的評鑑有多少是值得信任的。

新增加部分

　　這本書是《評鑑研究》十年後的後續版本。許多討論是先前書中已提及想法的詳細闡述。比如，我依然相信評鑑者需要了解評鑑要求的背後目的，以及什麼是各方團體想要評鑑達成的使命，我相信好的設計和測量是從事評鑑所必須的，我相信評鑑有明顯的政治面向，評鑑者們需要了解方案組織內的政治，以及方案外圍的政治脈絡。

　　但我對幾個重要事項已有了不一樣的想法。我認知到評鑑不僅是單獨為下決定所提供的資訊。的確，讓決策者知道計畫的狀況，可以幫助他們更明智的規劃方案和政策，但這並不是評鑑的唯一功用。我已經做過關於評鑑如何被應用的研究，逐漸領悟到將評鑑發現應用於決策並不容易。除了評鑑呈現的證據以外，有許多因素會影響到做決策。當只有少部分需要改進，或是當要改變的部分符合該組織需求，來自評鑑的發現或許是最能被立即應用的。但評鑑還有許多其他重要用途，它們常對於議題、選項和意見等有長期或是間接的影響。

　　我也新增了主題，並針對早先版本簡約帶過的部分再加充實。我加入了一章關於質的評鑑、而且把之前僅數頁關於方案理論的部分，在這本書發展成一個完整的章節。我花了更多心力在歷程評鑑──探討方案運作中所發生事情的研究。我擴大討論評鑑者如何能透過與方案人員共同合作而獲益。在方案開始、方案進行期間、解釋結果、以及根據結果發展新方案時，合作都會相當有幫助。比起十年前、這四個主題在評鑑中變得更為重要了。

　　這本書也包括了方案評鑑的歷史以及它在社會當中的位置。它提供了關於測量和資料蒐集的詳細指引，而且包括了一章關於分析─在資料蒐集之後該如何處理。我也徹底地討論後設分析和成本─效益分析，也包含了討論非實驗資料的統計校正。對於整本書的論述，我也特別注意納入研究進行前、中、後階段的研究倫理議題。

綜觀

　　這本書的主要目的在於當作評鑑入門課程的參考用書。它提供了實用的導引、從評鑑研究執行的起始、歷經規劃階段、到研究設計、資料蒐集及分析資料、直至報告撰寫、傳播還有結果的應用。

　　第一章說明評鑑的定義，提供例子，以及討論數個不同的評鑑類型。它也追溯了數個世紀以前的評鑑歷史。第二章描述了哪些方案與政策參與者決定評鑑的目的，以及不同目的對後續評鑑的效果。它也探討了評鑑通常被委託執行的不同程序，以及評鑑團隊在此結構中的重要位置。

　　第三章討論了解方案的重要性。知道方案是什麼、如何運作、以及它被期待能達到的成效，這些將幫助評鑑者發展出一個能對重要議題有所回應的研究。第四章對於研究規劃提供具體建議。它討論了已經有的選項以及可以從中挑選的依據。它強調計畫是個不斷重複的過程，當外在條件干擾時，評鑑者需要一再地修改計畫。第五章提及利害關係人，對於評鑑及其結果有著利害關係的不同團體，而且提及何時該將這些人納入評鑑規劃與執行，並討論評鑑者如何能有效地與利害關係人合作，讓研究更合乎他們所關心的議題，受益於他們的知識，並且不犧牲更多研究的利益或可信度。

　　第六和第七章處理量化評鑑中關於測量和資料蒐集的議題。第六章說明方案的投入、過程、中期進展指標、結果，以及可能非預期結果的測量選擇。它列表提供了可取得測量的來源，挑選好的測量工具的依據，以及建構新測量工具的具體建議。第七章關於一系列蒐集資料的策略：非正式交談、觀察、正式訪談、問卷、已有的紀錄、檔案、已有的調查等等。它提供抽樣、不同資料蒐集方法、與資料編碼的意見，並強調（誠如前述的章節）所涉及的倫理考量。

　　設計是評鑑中的關鍵要素：指出哪些部分將被研究、如何選擇、將進行什麼樣的比較、以及這些探究進行的時機。第八和第九章強調設計必須符合待答問題，且指出必須考慮進去的重點。第八章呈現了各種設計──從方案參與者的非正式評鑑到比較團體的運用，包含調整比較組的方法到接近參與方案的團體。第九章描述控制實驗，根據隨機分派將參與者分配至實驗組和控制組。該章指出如何實施隨機實驗，並討論過程中可能發生的問題，也討論對於設計的批評，並且檢視什麼批評是有根據的，而什麼是需要被處理的。第十章提供三個讓設計更完善的機制：重複試作（replication）、後設分析（meta-analysis）、成本效益（cost-benefit）以及成本效能（cost-effectiveness）分析。它解釋了每個程序的作法、以及何時使用他們具正當性。

　　第十一章敘述質性的評鑑。它描述了幾個質性的研究類型、對資料來源、資訊的蒐集、分析策略以及在研究現場所產生的研究倫理議題提出建議。它提到如何綜合質性的與量化方法、對於質量並用的建議。第十二章提供分析及詮釋資料的導引。它提供質性與量化研究相同的指引，說明分析工作的邏輯。

　　第十三章聚焦在報導結果和傳播給相關的讀者。它提供報告的技巧及滿足不同大眾的訣竅。絕大部分在強調溝通和結果的傳播，它提及評鑑者的責任──尤在鼓勵評鑑結果的應用，建議應用到方案議題和政策上。第十四章歸納本書的主軸，也是我希望能受重視的。

致謝詞

　　無法去感謝所有的人，他們的經驗、想法、鼓勵與批判都提升我對評鑑的瞭解。我得列出所有評鑑書籍與文章的目錄（至少是那些我曾讀過的），列舉出十多個國家中、數百篇評鑑報告的作者，還得列出好幾屆在我評鑑課堂上分享他們的興趣與疑惑的學生們。雖然我感謝其他數以百計的其他人，但在此僅限於那些直接幫助過我的人。

　　我極其幸運地在身為行為科學進階研究中心
（CenterforAdvancedStudyintheBehavioralSciences）一員的時候，開始寫作這本書，該中心孕育著豐富且樂於助人的同事情誼。我在哈佛大學任教時完成這本書，一個能自我豐富滋養的環境。兩個具仁慈且彌足堅毅的人閱讀整個初稿而且給了很好的批評：WillShadish和JanetWeiss，而我欠此兩位的恩情至深。他們看過隱藏的內容以及寫出的文稿，使我釐清我想說的。

　　JohnWillett仔細地讀了四個關於設計與分析的章節，教導我、跟我辯論，而且幫我指出正確的方向。RobertT.Brennan審視關於測量與資料蒐集的章節，做了細部的建議，使得內容更正確且完整。其他讀過初稿且幫助我在內容上有所改善的還有JosephMaxwell,MercerSullivan,HarrisCooper,以及SharonRallis。LeeCronbach,DavidFetterman和JudithSinger提供參考書目、建議和洞察力。

　　JayBraatz在辭典及圖表上幫助甚多。也感謝　　StuartYeh,ChrisMazzeo,MaryJoLarson在圖書資料的協助。謝謝　　MarkAnderson-Wilk和KathyGeorge幫忙初稿的打字。

　　我特別感謝JohannaBirckmayer。Jo一直是資訊和建議的來源。她閱讀後續的文稿，這數月來的批評、判斷、鼓勵讓我受益匪淺。

　　在這本書中如果仍有任何缺失就該是一群指導教授們的責任了。（純屬虛構，只是這麼說很有趣。）
 
黃序

　　評鑑，在二十世紀即已發展成為很重要的學術強項，各個學術領域莫不把評鑑納入其研究範圍，視為重要的環節，進入二十一世紀，其重要性越來越高，應用得越來越普遍。在此風潮下，國內的評鑑領域亦蓬勃發展起來，且受到績效主義的加持，幾乎到了無所不評鑑的地步，尤其是政策和方案的推動，莫不掛上評鑑，實施階段性或總結性的評鑑，這雖有其理解及改進效果存在，但若未做好規劃和實施，也可能造成評鑑的泛濫和災難。

　　評鑑領域在追求科學化的過程中，一定要注意科學不等於量化，更勿遺忘評鑑的人文面，宜把評鑑視為人的工作，要符合人性的本質，也要注意人性的弱點。評鑑領域發展迄今，卻走過不少歪路，常見問題之犖犖大者有幾方面。其一為評鑑的目的在改進或績效，前者令人感到溫暖，有助於進步和發展，後者令人感到緊張，可供決策之用，卻常產生事務真相的矇蔽，兩者如何拿捏是一門學問。其二是量化主義盛行，評鑑常以數據代表成績，忽略事務的質性層面，脫離事務複雜的本質，以致評鑑結果的用途出現嚴重的侷限。其三為僅重評鑑事務的最終結果，不重視事務發展的背景、輸入和過程，導致無法對事務進行全面的理解，也就難以真確地判斷事務的價值。其四是評鑑完成寫出報告，常被束諸高閣，未能妥善利用來改進或發展，評鑑變成只是整個政策或方案過程的儀式，白白浪費評鑑資源。其五是各項評鑑工作未加以整合，各機關團體不斷接受各種評鑑，花費許多資源去準備評鑑資料，反而沒有時間致力於做好本身該做的事。最後是評鑑倫理問題，評鑑工作有許多倫理尚待討論、澄清和實踐，其中的政治、權力和利益關係更是關鍵。所有的評鑑都必須面對並解決這些問題。

　　個人身為評鑑學術和實務的工作者之一，常需要針對前述問題尋求解決之道，讓評鑑發揮更大的價值。很高興看到臺灣師範大學教育系王麗雲副教授及其團隊，以信雅達的文筆譯出「政策和方案評鑑」，該書是評鑑學術巨擘美國哈佛大學教育學院CarolH.Weiss教授的重要著作，原文自出版以來對學術和實務界的影響深遠。該書內容包含評鑑的意義、目的、方法、設計、利用與倫理，理論實務兼具，有助於解決長久存在的評鑑問題，堪稱評鑑研究者和工作者必讀的好書。

　　王麗雲博士專研政策與評鑑，研究著述質量俱佳，就讀於哈佛大學時，受教於CarolH.Weiss教授，對其學術知之甚熟稔，由她主譯本書再恰當不過。個人曾受CarolH.Weiss推薦，於1986-7年間在哈佛大學擔任訪問學者，期間閱讀不少她所發表的著作，完成課程評鑑專書，對她感念甚深。故值此譯著面世之際，樂為之序，期待該書得以推進國內評鑑領域的良性發展。
 
主譯者序

　　國內改革與政策經常推陳出新，應接不暇，令人眼花撩亂，這些改革或政策也投入不少經費，動輒數千萬、數億、數十億，有些又需動員相當多基層人力配合執行，人力物力時間成本高。不過，這些改革、政策與方案是否達成原先預期的目標？如果有，值不值得？又產生那些未預期的效果？更重要的是政策或方案為什麼有效？或者又為什麼無效？如果無效，是政策設計的問題？還是政策執行的問題？這些問題極少受到重視與研究，長久以來政府經費不斷投入，基層人力也隨改革忙碌或空轉，卻少有人問：「政策或改革成就了什麼？」

　　「只問耕耘，不問收穫」的心態，讓政策領域無法累積知識，提升政策設計與政策工具的品質，長久以往，人力物力浪費不說，更讓大眾對改革冷漠、疏離、習慣性排斥，讓未來的改革或政策推動更為困難。《政策與方案評鑑》一書，即是由評鑑的角度，探討政策與方案的成效與成敗原因。政策失敗固然令人扼腕，但是不知道為何失敗，甚至不斷重複失敗，無法產生有效的政策學習，無法更聰敏地施政，是更大的罪惡。掌握國家巨額經費，掌控基層人力精力、時間的決策者、立法者、行政人員，都需具備政策與方案評鑑素養，除了努力推新政策、新改革外，更要透過評鑑自問自省，掌握政策或改革的績效與問題，讓經費與人力物力作最佳的運用，也讓政策或改革的目標可以達成。成效不彰的改革，不如不做。缺乏評鑑反省的改革或政策，常只是權力或利益重分配的工具，或是天真者的遊戲場，看不見改革或政策的實質效益。

　　政策與方案評鑑是系統性的研究，是以本書亦是研究法的著作。國內研究法的書，較偏一般性，不太適合政策與方案評鑑與研究所需處理問題特性。雖然政策與方案評鑑在資料蒐集與分析上與一般研究法無太大差異，但是在研究問題擬定、研究準備、研究設計、研究（評鑑）者角色、研究結果應用等面向上，卻有較不同的考量，本書對這些議題有很清楚地說明。簡言之，政策與方案評鑑者要在政策或政治領域有所貢獻，優秀的研究能力是不可缺的，才能在政治叢林中發揮啟蒙（enlightenment）之功。

　　本書作者Dr.CarolH.Weiss是哈佛大學教育學院教授，也是評鑑研究（evaluationresearch）領域的知名學者，關心政策實務與政策研究，在其學術生涯中參與美國聯邦政府相當多政策研究或評鑑案，如貧窮戰爭（WaronPoverty）、青年方案（YouthProgram）等等，對於研究在政策領域的能與不能有深刻的瞭解，也累積豐富的實務觀察與心得，引發她另一個重要研究貢獻：「研究應用」（researchutilization），現在也是美國教育研究界重要的議題。Dr.Weiss曾說：「評鑑是在政治脈絡下的理性工作」（Evaluationisarationalenterprisethattakesplaceinapoliticalcontext.）。

　　談到評鑑者的角色，認為評鑑者應該「視自己為發展行動所需知識事業的一部分」（Evaluatorsshouldviewthemselvesaspartofanongoingenterprisetodevelopknowledgeforaction）。Weiss也提醒評鑑者，「沒有什麼比一個好的理論更實用了」（Thereisnothingaspracticalasagoodtheory）。政策與方案評鑑不能只是說政策或方案好不好，更要能解釋政策或方案為什麼好，或為什麼不好。換句話說，政策與方案評鑑是理論建構的過程，不只是價值判斷的活動。國內的政策與方案評鑑做得不多，多以價值判斷為焦點，將評鑑拉到政策理論建構層次的，少之又少，也難怪國內政策或方案的品質與成效常粗糙、盲從、濫情。

　　Dr.Weiss雖然在哈佛大學教育學院工作，但本書對教育以外其他領域之政策與方案評鑑都能適用。舉凡教育、社會、衛生、交通、警政、稅賦、財政、醫療、勞工等公共行政與政策領域，只要想改進政策品質，都可以由本書獲得相當大的啟發。耐心讀完本書，對於政策與方案評鑑的研究設計與實施，以及政策與方案的改良精進，將能建立完整的概念。

　　我在1991年獲公費赴哈佛大學教育學院求學，認識Dr.Weiss，有幸成為她的指導門生，開啟了我對政策與方案評鑑的研究，也因為她的鼓勵支持，讓我辛苦但充實的完成博士。Dr.Weiss的為人與為學，是我的楷模，女性在政策研究界相當孤獨，有這樣的楷模走在前面，後人步伐更為堅定。慚愧的是老師上課很少講自己的東西，都是以他人的作品為主，一直要到後期才自己發現老師在學界的成就與地位，若早些挖掘，或許有更多深入請益的機會。一直往外看，往內想，就是Dr.Weiss的學術特質。

　　這本書開始翻譯已久，越來越忙，只能獨力完成前六章，感謝江淑真博士、謝卓君博士、李明穎、張繼寧、林芳穎的幫忙，完成其他章節。

　　Dr.Weiss於今年一月辭世，本書能在同年由我與我的指導學生一起完成，也算是獻給Dr.Weiss的紀念，感謝她帶給我們的智慧與信心，希望一起繼續努力，跟著Dr.Weiss的步伐，透過評鑑研究，提升政策與方案的品質。非常感謝黃政傑教授能替本書寫序，他是我碩士班的指導教授，當初我會報考教育部公費留學教育評鑑學門，進入哈佛大學求學，也是黃老師的啟發帶領，他與Dr.Weiss也熟識，沒有人比他更適合寫推薦序。

　　本書的第1至6章及評鑑辭典由本人翻譯，江淑真博士負責第7至9章、第14章。東華大學謝卓君教授負責第13章，同樣也獲得公費留學獎學金赴美攻讀博士的李明穎小姐負責第11章，張繼寧博士生負責第12章，和平高中林芳穎老師負責第11章。校閱則由本人負責。
　
　　最後要謝謝學富發行人于雪祥先生的支持與耐心，沒有他的協助與理解，這本書不可能問世。