第八章 評價實施
第二十六條 評價實施指按照評價實施方案開展的績效評價工作。包括證據(jù)收集、證據(jù)分析、形成評價結(jié)論、經(jīng)驗教訓(xùn)和建議等。
第二十七條 通過案卷研究和實地調(diào)研開展證據(jù)收集和分析,回答4類評價內(nèi)容中的關(guān)鍵評價問題,定量評價指標(biāo),按績效4個等級評分形成評價結(jié)論。
第二十八條 案卷研究要注意對同一指標(biāo)在不同項目文件中的證據(jù)進(jìn)行核實。如評價產(chǎn)出的指標(biāo),在項目進(jìn)展報告、完工報告中均有項目產(chǎn)出的相關(guān)證據(jù)。如果不同來源的證據(jù)存在差異,要分析差異的原因,并且在座談會、面訪、實地調(diào)研中進(jìn)行核查,最后選擇使用的證據(jù)。
第二十九條 面訪對象是能夠為績效評價提供切實有用證據(jù)的人,一般包括:
(一)項目管理人員,包括相關(guān)政府部門工作人員和項目審批、檢查、驗收、評估人員等。
(二)負(fù)責(zé)項目實施和運(yùn)行的人員。
(三)受到項目實施過程或結(jié)果直接影響的人。
(四)參與項目設(shè)計、實施等的行業(yè)專家。
第三十條 座談會要圍繞項目關(guān)鍵評價問題進(jìn)行討論,收集績效評價所需的證據(jù)。座談會參與人數(shù)以6-8人較為合適。要盡量保證參加座談會的是最合適的人,他們最好參與過或熟悉項目的設(shè)計、實施、運(yùn)行、管理等,或是受項目直接影響的人,能夠為績效評價提供有用的信息。如果對于參會人員陳述的內(nèi)容有疑問,評價小組要及時提問進(jìn)行確認(rèn)。
第三十一條 實地調(diào)研是評價小組到項目實施地進(jìn)行考察、直接收集證據(jù)的方法。調(diào)研問題要根據(jù)績效評價框架表來設(shè)計,主要用于收集案卷研究、面訪和座談會無法收集的證據(jù)。開展實地調(diào)研應(yīng)事先擬好考察提綱、問題清單等。
第三十二條 項目的成功經(jīng)驗和存在的問題及教訓(xùn)都要進(jìn)行討論和評價。在評價實施過程中,要注意收集這兩方面的證據(jù),并在分析的基礎(chǔ)上,提出相關(guān)項目績效評價、項目設(shè)計和管理等方面的建議。
第三十三條 針對評價指標(biāo)進(jìn)行證據(jù)整理。對比計劃或設(shè)計評價指標(biāo)值與實際指標(biāo)值,確定實際指標(biāo)值是否達(dá)到項目目標(biāo),分析項目參與方對評價指標(biāo)值的觀點和意見。
第三十四條 證據(jù)整理包括以下3 個步驟:
(一)證據(jù)列舉:將同一個評價指標(biāo)從不同來源收集的證據(jù)列舉出來。
(二)證據(jù)驗證:將不同來源的證據(jù)進(jìn)行交叉驗證,剔除錯誤的證據(jù)。
(三)證據(jù)確定:通過證據(jù)驗證,最終確定用于績效分析和評價的證據(jù),并將其整理到績效評價框架表中“證據(jù)”列中,以便于分析。
第三十五條 確定證據(jù)后,要依據(jù)證據(jù),對評價指標(biāo)進(jìn)行績效分析。分析要體現(xiàn)兩方面:一是實際指標(biāo)達(dá)到預(yù)期目標(biāo)的程度;二是指標(biāo)達(dá)到或沒有達(dá)到的原因。
第三十六條 對評價指標(biāo)的分析主要依靠評價小組的專業(yè)判斷。在專業(yè)判斷的基礎(chǔ)上,根據(jù)績效評價框架表中的各“評價指標(biāo)”的實際情況給出“指標(biāo)初值”,填入績效評價框架表(附件2,表中標(biāo)“A”處)。并參照績效評價取值表,將“指標(biāo)初值”換算成“指標(biāo)值”,填入績效評價框架表(附件2,表中標(biāo)“B”處)。
第三十七條 通過對評價指標(biāo)的評判來對關(guān)鍵評價問題進(jìn)行回答。關(guān)鍵評價問題的回答結(jié)果是對每類評價內(nèi)容進(jìn)行評級的基礎(chǔ)。本《績效指南》對關(guān)鍵問題的回答表現(xiàn)為績效評價取值表中的“指標(biāo)值”(附件3,表中標(biāo)“綜合C”處)。
綜合指標(biāo)值的形成是評價小組參照評級規(guī)則所做出的專業(yè)判斷。本《績效指南》對每個指標(biāo)值和關(guān)鍵評價問題的等級形成給出了參考性的評級規(guī)則(見附件5)。
第三十八條 評價小組依據(jù)綜合指標(biāo)值、評級規(guī)則,對每類評價內(nèi)容進(jìn)行績效評價,形成對評價內(nèi)容的評價,表現(xiàn)為績效評價取值表中的每類“綜合得分”(附件3,表中標(biāo)“D”處)。根據(jù)分類評價值,參照項目績效評價評級分值和權(quán)重表,對每類評價內(nèi)容進(jìn)行績效評價,得出每類“評價等級”,填入績效評價取值表(附件3,表中標(biāo)“E”處)。
第三十九條 評價小組依據(jù)4類評價內(nèi)容的評價值,參照評價規(guī)則、項目評級值和權(quán)重,得出項目績效評價結(jié)果。結(jié)果由兩部分組成。一是“績效評價綜合得分”,填入績效評價框架表(附件3,表中標(biāo)“F”處);二是“績效評價綜合等級”, 填入績效評價框架表(附件3,表中標(biāo)“G”處)。
第四十條 評級規(guī)則僅作參考之用。實際操作中,其中有的規(guī)則可能不適用于某些項目的績效評價。績效評價等級的最終確定,是由評價小組基于所收集的證據(jù),根據(jù)專業(yè)判斷,并參考這些規(guī)則而做出的。
第四十一條 項目績效評價結(jié)論包括兩部分:一是4類評價內(nèi)容的評判結(jié)果;二是項目綜合績效的總體評判。形成評價結(jié)論一定要有充足的證據(jù)支撐。
第四十二條 評價小組要謹(jǐn)慎進(jìn)行績效評級。各類評價內(nèi)容之間存在著邏輯上的關(guān)聯(lián)性,如果各類內(nèi)容的評級差異很大,需重新考察各類內(nèi)容的評級和綜合評級,以確保邏輯的一致性。
第四十三條 經(jīng)驗教訓(xùn)是指通過績效評價總結(jié)出來的可能有助于開展其他相似項目的信息。經(jīng)驗教訓(xùn)包括描述項目準(zhǔn)備、設(shè)計和實施的優(yōu)缺點,及其對項目績效的影響。提出的經(jīng)驗教訓(xùn)要限于被評項目,有切實的證據(jù)支撐,并指出哪些方面是有參考價值的。
第四十四條 建議是指在提高項目績效、對項目設(shè)計和資源分配等方面的各種提議。建議要與評價結(jié)論和經(jīng)驗教訓(xùn)聯(lián)系起來。具體闡明建議的針對對象、實施時間、提出建議的原因等。
\
第九章 評價結(jié)果報告及應(yīng)用
第四十五條 評價結(jié)果應(yīng)按照規(guī)定的格式編寫績效評價報告(見附件5)。
第四十六條 績效評價報告的編寫要注意以下要點:
(一) 語言要簡潔。
(二) 對評價方法的描述要詳細(xì),以便讀者能判斷其可信性。
(三) 要闡明評價的局限性,提醒讀者要審慎對待報告中的解釋說明。
(四) 圍繞主題和關(guān)鍵評價問題來組織報告。
(五) 用證據(jù)來支撐結(jié)論和建議。
(六) 通過評價質(zhì)量控制程序閱讀和修改報告。
第四十七條 績效評價報告應(yīng)分章節(jié)進(jìn)行編寫,一般包括以下6 個部分:摘要、項目描述、績效評價概述、績效評價分析、績效評價結(jié)論、經(jīng)驗教訓(xùn)與建議。
第四十八條 績效評價報告應(yīng)在委托貸款合同結(jié)束后的一年內(nèi)完成。合同終止時尚未完工的項目,應(yīng)分兩步進(jìn)行項目的績效評價。第一步,在合同期滿后1年內(nèi),對除項目效果的其他3類評價內(nèi)容的指標(biāo)進(jìn)行評價;第二步,在項目完工后1年內(nèi),對項目效果的各項指標(biāo)進(jìn)行補(bǔ)充評價,將兩次評價結(jié)果合并后作為項目的最終評價結(jié)果。
第四十九條 管理中心應(yīng)及時通報項目評價結(jié)果,并以評價結(jié)果作為委托貸款項目執(zhí)
行情況的考核依據(jù),以及今后有償使用資金調(diào)配和新貸款項目評審和管理的決策參考。
第五十條 省級財政部門要利用評價結(jié)果改進(jìn)項目管理,并為未來遴選新項目提供參考依據(jù)。
第十章 評價質(zhì)量控制
第五十一條 評價管理者負(fù)責(zé)績效評價的質(zhì)量控制。績效評價的質(zhì)量控制應(yīng)貫穿于績效評價從設(shè)計、實施到撰寫報告的全過程,以保證績效評價的質(zhì)量。
第五十二條 績效評價質(zhì)量控制的目的是使績效評價工作達(dá)到以下要求:
(一)評價過程科學(xué)、公正:評價應(yīng)做到合理的設(shè)計、選擇適當(dāng)?shù)淖C據(jù)收集方法、準(zhǔn)確的統(tǒng)計、科學(xué)的分析,以及在有足夠的證據(jù)支持下提出結(jié)論和建議;評價信息采集、分析判斷、結(jié)論和建議不應(yīng)該含有任何偏見,或被故意扭曲。評價報告中應(yīng)該說明評價活動的局限性。
(二)評價報告實用:評價信息應(yīng)具有相關(guān)性和及時性,評價所設(shè)計的關(guān)鍵問題及評價指標(biāo)要易于理解,評價結(jié)果要以簡潔明了的方式進(jìn)行報告,使評價報告具有實用性。
(三)評價活動多方參與:在評價活動中,應(yīng)該確保與項目各相關(guān)參與方進(jìn)行溝通,使他們作為積極的合作伙伴參與評價過程,并將他們的觀點和意見吸收到評價報告中來。
(四)評價結(jié)果能被反饋與利用:績效評價工作成果應(yīng)能使各相關(guān)方共享并有效利用于指導(dǎo)未來工作。
(五)評價工作成本經(jīng)濟(jì):績效評價工作需要經(jīng)費(fèi)的支持,但應(yīng)采取有效措施對績效評價工作的成本進(jìn)行控制,以達(dá)到最佳的投入產(chǎn)出效果。
第五十三條 設(shè)計階段的質(zhì)量控制要從以下5個方面考慮:
(一)績效評價設(shè)計能夠滿足管理中心的需求和評價任務(wù)大綱的要求,包括評價的目的、范圍、時間安排等。
(二)績效評價擬采用的方法恰當(dāng)、可行,能夠收集到所需的證據(jù)。
(三)每項評價活動應(yīng)有明確的責(zé)任人。
(四)評價小組計劃投入的人力資源和時間要能夠保證評價活動的順利開展。
(五)《績效評價實施方案》能夠滿足本《績效指南》的要求。
第五十四條 實施階段的質(zhì)量控制要從以下5個方面考慮:
(一)已經(jīng)開展了《績效評價實施方案》中確定的全部評價活動,包括案卷研究、面訪、座談會、實地調(diào)研等。
(二)已經(jīng)按照《績效評價實施方案》中計劃的時間開展績效評價。
(三)評價活動是按本《績效指南》要求的規(guī)范程序開展,面訪、座談會、實地調(diào)研等過程應(yīng)清晰、完整的記錄。
(四)根據(jù)本《績效指南》要求對收集的證據(jù)進(jìn)行整理、核實和確定。
(五)形成完整的《績效評價實施方案》和《績效評價取值表》。
第五十五條 報告階段質(zhì)量控制要從以下8個方面考慮:
(一)報告的格式滿足本《績效指南》的要求。
(二)報告的語言表達(dá)明確、易于理解且沒有歧義。
(三)報告對所有的關(guān)鍵問題都進(jìn)行了回答。
(四)報告采用的證據(jù)相關(guān)、有效、可靠和準(zhǔn)確。
(五)績效分析客觀、系統(tǒng)、符合邏輯。
(六)評價結(jié)論清晰,并有充分的證據(jù)支持。
(七)總結(jié)的經(jīng)驗教訓(xùn)清晰明確、有證據(jù)支持。
(八)提出的建議有針對性,有助于相關(guān)部門提高管理水平和決策能力。
第五十六條 管理中心應(yīng)根據(jù)上述內(nèi)容對評價報告進(jìn)行檢查。如報告不符合上述要求,應(yīng)要求評價小組予以改正。無法改正的,應(yīng)要求評價小組解釋原因,并在評價局限性中加以說明。
第十一章附則
第五十七條 管理中心和省級財政部門應(yīng)按照本單位文件管理相關(guān)規(guī)定建立績效評價檔案。
第五十八條 本《績效指南》由管理中心負(fù)責(zé)解釋,自管理中心主任辦公會通過之日起施行。
【版權(quán)聲明】本網(wǎng)為公益類網(wǎng)站,本網(wǎng)站刊載的所有內(nèi)容,均已署名來源和作者,僅供訪問者個人學(xué)習(xí)、研究或欣賞之用,如有侵權(quán)請權(quán)利人予以告知,本站將立即做刪除處理(QQ:51999076)。