2012-08-29

職能導向評鑑之驚喜與隱憂--情境式判斷測驗

近年來「職能」(competency)導入業界或公部門人力資源應用的觀念廣為盛行,經濟部於99年5月制定公布的「產業創新條例」第十八條明訂「除法律另有規定外,各中央目的事業主管機關得依產業發展需要,訂定產業人才職能基準及核發能力鑑定證明,並促進國際相互承認。」說明未來因應產業需要之職能基準建置工作,將成為協助提升產業人才能力素質的重要參考。此外,100年9月修正通過「職業訓練法」第4條之1:「中央主管機關應協調整合中央目的事業主管機關所定之職能基準、訓練課程、能力鑑定規範與其辦理職業訓練相關服務資訊,以推動國民就業所需之職業訓練及技能檢定。」亦說明國民就業所需之職業訓練與能力鑑定須以職能為基準。綜上所述,以職能為導向的政府相關人才政策與企業人力資源規劃已勢在必行。在職能導入的過程中,正確的評鑑員工的職能程度是重要的工作之一,職能評鑑的結果除可作為界定職能等第(分級)的依據外,亦可作為員工學習地圖與職涯規劃的評估參考。當前市面上職能甄選的相關工具包括智力測驗、性向測驗、人格及興趣測驗、專家判斷、傳記式問卷、評鑑中心法(Assessment Center)等,在這些評鑑工具中,評鑑中心的信、效度與公平性等為學術界與實務界人士所肯定,主要是由於評鑑中心所採用的複合式評鑑取向與職能多元面向的概念不謀而合,只是執行評鑑中心法所需耗費的時間與資源卻往往使一般使用者望之卻步,更甚者,基於評鑑成本上的考量更存在評鑑中心法獨厚於特定人士(如:白領高階主管)使用之一般觀感。然而,職能評鑑並無職級與業種間之差異乃無庸置疑,因此如何能保有評鑑中心的優點且能以較低之評鑑成本提高施測普遍性的想法,則促使了情境式判斷測驗(situational judgment test; SJT)在職能評鑑上的應用。

根據Spencer與 Spencer (1993)對「冰山模型」的說明,可了解職能的內涵主要由外顯的知識、技能、能力與內隱的特質、價值觀所構成。簡要來說,職能是與職業相關的外顯知能與內隱特質的總合體,但外顯知能與內隱特質該如何綜合計算出職能卻有各方學者不同之看法,一般常見的方式為透過個別的智力或性向測驗進行測量,再將所測得的分數跟職能的效標進行統計分析,以確認外顯知能與內隱特質與職能間的線性或非線性關係。但就評鑑中心法而言,職能評鑑的結果則是透過專家針對受試的各評鑑結果之共識(expert consensus)而獲得,此外,評鑑中心法亦重視評鑑過程中的任務情境與受試者具體行為的反應,此與職能概念隱含社會性與情境性的特質(Schippman, 2000)以及職能定義之行為分級有著異曲同工之處,因此若說評鑑中心法是為職能所量身訂作的評鑑方式亦不為過,只是如前文所述考量了經濟性後,評鑑中心法普遍應用在職能評鑑上的實用性卻大打折扣,於是另一種替選(alternative)的情境式判斷測驗(situational judgment test; SJT)便成為職能導向評鑑的下一個驚喜,其主要優勢在於受試者對情境的判斷結合了受試者的知能與特質因素且其情境試題本身的關鍵事例與反應選項亦保有其職能的任務情境與行為範例的特性,更重要的是SJT能以較低廉的成本進行建置且進行較大規模的施測,並受惠當代多媒體的科技優勢,純文字的試題情境描述能藉由影音或式動畫的方式設計以提升受試者作答動機。由於SJT符合測驗理論的基本規範,因此同樣具備量表發展過程所需的信效度指標以供實證資料的檢驗,有別於評鑑中心法過度依賴共識評分的專家效度。Chan與Schmitt(2002)認為,根據SJT的設計型態,其所測量的內容可以直接與員工所工作的情境相契合,因此不論從理論或實務上,SJT都較傳統認知測驗與人格測驗更能去預測未來的工作表現。

情境判斷測驗早在二次世界大戰就已經被美國單位Office of Strategic Service(OSS)所倡議,用來甄選擔任特種軍事任務人員。過去20年來不但獲得實務工作者的青睞而逐漸普及,同時也在學術研究引發研究者的興趣,成為重要研究課題之一。SJT吸引實務界的主要原因在於工作情境的生態效度(ecological validity)與優於其他測驗的績效預測力(Whetzel & McDaniel, 2009),顧名思義,情境判斷測驗的主要特色在於試題加入了情境的要素,而個體在特定情境下的判斷反應就是SJT欲蒐集的主要資料,SJT之所以可以成為測量職能的關鍵在於其問題係模擬真實工作場域的各種問題情境,所收集的是受試對各種問題的因應行為資料,若說行為是職能的展現,那麼藏在職能冰山下的知識、技能、價值觀、特質等,就會以某種行為的模式呈現。若將SJT的情境設定為公司,那所測量到的就是公司員工對相關情境的可能的因應或預應行為,以這類型的行為資料進行相關分析就是SJT應用在職能評鑑上的重要基礎。然而,SJT仍存在一些理論與技術上的盲點與爭議(Weekley & Ployhart, 2006, Eds. )。例如:SJT的計分一直是一個重要的研究議題(Weekley, Ployhart, & Holtz, 2006),如同Berman、Drasgow、Donovan與Juraska(2006)所言:「關於SJT的計分,當你獲得資料後,你的麻煩就來了!」,對SJT而言,研究者所取得的資料,包括題項本身來自於專家共識的有效分數、透過測驗所獲得的受試對行為選項之判斷傾向,以及透過計分算則所得到的測驗分數。而這些分數各自代表了什麼意義,與理論構念的關係為何?一直是SJT研究者所苦惱的部分。另外在SJT試題設計方面,題組內容的細節應該詳細或是簡略?題組應以第一人稱或是第三人稱進行題組的描述?情境問項應設計為應會(should do)或將會(would do)……等,皆會使得測得的分數有所差異。以上例舉雖是應用SJT時的隱憂,然而經過設計並基於理論發展的情境判斷測驗卻有不斐的實務與學術價值。無論如何,在SJT發展邁入成熟之前,這些議題的研究與討論都將是必然的過程與挑戰。

參考資料:
Bergman, M. E., Drasgows, F., Donovan, M. A., & Henning, J. B. (2006). Scoring situational judgment tests: Once you get the data, your troubles begin. International Journal of Selection and Assessment, 14, 223-235.
Chan, D., & Schmitt, N. (2002). Situational judgment and job performance. Human Performance, 15, 233-254.
Schippmann, J.S., Ash, R.A., Battista, M., Carr, L., Eyde, L.D., Hesketh, B., Kehoe, J., Pearlman, K., Prien, E.P., & Sanchez, J.I. (2000). The practice of competency modeling. Personnel Psychology, 53, 703-740.
Spencer & Spencer. (1993). Competence at work:model for superior performance. New York: John Wily.
Whetzel, D. L., & McDaniel, M. A. (2009). Situational judgment tests: An overview of current research, Human Resource Management Review, Vol. 1 , 188-202.
Weekley, J. A., & Ployhart, R. E. (2006). Situational judgment tests: Theory, measurement, and application (Eds.). Mahwah, NJ: Erlbaum.
Weekley, J. A., Ployhart, R. E. & Holtz. (2006). On the development of situational judgment Tests: Issues in item development, scaling and Scoring. In J. A.Weekley & R. E. Ployhart (Eds.), Situational judgment tests, Mahwah, NJ: Lawrence Erlbaum Associates.

資料整理:工研院產業學院副研究員 歐宗霖

1 則留言:

  1. 是否能就知識技能態度與職能的觀點作一統合的說明?
    職能常就已有的工作內容推論,一般管理公司又只能選部分重要的項目(態度),感覺不少的缺失與漏洞,是否應就產出與顧客需求列為職能考量的源頭
    大型企業與小型企業對職能的理解差異很大,別再閉門造車,必須實事求是

    回覆刪除