也称公文处理,是评价中心技术中使用最多的、也被认为是最有效的一种形式。在该方法中,将求职者置于一个特定的职位或管理岗位上,由考官提供一批该岗位经常需要处理的文件。文件是随机排列的,他们分别来自上级和下级,组织内部与外部,包括日常琐事和重要大事。 这些文件要求在一定的时间和规定的条件下处理完毕。求职者要以口头或书面的形式解释说明处理的原因。 比较适合测量中高层管理者的计划、决策和组织等方面的能力。
公文筐测试是一种较为复杂的测评方法,测评效果受到使用者、使用环境、使用程序等多方面的影响,公文筐的编制使所有研究和时间的基础也是公文筐测验的重点和难点所在。
一、公文筐编制的原则
1.模拟性原则
公文筐测试与传统的一般能力测试相比其主要优势在于能够在逼真的情境下测查与管理工作直接相关的综合管理能力,因此模拟性原则是公文筐测试的首要原则。公文筐测试只有在合适的模拟情景下激发被考察者的管理行为,才能准确有效的推测出被考察者的综合能力。其模拟性原则主要体现在背景模拟性、公文处理模拟性和处理过程模拟性上。
2.系统性原则
一整套公文筐测试一般包括多份公文,各个公文并不是孤立存在的,而是作为一个系统来综合测评被考察这的各种能力。公文筐测试可以考察的能力一般包括逻辑分析能力、组织协调能力、授权、应变、决策能力等。其中一些能力必须根据被考察者对所有公文的处理来进行评价。而有的能力则需要根据个别的几个公文的处理来判断。由此可见,一种能力可能涉及多个公文,一个公文也对应着多个能力,各分公文在公文筐测试中扮演着不同的角色、承担着各自的功能,相互牵制从而构成了一个有机的整体,因此系统性原则是公文筐测试编制过程中非常重要的一个原则。
3.全面性原则
编制公文筐是必须要保证选取公文的全面性,不但要求内容上的全面性,还要求保证形式上的全面性。形式上的全面性是指,在公文搜集编制时要考虑到电话记录、请示报告、上级主管的知识、待审批的文件、各种函件、建议等多种文件形式都要占到一定的比例,从而保证情景的真实性。
4.重要性原则
在实际工作中,20%的关键工作产生了80%的绩效,而80%的其他工作只产生了20%的绩效。因此在编制公文筐时为了保证情景的模拟性,保证对统筹能力和综合分析能力的考察,测试的编制者会在编制过程可能会将过多的日常琐事编入框架中,从而降低了公文筐测试使用的有效性。作为一种测试综合能力的工具,公文筐测试应该以工作中的关键事件来构建公文测试的核心部分,这样才能预期被考察者在接任管理职位之后是否会有较好的工作业绩
5.针对性原则
在编制公文筐时必须考虑被考察者的经验背景差异,根据不同的行业和职位来编制具有针对性的公文筐,否则公文筐测试使用的效果会受到影响。
6.标准化原则
公文筐测试有别于传统的能力测试,没有完全客观化的答案,评分会受到评分者主观判断的影响,为了减少主观因素的影响就必须在编制时尽力做到标准化。
二、公文筐的编制过程
1.确定测评要素
测评要素的确定要依据两个方面来进行:一是通过上面提及的工作分析或胜任力特征分析来澄清拟任岗位的要求,通常需要分析岗位的职责与任职要求,这可以通过查阅有关职位说明进行,同时还要与任职者或者其上级领导进行深入细致的访谈,以澄清拟任职位的关键任务指标和胜任力特征。如果可以访谈的任职者数量比较多,还可以采用问卷的方式进行调研。
有效的工作分析是公文筐测验的最核心的基础工作,工作分析的关键内容开展得越规范、越全面、越深入、越细致、公文筐测验的题目设计就越容易,测评结果的信、效度也就越高。但仅有系统的工作分析还远远不够,对行为特点、企业内外环境、企业文化和测评目标的分析也是测评题目设计时需要考虑的重要内容。
2.题目编制
2.1搜集素材
文件素材不能凭空杜撰,必须从任职者的实际工作来。搜集素材常采用的行为事件访谈的方法,另外一种比较与有效的方法是请一批比较好的任职者或者他们的直接上级开个交流会,运用关键事件法,让他们回想自己印象比较深刻的在工作中处理过的各种事情,并要求他们写出来。为了得到任职者的配合,对关键事件的回忆通常从正面事件开始,因为大多数人谈论自己比较成功的事情还是比较容易的,这样做能使他们很有信心,从而乐于去回忆。为了不至于使获得的事情太离谱,事先应该将测评要素及其内涵告诉他们,让他们围绕这些要素来回忆。至于征集关键事件的总体数量的多少,要根据所需要编制的文件的数量而定,一般要按所需文件数量的两倍到三倍来征集。
2.2筛选、加工文件素材。
运用关键事件法得到的大量素材中,有一些可能不符合要求,比如说有的事件根本就反映不出相应的能力来,这种情况就得看事件能否反映别的测评要素,如果什么都反映不出来,就可以把这个事件淘汰掉了;如果能够反映出别的要素来,就可以把这个事件归类到相应的要素上。然后就是对剩下的许多事件进行加工。因为任职者写出来的事件中有的太抽象或者不够完整,这就需要适当补充完整;有的包含了多个事件,这就需要适当地进行拆分;还有的事件描述得太繁琐,这就需要进一步地精简加工。另外,完全真实的材料可能会过于偏重经验的考察,而忽视潜能的考察,据此选拔出来的人无疑是完全与招聘单位文化气氛相同的人,违背了引入外来人才、给单位输入新鲜血液的本来目的,同时这对单位外部的被试也不公平。
2.3编制文件。
完成上述工作后就可以遵照公文筐编制的原则来编制文件了,编成的文件应该具有三大特点:典型性,文件内容涉及未来工作中最主要的活动,是对多种情况的归纳与概括;主题突出,单个文件应该以描述一个主题为核心,尽量避免一个事件的多个方面都是重点;难度要适中,测验的目的在于区分能力不同的被试,因此应该尽量避免测验中的“天花板”、“地板”效应,使得大家的得分都很高或者都很低而不能区分,通常应该由易到难,形成梯度。
3.试测与收集答案
公文筐编制结束以后,制定评价标准也是相当关键的。为了使评价标准又针对性和实用性,就需要收集各种答案,即文件的各种处理办法。一个比较有效的做法就是把编好的公文筐让在职的优秀人员做答。这些在职人员应该和将来应聘的被试团体具有相似的特征,可以看作来自于同一个样本群体,并且他们所在的岗位,就是被试将来拟任的岗位。人数应该保证在几十个人以上,不能太少,但是时限可以稍微宽松一些,以保证他们能够将所有的文件都处理完。最后根据这些在职人员的结果进行汇总分类,列出表格。
为了验证编制出来的公文筐测验的效度,我们可以将公文筐测验施测于一批优秀的任职者和一批没有管理经验的一般人员。将两个团体做答结果进行比较。假如两个团体的作答结果之间没有显著性的差异,或者一般人员的结果比优秀管理者的结果要好,这就说明编制的公文筐测验可能存在问题,区分效度不明显,需要进一步的修改。
三、公文筐测验的结果评定
公文筐测验的结果评定既是重点又是难点,只有对被试的作答进行准确合理的评定,才能有效地发挥公文筐测验的鉴别功能,也才能体现以此方法进行人员选拔时的客观公正。但是,由于公文筐测验作答的开放性,加上测验背景的复杂性,其结果评定很难,这对评价者提出了很高的要求。
1评分标准的设计
评分标准的设计是公文筐测验结果评定中的基础环节,公文筐测验的评分标准包含着三个方面的内容:一是参考标准,即处理各个问题的较理想的方式;二是等级水平,是各种不同的处理方式所体现能力、素质或资格条件的数量水平或质量等级的量表系统;三是测评规则,即一定等级水平与参考标准之间的对应关系。
对于参考标准来说,这是评分标准设计中的关键,因为只有明确了什么样的文件处理方式说明被试者某方面的能力高、什么样的文件处理方式说明被试者某方面的能力差,才可能有效地评价测验结果。确定这些测量要素的测评指标的方法可以采用当前国际上盛行的行为定位法,这种方法不关注被试之间的相互比较,而是有一个行为性的测评基准点,寻求有效的行为表现与无效的行为表现的区别以及不同表现所产生的效果。
参考标准确定以后,评分表的设计就比较简单了。首先要确定量表评定的等级,常用的有5点量表、7点量表、9点量表、10点量表,其特点是将被试的行为表现分成等距的几个等级,比如5点量表可以分成很好、较好、中等、较差、很差5个等级。10点量表通常把行为分成好(1-3分)、中(4-7分)和差(8-10分)三个等级,并对三个等级的行为表现作出具体的描述,然后考官根据被试的具体表现在三个等级内再做细分。
2评定标准的把握
让评价者掌握评定标准是公文筐测验结果评定的核心环节。评分表设计得再好,如果评价者对评定标准没有把握好,那么结果评定也是没有可信度的。评价者要把握评定标准,通常需要严格的训练。
首先要让评价者熟悉测评要素的内涵和拟任岗位的要求。在公文筐测验的评价者中,通常由两类人员,一类是评价专家,另一类是具备拟任岗位工作经验的人(一般是拟任岗位的上级领导及人事组织部门的领导)。评价专家虽然能够很好地把握测评要素的理论界定和评价尺度,但是对具体的岗位可能不是十分了解;而有关领导虽然熟悉岗位特征,但是对测评要素又把握得不是太准确,因此,双方需要密切合作,互相学习,各取所长,提高评价的客观性和有效性。
其次要加强评价练习。让评价者熟悉测评要素的内涵和拟任岗位的要求并不是一件很容易的事情,需要通过评价实践来巩固。通常可以让多位考官同时对几份公文筐测验的作答情况进行多次评定训练。评分的实施程序一定要注意,一般应该两人以上各自独立评分,然后交流评分结果,如果发现不同评价者的评分结果之间的差异比较大,就得让他们简述自己的评分理由,拿出客观的评分依据,据此对他们进行指导,使他们把握好统一的评分尺度,直到达到预定的标准。
3评价结果的内容
在公文筐结果的评定过程中,评分者不要仅仅给出一个简单的分数,最好就各种测评要素给被试写出相应的书面评语,这样做的意义,一方面在于保留公文筐测验中提供的、难以从分数中体现出来的很多宝贵信息;另一方面在于更明确地反映出考官对被试的倾向性意见,同时也能够使得录用决策建立在更为生动具体的评价信息基础之上。关于如何填写公文筐测验的评语,并没有很严格的限定,只要抓住被试的主要特点,用适当的文字描述出来,给予恰当的考核建议即可。如果对公文筐测验的结果仍然存在很多疑点或者判断模糊的地方,可以留待与其它测评方法相互印证。