P
cp
=
A
A + B
=
成功人数
选择人数
P
CP
的值越高说明测验越有效 。在许多情况下
,
人们只关
心录取者的成功与失败
,
对于淘汰者的命运如何却并不关心
,
所以对错误拒绝
(D)
的比例不予考虑
(
郑日昌
,1987)
。
2. 5
构想效度 构想效度指测验能够测量到理论上的构想
或特质的程度 。这些构想均有理论基础
,
但都无法直接观察
,
只能通过具有操作定义的测验加以测量 。操作测验成绩与理
念中的构想或特质的符合程度
,
即为构想效度 。例如
,
从一般
的智力理论
,
可以提出
4
项功能性的假设
:
绝对智力随年龄的
增长而增长
;
智力与学业成就密切相关
;
智商相对稳定
;
智力
受环境与遗传影响 。于是
,
心理学家依据智力的上述功能性
假设
,
编制智力测验
,
然后实施测验
,
最后对测验结果进行分
析 。如果发现
,
被试的测验分数随年龄的增长而增长
;
智商与
学生的各科学习成绩均有一定程度的正相关
;
智商在一段时
间内保持相对稳定性
;
智商的遗传度在
0. 70
左右 。那么
,
这
些实证研究结果就为智力的构想效度提供了支持性证据 。
要决定
1
个测验的构想效度
,
一般需要
3
个基本步骤
:
首
先需要建立理论框架
,
以解释被试在测验上的表现
;
然后
,
依
据理论框架
,
推导出各种与测验成绩有关的假设
;
最后
,
以逻
辑方法和实证方法检验这些假设 。标准化的测验均是依据这
3
个步骤研制的 。
2. 6
确定构想效度的方法
2. 6. 1
因素分析 多数新编制的纸笔测验都要经过因素分
析来检验构想效度 。因素分析可分为探索性因素分析和证实
性因素分析 。通过探索性因素分析
,
可以从数据出发
,
找出影
响测验条目之间的共同因素 。通过证实性因素分析
,
可以从
理论出发
,
检验影响测验条目之间的共同因素 。现在
,
研究者
在制定新测验时
,
往往是两种因素分析并用
,
即先做探索性因
素分析
,
再做证实性因素分析 。一般来说
,
证实性因素分析的
理论导向更为清晰明确
,
且可将理论模型分为结构模型和测
量模型
,
是对构想效度的更为有力的检验 。非纸笔测验也可
用因素分析方法检验其构想效度 。例如
,
我们可以首先假设
人的体能是一个包含
3
个层次的结构
,
即体能可分为力量 、
速
度 、
耐力
3
类因素
,
每类因素可通过
2
～
3
项测验表达
,
见图
1
。
然后我们可以对
400
名被试进行
8
项体能测验
,
并通过因素
分析
,
检验我们的上述设想是否能够得到测验数据的支持 。
图
1
假设的
3
层次体能模型
2. 6. 2
与标准化测验的相关 测量相同构想或特质的测验
彼此之间应该有较高相关 。因此
,
一个新测验与已知的标准
化测验之间的相关
,
可以作为衡量新测验测量相同构想或特
质程度的标准 。那么
,
既然新测验与旧测验有高相关
,
为何要
用新测验呢
?
一般来讲
,
新测验必须在某些方面优于旧测验
,
且与旧测验有较高相关
,
才有生存理由 。新测验应当更简单
,
更经济
,
更省时
,
更精细
,
或更全面
,
才有启用新测验的逻辑依
据 。
2. 6. 3
多特质 —多方法矩阵
Campbell
和
Fiske (1959)
[ 6 ]
曾提
出
,
要确定一个测验的构想效度
,
则该测验不仅应与测量相同
构想或特质等理论上相同的变量呈高相关
,
也应与测量不同
构想或特质等理论上相同的变量呈低相关
,
前者涉及的效度
叫聚合效度
(convergent validity) ,
后者涉及的效度叫区分效度
(discriminant validity)
。例如
,
耐力测验与长跑成绩之间的相关
表示的是聚合效度
,
而耐力测验与速度测验之间的相关表示
的是区分效度 。一个新研制的测验
,
一般都需要报告这两种
效度 。
Campbell
和
Fiske (1959)
[ 6 ]
发明了一种叫多特质 —多方法
矩阵的方法
,
以具体检验聚合效度和区分效度 。请看表
2
。
有
3
种特质
,
分别是
:A =
支配性
,B =
社会化
,C =
成就动机
;
测量这
3
种人格特质有
3
种方法
,
分别是
:1 =
自陈量表
,2 =
投射测验
,3 =
同伴评定 。
A1
表示用自陈量表测量的支配性
分数
,B2
表示用投射测验测量的社会化分数
,C3
表示用同伴
评定测量的成就动机分数
,
其余分数均依此类推 。
表
2
假设的多特质多方法矩阵
方法
1
方法
2
方法
3
特质
A1
B1
C1
A2
B2
C2
A3
B3
C3
A1
(0. 89)
方法
1
B1
0. 51 (0. 89)
C1
0. 38 0. 37 (0. 76)
A2
0. 57 0. 22 0. 09 (0. 93)
方法
2
B2
0. 22 0. 57 0. 10 0. 68 (0. 94)
C2
0. 11 0. 11 0. 46 0. 59 0. 58 (0. 84)
A3
0. 56
0. 22
0. 11
0. 67
0. 42
0. 33 (0. 94)
方法
3
B3
0. 23 0. 58 0. 12 0. 43 0. 66 0. 34 0. 67 (0. 92)
C3
0. 11 0. 11 0. 45 0. 34 0. 32 0. 58 0. 58 0. 60 (0. 85)
引自彭凯平
,1989 ,165
页
[7 ]
。
表
2
中主对角线上括号内数字为各方法测量各特质的信
度系数
,
例如用同伴评定方法测量成就动机的信度系数为
0.
85 (
见
C3
与
C3
交界处
,
右下角括号内数字
)
。
表中
3
个较短对角线的黑体数字为效度系数
,
表示以不
同方法测量相同特质所求得的相关系数 。例如
,
用自陈量表
和同伴评定两种方法测量成就动机的相关系数为
0. 45 (
见
C1
与
C3
交界处的黑体数字
)
。
表中
3
个实线三角形中的数字是以相同方法测量不同特
质所求得的相关系数 。例如
,
用自陈量表测量支配性和社会
化这两种特质的相关系数为
0. 51 (
见
A1
与
B1
交界处数字
)
。
表中
6
个虚线三角形中的数字是以不同方法测量不同特
质所求得的相关系数 。例如
,
自陈量表测量支配性与用同伴
评定测量成就动机之间的相关系数为
0. 11 (
见
A1
与
C3
交界
处的数字
)
。
如果希望得到满意的构想效度
,
效度系数
(
黑体数字
)
应
该显著高于以不同方法测量不同特质的相关系数
(
虚线三角
形
) ,
也应该高于以相同方法来测量不同特质的相关系数
(
实
线三角形
)
。其中
,
效度系数为聚合效度
(
黑体数字
) ,
其他两
种相关系数为区分效度
(
虚线三角型和实线三角形
) ,
表示特
质间的相关不是由测量方法决定的 。例如
,
用自陈量表测得
的支配性分数与投射测验测得的支配性分数之间的相关
(
见
(
下转第
501
页
)
・
5
9
4
・
第
4
期
张力为
:
效度的正用与误用
© 1995-2006 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.