在《信效度解读：信度、效度的概念与类型》文章中，我们结合大量的例子详细介绍了信度和效度的概念及具体类型。那么读者一定非常想知道，既然信度和效度这么重要，要如何评估信度和效度呢？

本篇我们将引用胡婧炜、吴琼和孙妍在《中国报告2022》一书中的《主观题的设计、测量与评估》文章章节，介绍测量工具信度和效度评估的具体方法。

1、 测量工具：子女价值量表

三位作者以中国家庭追踪调查（China Family Panel Studies，CFPS）中的子女价值（value of children）量表为例，评估了这组量表的测量质量。子女价值这个概念形成于20世纪70年代，指子女的效用或他们对父母各种需求的满足。现有的理论和实证研究认为子女价值可以分为三个维度：经济价值（economic value）、心理价值（psychological value）和社会价值（social value）；也有学者从更抽象的角度将这三个维度命名为“舒适感”（comfort）、“情感”（affection）和“社会尊严”（social esteem）。这些理论和研究普遍认为人们对子女价值的态度可能会影响其生育意愿和生育行为。CFPS在2010、2012、2014年分别对回答少儿问卷的家长采集了子女价值量表的信息，包含E201~209九个问题：

E201.生养子女是为了在自己年老时能够有人帮助。

E202.生养子女是为了延续家族香火。

E203.生养子女是为了从经济上帮助您的家庭。

E204.生养子女是为了看着孩子长大的喜悦。

E205.生养子女是为了子女在身边的快乐。

E206.生养子女是为了感受有小宝宝的喜悦。

E207.生养子女是为了使家庭在自己的生活中更重要。

E208.生养子女是为了增强自己的责任心。

E209.生养子女是为了增加亲属联系。
 

2、 建构效度评估

根据理论和现有文献，上述九个问题分属子女价值的三个维度，其中E201~203 对应“舒适感”，E204~206对应“情感”，E207~209对应“社会尊严”。一般来说，量表数据评估的出发点是对其维度的分析。从现有文献出发，可以分析CFPS数据所反映出来的变量间结构跟理论上的三维度结构是否相符。以2010年的CFPS数据为例。在方法上，最常用的维度分析工具是因子分析（factor analysis）。如果我们对一个量表的维度结构缺乏了解，可使用探索性因子分析（exploratory factor analysis）。

但由于子女价值的理论和现有文献已经提供了量表维度结构的依据，在本例中作者推荐使用验证性因子分析（confirmatory factor analysis）。验证性因子分析的目标是告诉我们实证数据所表现出来的变量之间的相关性是否与理论预测相符，其出发点是对理论预测的模型进行描述和设定，路径图是描述理论模型的一种方法。作者根据理论的预测所构建出来的模型如下：

左边的三个椭圆形代表理论预测的三个维度，每个维度通过单向箭头指向它们对应的三个关联问题。右边的一排箭头表示除了子女价值相关的因素外，还有其他一些因素也会影响这些问题的应答。在验证性因子分析中，这些其他因素的作用统称为残差 (residual)。

在上图所示的模型中，这些残差项之间互相独立，它意味着在这个模型的设定中，这九道题之间的相关性都来自于它们与子女价值之间的关系，除此之外，它们没有其他关联。三个椭圆形代表的维度之间通过两两的双向箭头关联，这里的双向箭头表示模型假设这三个维度之间存在相关性。

验证性因子主要通过比较理论模型的方差/协方差矩阵与观测变量的方差/协方差来判断实证数据的结构与理论模型之间的吻合度。如果二者之间差异不显著，可以认为理论模型与实证数据拟合度较好。在分析中，一系列的拟合度指数（goodness of fit indices)可以帮助我们做出判断。除了模型的卡方统计值之外，还有RMSEA（root mean square error of approximation）、SRMR（standardized root mean square residual）、CFI（comparative fit index）、TLI（Tucker-Lewis index）等指数，这些指数分别反映了我们指定的模型与基线模型（所有变量互不相关）以及饱和模型（所有变量两两相关）相比的结果。虽然没有绝对的标准，但一个被人们广泛接受的标准是RMSEA≤0.06，SRMR≤0.08，CFI≥0.95，TLI>0.90。（读者若想更深入了解这些指数的意义和用法，可以阅读其他更偏技术性的文献。）

基于CFPS2010子女价值量表采集的1946条数据，作者分析得到三因子模型的拟合度系数为：chi-square=119.24，p<0.001；RMSEA=0.045，CFI=0.981，SRMR=0.026。由于卡方检验的结果受样本量影响较大，我们通常不依据它来判断模型的拟合度。对比上文给出的判断标准，除了卡方之外的其他拟合度系数都一致表明基于CFPS样本的数据与现有的三因子理论模型呈现出较高的拟合度。

由于“情感”和“社会尊严”这两个因子相关度较高，作者还评估了另一个模型的拟合度，在这个模型中，作者将子女价值量表中的9道题尝试设置成两个维度，将“情感”和“社会尊严”这两个维度合二为一，该双因子模型的评估结果显示它们与数据的拟合度不如三因子模型，其中RMSEA超过了0.08，而CFI跌落到0.95以下。

以上验证性因子分析的结果表明三因子模型与实证数据具有较好的拟合度，接下来的分析也会建立在这个因子结构的基础上。

3、 重测信度与内在一致性信度评估

作者接下来检测了这套量表的信度。CFPS提供了计算子女价值量表数据重测信度的机会。CFPS的少儿样本包含了同一个家庭中的多名子女，因此有多名子女的家长受访者可能在多份少儿问卷中都提供了有关子女价值的应答。如果假设家长在针对不同子女的问卷中所持有的子女价值观念是不变的，那么他们针对不同子女问卷的应答可以当作是计算重测信度的数据源。

CFPS2010有150位家长同时回答了两份少儿问卷中的子女价值量表问题，作者通过这150位家长提供的数据计算子女价值三个维度的重测信度。“舒适感”、“情感”、“社会尊严”三个维度在不同子女问卷中的相关度分别是0.69（p<0.001）、0.61（p<0.001）和0.49（p<0.001），可见“舒适感” 这个维度的稳定性最高，而“社会尊严”这个维度的稳定性较低。

作者接下来利用Cronbach’s alpha来评估各维度的内在一致性，这三个维度的alpha系数分别是0.68、0.77和0.73。虽然不少学者认为alpha值一般应该达到或超过0.80，但这个标准存在广泛争议。首先，由于测试的目的不同，我们对alpha值的要求也不同。对于那些会对个人产生较大影响的测试（譬如升学考试、入职测试），测试结果需要尽量稳定，人们对这些测试分数的alpha 值要求较高；而对于那些只用于科研需求，对个体不会产生任何影响的测试分数，它们的alpha值可以适当降低。其次，alpha值与测试题目的多少有很大关系，一般来说试题数目越多，alpha值越大。子女价值量表对每个维度只用了三道题进行测量，alpha值自然会相对较低。
 

4、 效标效度评估

子女价值量表的建构效度在上述验证性因子分析中已经进行了评估，接下来作者继续检验了这套量表的效标效度。他们将子女价值各维度分数与生育行为进行相关性分析，提供效标效度的相关证据。跨国比较研究表明，处在生育率较高国家的受访者一般“舒适感”分数较高。作者将子女价值的三个维度得分与受访者在2011—2018年的新出生婴儿数量进行相关性分析。分析结果表明，三个得分都与新出生婴儿数量正相关，其中“舒适感”得分的相关系数较高（r=0.09，p<0.001）, “社会尊严”次之（r=0.06，p=0.006），“情感”的相关系数最低，且统计上不显著（r=0.01，p=0.51）。通过以上的评估作者认为，CFPS使用的子女价值量表在结构上符合三因子的理论结构，在各个维度上的内在一致性系数在0.68（“舒适感”维度）到0.77（“情感”维度）之间，家长在不同子女问卷上所表现的重测信度系数在0.49（“社会尊严”维度）到0.69（“舒适感”维度）之间。“舒适感”和“社会尊严”与未来8年的生育行为具有显著的相关性。
 

【参考文献】胡婧炜、吴琼、孙妍，2022. 《主观题的设计、测量与评估》，《中国报告》

©图片来源于网络

  「调研家SurveyPlus」是一款面向专业市场研究、学术研究、社会调查人士和机构的在线问卷调研平台，可实现复杂的逻辑跳转、随机实验、质量控制、追踪访问等硬核问卷设计功能，支持多渠道发送及实时数据分析。 

同时，「调研家SurveyPlus」提供样本服务，通过精准定位目标人群，快速完成数据回收，并严格把控数据质量，助力您高效完成调研项目。