多系统评价评估问卷量表在口腔医学领域中文系统评价应用中的信度和效度评价

报告的方法学和成果方面的好坏。因而系统评价在方法学方面报告不准确或是漏报均会造成不良后果。系统评价和Meta分析结果撰写应符合系统评价和Meta分析方法学标准化的原则[4]。

关于系统评价方法学质量的评价方法较多，但往往操作繁琐和复杂。总体质量评估问卷（overview quality assessment questionnaire，OQAQ）作为一种系统评价方法学质量的评价方法，在循证医学实践中得到成熟运用[4]。然而OQAQ量表的使用者常会在使用时自行制定评判规则，不能准确的反映出系统评价中存在的偏倚[5-7]。近年来基于先前成熟的评价方法和专家的意见发展产生了一种新的方法学质量评价方法——多系统评价评估问卷（assessment of mul-

tiple systematic reviews，AMSTAR），其对系统评价方法学质量的评价的有效性令人满意，具有很好的发展前景[8]，AMSTAR量表在国外和国内部分学科领域应用时均获得了较好的评价。然而，在中文口腔医学领域尚无使用AMSTAR量表评价系统评价方法学质量的先例。本文通过对AMSTAR量表信度和效度的评价，以探索该量表是否能在中文口腔医学领域推广使用，是否能够为医务工作者进行系统评价方法学质量评价时带来便利和提供准确的指导。

1 材料和方法

1.1 纳入和排除标准

2011年3月1日前发表于国内各类医学杂志上的中文口腔医学系统评价均可纳入，排除重复发表的文献以及普通综述文献。

1.2 文献检索、纳入及数据提取

计算机检索中国生物医学文献数据库、维普中文科技期刊数据库和中国期刊全文数据库，检索时间截止于2011年3月1日，检索词包括“Meta分析”、

“系统评价”、“循证医学”、“口腔”等。手工检索四川大学医学图书馆、四川大学华西口腔医学院图书馆的19种中文口腔医学杂志。2位研究者分别独立阅读检索出的论文，确定该文献是否纳入，并提取数据（包括发表年份、学科类型、研究范围、作者数

量、是否发表在循证医学类杂志、文献页数等）。

1.3 评价标准

采用OQAQ量表作为参照标准，对AMSTAR量表评价系统评价的方法学质量进行信度和效度的评价。使用AMSTAR量表对纳入文献的方法学质量进行评价。每一条目根据文章是否报告判定，“是”则计1分，其余选项计0分，满分11分[4]，每篇文献计算总分。方法学质量由2位经循证医学课程培训合格的评价者独立评价，交叉核对，用Kappa检验计算评价者间的一致性，有争议处讨论达成一致。

1.4 统计学分析

利用微软Excel 2007录入数据，使用SPSS 13.0和MedCalc 11.5.0进行统计分析。

1.4.1 观察者之间一致性和信度的评价 计算AM-STAR和OQAQ量表每个条目观察者之间的一致性，用Cohen’ Kappa值和Phi值表示，并绘制观察者之间一致性的散点图。Kappa≤0.40则一致性较差，Kappa≥0.75则一致性较好，Kappa介于之间时，认为是中等程度的一致性。利用AMSTAR量表前后2次测定的总分的级内相关系数（interclass correlation coefficient，

ICC）衡量重测信度，ICC>0.66则相关性较好。内部

一致性信度用Cronbach’ α表示。

1.4.2 多因素分析及效度的评价 运用多元线性回归（进入法）分析影响Meta分析的方法学质量的因素。分别将AMSTAR和OQAQ量表的得分转换成最大得分百分比，计算ICC（双因素混合效应模型），检验

AMASTAR量表的结构效度。统计分析均为双侧检验，检验水准为α=0.05。

2 结果

2.1 检索结果

通过电子及手工检索得到文献288篇。阅读题目和文摘后，排除原始研究、一般综述、非口腔医学类系统评价以及英文系统评价等共231篇。余57篇均获得全文，详细阅读后，排除非系统评价2篇、外文文献翻译稿2篇、重复报告1篇。最终纳入52篇文献。

2.2 纳入系统评价文献的一般特征

在纳入的52篇系统评价的文献中，以是否发表于专业口腔医学期刊方面来看，有22（42%）篇发表于专业口腔医学期刊；以是否发表于循证医学杂志方面来看，有10（19%）篇发表于循证医学杂志。8篇

文章发表于2004年以前，44篇文章发表于2004年以后。发表于核心期刊38篇，非核心期刊14篇。52篇文献涉及口腔内科学、口腔颌面外科学、口腔修复学和口腔正畸学等领域。52篇系统评价中Meta分析37篇，均纳入多因素分析。

2.3 统计描述

AMSTAR量表条目1～11的总分和报告百分比分别为：41（79%）、16（31%）、20（38%）、22（42%）、19（37%）、21（40%）、33（63%）、23（44%）、32（62%）、9（17%）、7（13%）。

OQAQ量表条目1～10的结果为：52（100%）（是否报告资料收集方法）、18（35%）（检索策略是否全面）、

44（85%）（是否报告纳入和排除标准）、30（58%）（如何避免资料选择偏倚）、19（37%）（报告是否对纳入

研究进行真实性的评价）、16（31%）（对纳入研究的

质量是否全面恰当）、30（58%）（是否报告数据合并方法）、32（62%）（数据合并是否合适）、23（44%）（评价者结论是否基于研究的数据和具体情况），23（44%）

（你认为此系统评价质量如何）。

52篇文献的AMSTAR得分（总分11分）为4.67±

4.95，其中≥8分的8篇，4～7分23篇，0～3分21篇。OQAQ得分（总分10分）为5.77±5.41。

2.4 观察者之间的一致性和信度的评价

AMSTAR量表评价时，条目2、6、7、8为中等程度的一致性，其余7个条目均为较好的一致性，机遇独立的一致性Phi值与Kappa值结果相似（表1）。OQAQ量表评价时，条目1～10的Kappa值分别为1.00、0.83、0.79、0.73、0.61、0.61、0.76、0.48、0.24、0.85，评价Kappa值为0.74[95%CI（0.66，0.83）]，一致性中等。对于AMSTAR量表的总分，2个评价者间分数平均差异为-0.3±1.7，显示观察者一致性较好。重测信度的ICC为0.98[95%CI（0.97，0.99），P=0.000]。内部一致性信度Cronbach’ α为0.69[95%CI（0.56，0.80），P=0.000]。显示观察者之间一致性较高，量表信度较好。

2.5 AMSTAR量表效度的评价

AMSTAR和OQAQ量表最大得分百分比的ICC为0.94[95%CI（0.90，0.97），P=0.000]，显示AMSTAR量表有较好的效度。

2.6 影响Meta分析的报告质量的多因素分析

以Meta分析的AMSTAR得分为因变量，Meta分析的报告质量、Meta分析的作者数量、Meta分析的页数、是否发表于口腔期刊、Meta分析类型、是否发表于循证医学杂志、Meta分析发表年限以及是否发表在核心期刊为自变量（自变量入选水准0.05，剔除水准为0.10）进行多元线性回归分析。有1个变量

进入了多元线性回归方程，Meta分析的报告质量与Meta分析的方法学质量呈正相关（P=0.000）。而Meta分析的方法学质量与Meta分析的作者数量（P=0.462）、Meta分析的页数（P=0.327）、是否发表于口腔期刊（P=0.280）、Meta分析类型（P=0.625）、是否发表于循证医学杂志（P=0.124）、Meta分析发表年限（P=0.978）以及是否发表在核心期刊（P=0.971）无明显的相关性。

3 讨论

医学领域的系统评价自20世纪70年代出现以来至今已有数千篇，遍及医学的各个领域。Meta分析不仅是统计学分析方法，也是收集同种疾病同种治疗方法的相关文献，以求综合疗效估计值的二次文献研究手段。方法学质量的评价对于系统评价的有效解释和应用是极其必要的。然而对于系统评价质量的评价是一艰难的任务。临床医生、政策决策者等需要一个关于评价系统评价质量的指导[9]。系统评价的质量从某种程度讲依赖于能够使误差和偏倚风险最小化的科学的评价方法[10]。方法学质量从某种

程度可定义为系统评价在设计上不产生偏倚结果[11]，方法学质量即是研究的方法学特征，反映出系统评价能产生真实性结果的程度[12]。

方法学质量对循证实践和临床实践方面都具有极为重要的影响。目前较为成熟且有效的系统评价方法学评价量表为OQAQ量表，但是其评价条目较为复杂，评价者间一致性较低，并且其不能准确的反映出系统评价潜在的偏倚[8]。近年来，基于先前成

熟的评价方法和专家意见的基础上发展产生了一种新的方法学质量评价方法AMSTAR量表。本文所采用的AMSTAR量表作为一种新的评价系统评价方法学质量的工具，在观察者一致性方面、可靠性方面和效度等方面都表现出了令人满意的结果[4]，在国外其他

领域的实践应用中都取得了很好的结果[4，9]。AMSTAR

量表在评价系统评价方法学质量方面有效，可信且操作简单[9]。和OQAQ量表相比，AMSTAR量表的优势在于其涉及到了系统评价中是否评价了发表偏倚的可能性，考虑到了系统评价中是否综合采用了图形辅助或是统计学方法评价发表偏倚，而发表偏倚是系统评价方法学质量优劣方面极其重要的指标，然而OQAQ量表中未涉及此方面。其次，AMSTAR量表中考虑到了系统评价中是否声明了利益冲突，即是否清楚说明了系统评价和纳入研究中的潜在资助者，但是OQAQ量表并未涉及此方面内容。OQAQ量表中所涉及的内容均在AMSTAR量表中涉及。AMSTAR量表在评分方面也较简便，国内外文献均采用“是”1分，其余选项“0分”评分，为实验者在评估和比较系统评价质量时带来了极大的方便。所以，AMSTAR量表继承了OQAQ量表成熟的评分规范，也具有创新、易于掌握的优势。

AMSTAR量表评价体系简单，评价者间一致性高，且范围更加全面科学，在国外很多领域以及国内部分领域使用中均取得了良好的评价[4，9，13]。本文证明了其信度和效度均处于较高水平，即AMSTAR量表在用于中文口腔医学领域有着很高的价值，从而拓展了AMSTAR量表在中文系统评价中的应用；拓展了AMSTAR量表在病因学、预后研究、防治性研究的方法学质量的评价，提高了其外部推广性。并且本文结合了李春洁等[14]关于中文口腔医学领域系统评

价报告学质量的数据，并与本文数据进行分析，显示国内中文口腔医学系统评价报告学质量、方法学质量均处于较低水准，方法学质量和报告学质量具有相关性（P=0.000 0），即方法学质量较低的Meta分析报告学质量也相应较低，而方法学质量较高的Meta分析报告学质量也相应较高。Meta分析的方法学质量与报告学质量具有一定联系。

综上所述，AMSTAR量表是一种很有效的系统评价方法学质量评价量表，可很好的用于国内口腔医学领域当中，由于该量表操作简便，评价准确，可为医务工作者在使用系统评价时带了极大的便利。

[参考文献]

[1] 王家良， 王滨有. 临床流行病学[M]. 3版. 北京： 人民卫生出版

社， 2008：66-100.

Wang Jialiang， Wang Binyou. Clinical epidemiology[M]. 3rd ed.

Beijing： People’s Medical Publishing House， 2008：66-100.

[2] Higgins JPT， Green S. Cochrane handbook for systematic reviews

of interventions version 5.0.1[M]. Chichester： John Wiley & Sons

Ltd， 2008：27-50.

[3] 史宗道. 循证口腔医学[M]. 2版. 北京： 人民卫生出版社， 2008：

75-88.

Shi Zongdao. Evidence-based medicine on stomatology[M]. 2nd ed.

Beijing： People’s Medical Publishing House， 2008：75-88.

[4] Shea BJ， Bouter LM， Peterson J， et al. External validation of a

measurement tool to assess systematic reviews（AMSTAR）[J]. PLoS

One， 2007， 2（12）：e1350.

[5] Barnes DE， Bero LA. Why review articles on the health effects of

passive smoking reach different conclusions[J]. JAMA， 1998， 279

（19）：1566-1570.

[6] Cho MK， Bero LA. The quality of drug studies published in sym-

posium proceedings[J]. Ann Intern Med， 1996， 124（5）：485-489.

[7] Lexchin J， Bero LA， Djulbegovic B， et al. Pharmaceutical industry

sponsorship and research outcome and quality： Systematic review

[J]. BMJ， 2003， 326（7400）：1167-1170.

[8] Shea BJ， Grimshaw JM， Wells GA， et al. Development of AMS-

TAR： A measurement tool to assess the methodological quality of

systematic reviews[J]. BMC Med Res Methodol， 2007， 7：10.

[9] Shea BJ， Hamel C， Wells GA， et al. AMSTAR is a reliable and

valid measurement tool to assess the methodological quality of sys-

tematic reviews[J]. J Clin Epidemiol， 2009， 62（10）：1013-1020.

[10] Mullen PD， Ramírez G. The promise and pitfalls of systematic re-

views[J]. Annu Rev Public Health， 2006， 27：81-102.

[11] Moher D， Jadad AR， Nichol G， et al. Assessing the quality of ran-

domized controlled trials： an annotated bibliography of scales and

checklists[J]. Control Clin Trials， 1995， 16（1）：62-73.

[12] 李幼平. 循证医学[M]. 2版. 北京： 高等教育出版社， 2009：102-

133.

Li Youping. Evidence-based medicine[M]. 2nd ed. Beijing： Higher

Education Press， 2009：102-133.

[13] 袁金秋， 杨声坪， 李婧媛， 等. 骨科专业中文系统评价/Meta分析

质量评价[J]. 甘肃科技， 2010， 26（3）：143-144， 188.

Yuan Jinqiu， Yang Shengping， Li Jingyuan， et al. Quality assess-

ment of Chinese systematic reviews/Meta-analysis on orthopedics

[J]. Gansu Science Technology， 2010， 26（3）：143-144， 188.

[14] 李春洁， 吕俊， 苏乃川， 等. 用系统评价和Meta分析规范评价口腔

医学领域中文Meta分析的报告质量[J]. 中华口腔医学杂志， 2011，

46（5）：257-262.

Li Chunjie， Lü Jun， Su Naichuan， et al. Preferred reporting items

for systematic reviews and Meta-analysis for reporting quality of

Chinese Meta-analysis on stomatology[J]. Chin J Stomatol， 2011，

46（5）：257-262.

（本文编辑 杜冰）