Meta分析学习笔记
Meta 分析学习笔记,记录效应量、模型、异质性和常见方法问题。
从研究问题到效应量
Meta 分析之前:先定义问题
来源:Doing Meta-Analysis in R, Chapter 1 & 3 Chapter 1 Introduction | Doing Meta-Analysis in R (bookdown.org)
Meta 分析容易踩的坑
Apples and Oranges:研究差异是否真的不能合并
有些人认为meta分析把苹果和橘子放在了一起。即便是采用了最严格的纳入标准,meta分析中的研究也不可能是完全一致的。在纳入的样本中总是有小的或大的偏差:如给予干预的方法,研究设计,研究中测量的类型。
总之,“苹果和橘子”问题是否存在,在很大程度上取决于meta分析想要回答的问题。如果将研究之间的差异正确地纳入meta分析的目的和问题说明中,那么这种差异通常不会成为问题,甚至会很有见地。
Garbage In, Garbage Out:纳入研究本身的质量问题
通过评估纳入研究的质量或偏倚风险,可以在一定程度上减轻偏倚风险。
然而,如果许多或大部分的结果是质量欠佳且可能偏倚的,即便是最严格的meta分析也不能平衡掉这个偏差。在这种情况下,通常能得出的唯一结论是,所审查的主题没有可信的证据,今后必须开展更多高质量的研究。不过,即使是这样一个令人失望的结果,也能提供一些信息,并有助于指导今后的研究。
File Drawer:未发表研究与发表偏倚
这个问题指的是不是所有的相关研究结果都是发表的,因此在我们的meta分析中缺失了。即指的是发表偏倚。
Researcher Agenda:研究者自由度
The freedom of meta-analysts in their modus operandi becomes particularly problematic when researchers are consciously or subconsciously driven by their own agenda. 当研究人员有意识或下意识地受自身议程的驱使时,他自由的操作方式就会变得特别成问题。
减少研究者议程问题的方法之一是预先登记,并在开始收集数据进行meta分析之前发布详细的分析计划。
研究问题、检索与编码
根据我们的经验,统计分析最多只占荟萃分析时间的 15%,与之前的一切相比要少得多。但是,明确研究问题、系统地搜索研究并对提取的数据进行可靠的编码是至关重要的。
FINER 与 PICO
- It states that a research question should be Feasible, Interesting, Novel, Ethical, and Relevant.
- Having derived a first formulation of the research question is only the first step. We now have to translate it into concrete eligibility criteria.
- A good way to start specifying the eligibility criteria is to use the PICO framework.
效应量:把不同研究放到同一把尺子上
来源:Doing Meta-Analysis in R, Chapter 1 & 3
- To perform a meta-analysis, we have to find an effect size which can be summarized across all studies.
- In particular, the selected effect size measure for a meta-analysis should be: Comparable, Computable, Reliable, Interpretable.
效应量与标准误
按照我们在本书中使用的术语,效应大小被定义为量化两个实体之间关系的指标。它反映了这种关系的方向和大小。如果关系用相同的效应大小来表示,就可以对它们进行比较。
我们将了解到,有一些中心倾向的测量方法,如样本平均数,也可以用于元分析。但是,仅凭样本平均数并不能量化两种现象之间的关系,也就不存在 "效应"。尽管如此,在本书中,我们还是会经常使用 "效应大小 "这个词,它既代表实际效应的估计值,也代表 "单变量 "和中心倾向的测量值。我们这样做并不是因为这样做准确,而是因为这样做更方便。
也有人完全不赞成使用 "效应大小 "一词。他们强调,"效应大小 "中的 "效应 "一词意味着存在因果关系。然而,我们都知道,相关性并不是因果关系,干预组和对照组之间的差异并不能自动归因于治疗本身。最后,您可以自行决定您更喜欢哪个定义,但要注意的是,人们在谈论效应大小时可能会有不同的概念。
在数学符号中,通常使用希腊字母
中心极限定理:大样本均值分布是正态分布。
标准误SE的理解:对于所计算的效应量,进行无穷多次取样,每个样本的该效应量组成一个分布(疑问,这个分布还是正态分布吗?),这个分布的标准差就是该效应量的标准误。
计算标准误的公式:
A collection of the formulas can be also found in the Appendix. Some of these formulas are somewhat complicated, but the good news is that we hardly ever have to calculate the standard error manually. There are various functions in R which do the heavy lifting for us.
在下面的章节中,我们不仅要从理论上讨论不同的效应大小指标。我们还将向您展示您需要在数据集中准备哪些信息,以便我们稍后使用的 R 元分析函数可以轻松地为我们计算效应大小。
我们根据效应大小通常出现的研究设计类型对其进行了分组:单组设计(如自然研究、调查或非对照试验)和对照组设计(如实验研究或对照临床试验)。请注意,这只是一个粗略的分类,并非严格的规则。只要结果数据类型合适,我们提供的许多效应大小在技术上适用于任何类型的研究设计。
单组设计中的效应量
均值 Means
The arithmetic mean is probably the most commonly used central tendency measure. Although means are rather infrequently used as outcome measures, they can easily be pooled in a meta-analysis.
1 | # Calculate the mean |
比例 Proportions
A proportion is another type of central tendency measure. It specifies how many units of a sample fall into a certain subgroup.
1 | # Calculate the proportion |
当 p 接近 0 或接近 1 时,标准误差会被人为压缩,从而导致我们高估比例估计的精确度。这与抽样分布有关。当 p 值很低或很高时,抽样分布就不会近似正态分布。由于随机样本的计算比例 p 不可能超出 0-1 的范围,因此分布将是右斜或左斜的。
为避免出现这种情况,通常先对比例进行对数转换,然后再进行合并。
columnns即可。
相关 Correlations
Pearson product-moment correlation
皮尔逊积幂相关性 例如,当meta分析想要研究关系quality与well-being之间的关系时,可以使用Product-moment相关性作为效应大小。
变量
因此,在荟萃分析中,相关系数通常被转换为Fisher's cor和log函数直接计算
1 | # Calculate the correlation between x and y |
R中的meta分析函数会自动地为我们Fisher's columnns即可。
Point-biserial correlation
3.2.3.2 点-比塞尔相关性
Pearson product-moment correlation 描述的是两个连续变量之间的相关性,有时我们只有
Point-biserial correlation可以在R中使用cor函数计算,如果提供的变量之一只有两个值,而另一个是连续的,则会自动计算出(近似的)Point-biserial correlation。
点-倍半相关性与标准化均值差standardized mean difference非常相似,这两种效应大小指标都量化了两组间连续变量值的差异程度。不过,在meta分析中将其合并起来的情况并不多见。与乘积-幂相关性一样,点-阶差相关性在荟萃分析中也有一些不理想的统计特性,如当组间比例不相等时,其范围会受到限制。
因此,当我们对连续结果变量的组间差异感兴趣时,建议将点-比塞尔相关性转换为标准化均值差异,以便进行荟萃分析(Lipsey 和 Wilson,2001 年,第 3 章)。本书 "有用工具 "部分第 17.3 章提供了将点-比塞尔相关转换为标准化均值差异的公式。
对照组设计中的效应量
均值差与标准化均值差
组间均值差 MD
The between-group mean difference
In meta-analyses, mean differences can only be used when all the studies measured the outcome of interest on exactly the same scale.
在meta分析中,只有当所有研究都以完全相同的尺度测量相关结果时,才能使用平均差。
1 | # Calculate the mean difference |
事实上不需要这样麻烦地手动计算,你只需要准备好两组
组间标准化均值差 SMD
The standardized between-group mean difference escpackage的esc_mean_sd函数仅用一步计算
1 | # Load esc package |
计算得到的值可能是-1。当一些研究使用的测量值越高,结果越好,而另一些研究使用的测量值越低,结果越好时,效应大小的符号就变得尤为重要。在这种情况下,所有效应大小的编码方向必须一致(例如,我们必须确保在meta分析的所有研究中,效应大小越高意味着干预组的结果越好)。
通常,会对标准化均值差异进行小样本校正,从而得出称为 "赫奇斯 g "的效应大小。我们将在第3.4.1章介绍。
在计算
组内均值差与标准化均值差
当研究一个组内的差异时,可以计算组内非标准化或标准化平均差。在两个不同的时间点(如干预前和干预后)对同一组人进行测量时,通常会出现这种情况。
与组间均值差异不同,组内
一个直觉的计算方法是和之前一样:
但是,如果我们没有精确地计算出相关性,就会导致我们的结果出现误差。一般来说,meta分析最好避免计算组内效应大小(Pim Cuijpers 等,2017 年)。特别是当我们同时有实验组和对照组的数据时,最好计算
在R中计算的方法:
1 | # Caclulate the raw mean difference |
组内(标准化)均值差异的 Meta 分析只能在 R 中使用预先计算的效应大小进行(见第 3.5.1 章)。我们的数据集中需要以下几列:
TE: The calculated within-group effect size.seTE: The standard error of the within-group effect size.
The Limits of Standardization Standardization, however, is not a “Get Out of Jail Free card”. The size of a particular study’s SMDSMD depends heavily on the variability of its sample. 然而,标准化并不是 "免罪金牌"。特定研究的 SMD 大小在很大程度上取决于其样本的可变性。 设想我们进行了两项相同的研究,使用相同的工具来测量我们感兴趣的结果,但这两项研究是在两个人群中进行的,而这两个人群的方差却大不相同。在这种情况下 SMD值会相差很大,即使两项研究的 "原始 "平均差完全相同。 在这种情况下,很难说一项研究中的 "因果 "效应比另一项研究中的 "因果 "效应大得多或小得多。正如雅各布-科恩(Jacob Cohen,1994 年)在一篇著名论文中所说的那样 "对我来说,A 对 B 的影响很难取决于我是在一个变化很大的群体中[......],还是在另一个完全没有变化的群体中"(第 1001 页)。顺便说一句,这个问题也适用于meta分析中所有常用的 "标准化 "效应大小指标,例如相关性。 此外,我们还看到,标准化的单位往往没有人们想象的那么明确。在组间和组内都有各种不同的选择。SMD的方法往往很难区分。在荟萃分析中,我们在计算标准化效应大小时,必须尽可能保持各研究之间的一致性。即便如此,我们仍应牢记,即使采用了标准化方法,效应大小的可比性也会受到限制。 当然,最好的解决办法是在所有研究中用相同的量表测量结果,这样就可以使用原始平均差。然而,在许多研究领域,我们离这种方法论上的和谐还很遥远。因此,不幸的是,标准化效应大小往往是我们退而求其次的选择。
二分类结局:RR 与 OR
Risk ratio
| Event | No Event | ||
|---|---|---|---|
| Treatment | |||
| Control | |||
| If an |
A peculiarity of the RR is that same-sized effects are not equidistant.
RR 的一个特点是,相同大小的效应并不是等距的。因此RR=0.5是和RR=2相对的,而非1.5。这就意味着RR的分布不是正态分布,这在meta分析中可能产生问题。所以在合并之前也做对数变换来保证渐近正态性(这个词的具体内涵不是很懂)。
1 | # Calculate the risks |
但是,当
This issue is often dealt with using a continuity correction. The most common continuity correction method is to add an increment of 0.5 in all cells that are zero. 通常使用连续性修正来解决这个问题。最常见的连续性修正方法是在所有为零的单元格中增加 0.5 的增量 When the sample sizes of the control group and treatment group are very uneven, we can also use the treatment arm continuity correction. 当对照组和治疗组的样本量很不均衡时,我们也可以使用治疗组连续性校正。
However, there is evidence that such corrections can lead to biased results (Efthimiou 2018). The (fixed-effect) Mantel-Haenszel method, a meta-analytic pooling technique we will discover in Chapter 4.2.3.1.1, can handle zero cells without correction, unless they exist in every study in our meta-analysis. It may therefore be advisable to avoid continuity corrections unless the latter scenario applies. 然而,有证据表明,这种校正可能会导致有偏差的结果。(固定效应)Mantel-Haenszel 方法是一种meta分析合并pool技术,它可以处理零单元而无需校正,除非我们meta分析中的每项研究都存在零单元。因此,除非出现后一种情况,否则最好避免进行连续性校正。
零单元问题的一种特殊形式是双零研究。在这些研究中 a和 c均为零的研究。直觉上,人们可能会认为这类研究的结果仅仅意味着干预组和对照组的风险相似,RR = 1。
遗憾的是,这并不简单。很有可能两组之间存在真正的效应,只是样本量太小,无法检测到这种差异。当事件
试想,一位疯狂的科学家进行了一项随机对照试验,评估福格列酮(一种据称可以降低被雷电击中风险的药物)的效果。他将 100 人平均分配到药物组或对照组,并对他们进行了为期三年的观察。试验结果令人失望,因为无论是治疗组还是对照组,都没有人被雷击中。然而,我们知道,一般来说,被雷击中的可能性很小。即使我们接受治疗有效这一有点离奇的想法,仅观察 100 人也根本不足以检测出这种罕见事件的差异。因此,在汇总效果时,双零研究往往会被完全舍弃。
这就引出了与风险比有关的最后一个注意事项:风险比并不能让我们了解某个事件一般有多常见。例如,如果一项荟萃分析报告的风险比为 0.5,我们就知道一项干预措施将风险降低了一半。但我们不知道它是否将风险从 40% 降至 20%,或从 0.004% 降至 0.002%。风险比率是否具有实际意义取决于具体情况。如果 0.5 的风险比代表风险降低了 0.002%,这对人口的影响可能不大,但如果所关注的事件是一种严重的、使人衰弱的疾病等,它可能仍然很重要。
当我们用 R 进行meta分析时,通常不需要手工计算研究的对数风险比。在导入数据时,我们也不必担心零单元格的问题。我们的数据集中应包括:event.e, n.e, event.c, n.c
Odds ratio
The odds ratio (OR) is then defined as the odds in the treatment group, divided by the odds in the control group:
esc_2x2 function in the {esc} package provides an easy way to calculate the (log) odds ratio in R.
1 | library(esc) |
OR也会存在与RR类似的
因此,在meta分析中通常最好只使用风险比RR,或者在报告结果时将几率比OR换算成风险比RR:
Incidence rate ratio
我们之前研究的分类结果数据的效应大小,OR和RR是比较两组事件数量的方法。但是,它们并不直接编码这些事件发生的时间。在计算OR或RR时,我们默认两组的观察期具有可比性。此外,OR或RR并不能向我们提供事件发生所需时间的任何信息。
在某些情况下,这很好,因为时间框架与我们的研究问题没有太大关系。也有可能我们的分类数据是横截面的,根本没有时间维度。在这些情况下,OR或RR通常是一个适当的效应大小度量。
但现在,想象一下,在一项研究中,我们对两组人 10 年内的死亡率进行研究。在这 10 年中,两组的死亡事件(如死亡)数量可能大致相同。然而,当我们仔细观察死亡发生的时间时,就会发现一组中更多的事件发生在最初几年,而另一组中更多的事件发生在 10 年观察期结束时。根据我们的数据计算出的几率或风险比约为 1,表明没有组间差异。但这忽略了重要的一点:一组参与者的存活时间更长,即使他们最终死亡。
为了将时间纳入效应大小估计,我们可以计算发病率比(Incidence rate ratios),有时也简单地称之为比率比(rate ratios)。发病率比由两个发病率组成。要计算这些发病率,我们首先要了解人时(person-time)的概念。
人时(person-time)表示一项研究的参与者面临发生事件风险的总时间。要计算person-time,我们要将所有研究对象的风险时间(以天、周或年表示)相加。不过,风险时间因人而异。
举例来说,假设我们正在进行一项有 6 名参与者参加的研究。研究持续整整 10 年。每年之后,我们都会对参与者进行访谈,检查他们是否经历了感兴趣的事件。每当我们观察到事件发生时,对受影响参与者的研究就会结束,直到研究结束我们才会对其进行检查。我们的研究结果如图 3.4 所示。
Figure 3.4: Example of time-to-event data.
我们看到,只有两位参与者,Victoria and Lea,一直留在研究中,直到研究结束。这是因为她们在整个 10 年的观察期内都没有经历过这一事件。因此,两人在 10 年中都处于风险之中。
所有其他参与者都在研究期间经历了这一事件。例如,当丽贝卡在第 2 年接受检查时,我们发现她在最后一年经历了该事件。但是,我们只知道事件发生在第 2 年,而不知道具体时间。
像这样的研究数据被称为区间删减数据(interval censored data),在进行所谓生存分析的临床试验中非常常见。数据被剔除意味着我们只能部分地知道Rebecca在经历了多长时间的风险后才最终发生了事件。我们知道她在第 1 年后和第 2 年年底前发生了事件,但不知道更多。在缺乏其他信息的情况下,我们可以假设事件发生在中间的某个时间段,并将风险时间定为 1.5 年。
如果我们对所有删减数据采用相同的方案,就可以计算出我们研究中的风险年数: 10 + 1.5 + 5.5 + 4.5 + 8.5 + 10 = 40 因此,我们的研究中的总风险人年估计为 40。由于一年有 52 周,我们还可以计算出研究的人周数: 40 × 52 = 2080 。
现在我们知道了实验中的人年数(我们将其记为 T),我们也可以计算出一年内的发病率。我们知道有四名参与者在研究期间经历了该事件,因此事件数为 E = 4。然后,我们就可以用下面的公式计算出发病率 IR:
1 | # Define Data |
在本例中,我们模拟了一种情况,即 E 治疗组和 E 控制组的事件数完全相等,但治疗组的风险时间更长。我们在计算内部收益率时考虑了这种时间差。因此,我们得到的结果不是 1,而是 IRR ≈ 0.79,表明治疗组的发病率较小。
发病率比IRR通常用于流行病学和预防研究。当对参与者进行较长时间的跟踪调查,并在中间进行定期评估时,就可以使用这种方法。但实际上,在计算作为meta分析一部分的发病率比时,我们应该考虑一个注意事项:所收录文章中报告的发病率数据必须足够精细。有时,文章只报告了整个研究期间的事件总数,而没有报告中间每个评估点记录的事件数。也有可能一开始就没有进行中期评估。
在上面的例子中(见图 3.4),我们只是取最后一个 "无事件 "评估点与记录事件的评估点之间的中点来估算参与者的风险时间。需要注意的是,这只是对事件确切发生时间的最佳猜测。在我们的例子中,即使取中间点,我们的估计值仍可能会偏差半年左右。如果评估点之间的时间间隔越短越好,那么我们对个人时间的估计就越准确。研究中的评估时间间隔是否过短取决于meta分析的具体情况,但进行敏感性分析始终是明智之举。
这意味着要根据不同的人时估计值重新计算研究的内部IRR:
- 使用时间间隔的中点(- using the midpoint of the interval,)
- 使用最后一个 "无事件 "评估点(- using the last “event-free” assessment point, and)
- 使用检测到事件的评估点。(- using the assessment point in which the event was detected.)
如果上述3个meta分析的结果都指向同一方向,我们就可以对研究结果更有信心。此外,我们还应确保不同研究的评估周期不会相差太大(例如,一项研究每天都对事件进行检查,而另一项研究每年只对事件进行检查)。如果对meta分析中的内部收益率的适用性存在疑问,我们总是可以计算风险比或几率比来代替(或补充)内部收益率。不过,我们在这样做时,应确保每项研究的评估点相似(如一年后)。
要在 R 中计算基于发病率比的荟萃分析,我们需要在数据集中准备以下列:event.e, time.e, event.c, time.c
Hazard Ratios & Limitations of Incidence Rate Ratios 发生率(incidence rates)和内部收益率(IRRs)是概括事件数据和事件发生时间段的直观方法。然而,它们并非没有缺陷。在计算发病率时,我们假设人群中的潜在风险在一段时间内(如研究的第 1 年和第 2 年之间)是恒定的。对于内部发生率,我们假定虽然治疗组和对照组之间的基本风险可能不同(例如,因为治疗降低了发生事件的风险),但每个组内的风险是不变的。
不难看出,这一假设非常简单。在很多情况下,预设事件风险不随时间变化是非常不现实的。根据一项模拟研究,只有当两组的平均观察期相差不大,且所研究事件的基线风险相当低时,使用
才足够。 根据时间到事件数据来表达组间差异的另一种方法,通常也是更可取的方法是危险比(hazard ratios, HR)。危险比是两个(比例)危险函数的比值。这种危害函数描述了在某个时间点 t 发生事件的(变化的)瞬时风险(即 "危害"),条件是一个人在 t 点之前还没有经历过这一事件。
HR通常是根据参与者的个人数据,利用 Cox 回归模型估算出来的。如果我们能从所有研究中提取对数危险比 log e ( HR ) 及其相应的标准误差,就可以使用逆方差集合方法进行meta分析(见第 4.1.1 章)。这种方法与对数风险比或几率比的汇总方法相同。在 R 中,对数危险比可以使用
metagen函数汇集,sm参数设置为 "HR"(见第 4.2.1 章)。由于并非所有研究都会报告(对数)危险比及其标准 e,因此汇总危险比在实践中可能比较麻烦。由于并非所有研究都报告了(对数)危险比及其标准误差,因此汇总危险比在实践中可能很麻烦。Parmar、Torri 和 Stewart(1998 年)介绍了从对数秩检验结果和生存曲线等得出对数危险比及其方差的各种方法。其中一些方法有些费力,但可以说同样适用于从报告数据中推导出IRR的方法。
效应量校正
在第 3.1 章中,我们提到为一项研究
在我们之前讨论的公式中,将估计效应大小与真实效应区分开来的唯一因素就是抽样误差。根据公式,随着抽样误差的减小,效应大小估计值 "自然 "会向人群中的真实效应大小靠拢。然而,当我们的效应大小估计值还受到系统误差或偏倚(bias)的影响时,情况就不是这样了。这种偏倚可能有不同的原因。有些偏倚是由效应大小指标本身的数学特性造成的,而有些偏倚则是由研究方法造成的。
我们可以通过评估研究的偏倚风险来应对研究方式造成的偏倚(参见第 1.4.5 章偏倚风险评估工具介绍和第 15 章可视化偏倚风险的方法)。这种判断还可用于确定偏倚风险是否与汇总效应的差异有关,例如在亚组分析中(第 7 章)。
小样本偏倚与 Hedges g
在第 3.3.1 章中,我们介绍了标准化均值差异(SMD),这是一种当我们有两组连续结果数据时可以计算的效应量。然而,研究发现,当研究的样本量较小时,特别是当 n ≤ 20 时,标准化均值差异会出现向上偏差(L. V. Hedges,1981 年)。这种小样本偏差意味着,当研究的总样本量较小时,SMD 会系统性地高估真实的效应大小--不幸的是,实际情况往往如此。
因此,对所有纳入研究的标准化平均差进行小样本偏倚校正是明智之举,校正后得到的效应大小称为 "Hedges' g"。将未经校正的 SMDs/Cohen's d 转换为 Hedges' g 的公式如下:
从输出结果中我们可以看到,Hedges' g 小于未校正 SMD。Hedges' g 值永远不会大于未校正 SMD 值,当样本量较小时,这两个指标之间的差异会更大(见图 3.5)。
Figure 3.5: Corrected and uncorrected SMD of 0.2 for varying sample sizes.
值得注意的是,研究报告中有时会交替使用 SMD 和 Hedges'g 这两个术语。因此,当一项研究以 SMD 的形式报告结果时,需要检查作者是否确实指的是未经校正的标准化均值差异,或者是否应用了小样本偏倚校正(即使用了赫奇斯 g)。
测量不可靠性的校正
由于测量误差(measurement error),效应大小估计值也可能存在偏差。大多数问卷或测试并不能完美地测量相关结果。一种工具越不容易产生测量误差,它就越可靠。测量变量
当我们研究两个连续变量的关系时,如果其中一个或两个用于评估这些变量的工具缺乏可靠性,就会导致一种叫做衰减(attenuation)的现象。早在 1904 年,著名心理学家 Charles Spearman 就描述过这个问题。例如,当我们计算相关性时,如果其中一个或两个变量的测量结果存在error,就会导致我们低估真实的相关性。相关性被淡化了。不过也有好消息。如果我们对测量的(不)可靠性有一个估计,就有可能纠正这种衰减,从而更好地估计真实的效应大小。
John Hunter 和 Frank Schmidt 是meta分析领域的两位重要贡献者,他们开发并推广了一种方法,通过这种方法可以对衰减进行校正,作为meta分析的一部分。这种校正方法是其他几种方法中的一种,这些方法有时被称为 “Hunter and Schmidt techniques” 或 “Hunter and Schmidt method”。
Hunter and Schmidt的衰减校正可以应用于 (product-moment) 相关性和标准化平均差。首先,让我们假设,在meta分析中计算product-moment correlations
1 | # Define uncorrected correlation and SMD with their standard error |
仔细看看这个例子中的结果。我们看到,由于校正,相关性和SMD大于初始未校正值。然而,我们也看到标准误差(standard error)增加。这一结果是有意的;我们校正标准误差,使其也包含我们为数据假设的测量误差。 在某些领域,例如在组织心理学中,应用衰减校正是很常见的。然而,在其他学科,包括生物医学领域,这种程序很少使用。在meta分析中,只有在每项研究中报告了可靠性系数rx x(和r y y)的情况下,我们才能对不可靠性进行校正。
很多时候,情况并非如此。在这种情况下,我们可以根据之前的研究假设仪器的可靠性值。然而,考虑到校正对效应大小的值有很大影响,对r x x进行不适当的估计可能会大大扭曲结果。
范围限制的校正
Hunter和Schmidt(2004年,第3章和第7章)提出的另一个效应大小调整涉及范围限制(Range Restriction)问题。范围限制是一种现象,当某个变量x在研究中的变化小于实际感兴趣的人群时,就会发生这种现象。当一项研究招募了一个非常有选择性的个体样本,而这些样本可能不能代表整个人群时,就会经常发生这种情况。
例如,一项研究报告指出,参与者的年龄与其认知功能之间存在相关性。凭直觉,人们可能会认为这些变量之间确实存在关联。然而,如果该研究只包括 65 至 69 岁的参与者,那么就不太可能发现这两个变量之间存在(高度)相关性。这是因为研究样本的年龄范围受到很大限制。年龄没有真正的变化,这意味着这一变量不能很好地预测认知能力。就像我们的测量工具不可靠一样(见前一章),这导致我们计算的研究效果被人为地削弱:即使事实上存在重要的关联,我们也无法发现它。
在 SMD 或相关性
例如,如果我们想研究老年人的年龄与认知功能之间的关系,我们可能想在 65 岁以上(这是研究中通常对 "老年人 "的定义)的大型代表性样本中搜索标准偏差的估计值。当然,这仍然是一个范围限制,但它将年龄限制在了一个重要的范围内,因为它反映了我们在meta分析中所面对的研究人群。
为了校正范围限制,我们必须计算 U,即非限制性标准偏差(unrestricted standard deviation)
1 | # Define correlation to correct |
与其他Hunter和Schmidt调整一样,对范围限制的修正在某些研究领域比在其他研究领域更常见。当我们决定对范围限制进行校正时,在我们的meta分析中,对所有效应大小进行校正是很重要的。从技术上讲,在每次荟萃分析中都可以校正范围限制,但通常情况下,这是不必要的。
在实践中,每项研究都很难完美地代表我们荟萃分析的范围。事实上,荟萃分析的目的是超越个体研究的结果。因此,只有当几项研究的范围受到严重限制时,才有必要对范围限制进行校正。
在本指南中,我们只涵盖不可靠性和范围限制的更正,因为这些问题在实践中最常见。然而,Hunter和Schmidt已经提出了各种其他类型的缺陷校正。除了一些额外的方法外,这些技术有时被称为心理测量荟萃分析psychometric meta-analysis。
如果你想了解更多关于Hunter和Schmidt方法的信息,你可以看看他们的书《元分析方法》Methods of Meta-Analysis(Hunter和施密特,2004年),这本书提供了一个可访问和全面的概述。Borenstein等人的书籍(2011),第38章中也有较简短的介绍。
Hunter和Schmidt的许多技术也在一个名为{psychmeta}的R包中实现(Dahlke和Wiernik 2019)。
效应量数据不规整时怎么办
在本章中,我们想多花一点时间讨论我们在计算效应大小时在实践中经常遇到的问题。首先,我们将讨论当以不同格式报告效果大小数据时我们可以做什么。之后,我们研究分析单元问题,这对后面步骤中的meta分析合并有影响。
不同报告格式
当我们在最后几章中描述效果大小指标时,我们还提到了数据集中需要作为列的变量类型。需要这些变量,以便R函数能够计算效应大小,并为我们进行meta分析。例如,为了计算组间标准化平均差(between-group standardized mean differences)的meta分析,我们必须准备两组的平均值、标准差和样本量。
如果我们能从所有研究中提取这些信息,一切都会很好。然而,在实践中,人们可能很快就会发现,并非所有研究都以合适的格式报告其结果。例如,一些研究可能不报告两组的原始数据,而只报告计算的标准化平均差及其置信区间。其他人可能只报告检验两组之间差异的t检验或方差分析(ANOVA)的结果。
如果是这样的话,通常就不可能使用原始效应大小数据进行meta分析。相反,我们必须预先计算每项研究的影响大小,然后才能将其汇集起来。在第3.1章中,我们已经发现,进行meta分析所需的最低信息是研究的效应大小和标准误差。因此,只要我们能够将结果转化为效应大小及其标准误差的估计,就可以进行研究。在“有用工具”部分的第17章中,我们介绍了几个效果大小转换器,它们可以帮助您从其他类型的报告数据中导出效果大小。
然而,即使使用这些工具,仍有可能存在无法计算影响大小的研究。如第1.4.4章所述,在这种情况下,剩下的一种可能性是多次联系各自出版物的作者,询问他们是否可以提供计算效果大小所需的数据。如果这样也失败了,这项研究就需要被排除。
在第4.2.1章中,我们将了解R中一个称为metagen的特殊函数。该功能使我们能够对必须预先计算的效应大小数据进行meta分析。要使用该函数,我们必须在数据集中准备以下列:
TE. The calculated effect size of each study.seTE. The standard error of each effect size.
分析单位问题
一项研究对我们的荟萃分析贡献了不止一个效应大小,这并不罕见。特别是,可能是(1)一项研究包括两组以上,或者(2)一项使用两种或多种仪器测量结果的研究。这两种情况都会造成问题。如果研究在荟萃分析中贡献了多个效应大小,我们就违反了其核心假设之一:即meta分析中的每个效应大小都是独立的(Julian Higgins等人,2019,第6.2和23章;Borenstein等人,2011,第25章)。如果不满足这个假设,我们将处理一个分析单元的问题。
让我们从第一个案例开始,其中一项研究有两组以上;例如,一组检查治疗A,另一组给予治疗B,以及对照组C。我们可以计算这项研究的两个效应大小。根据结果数据,这些可能是风险、比值或发病率比率,或标准化平均差异(risk, odds or incidence rate ratios, or standardized mean differences.)。我们有一个效应大小
由于C的重复计数,这两个效应大小是相关的。如果所有组的样本量相等,我们知道这种相关性为r=0.5(Borenstein等人,2011年,第25章)。这是因为A和B是独立的群,因此是不相关的。然而,对照组在两种效应大小上是相同的,这导致了1的完美相关性;中点是0.5。一组的重复计数导致我们高估了受影响效应大小的精度(即标准误差)。这夸大了我们在荟萃分析中给予这些影响的权重,并最终扭曲了我们的结果。有三种方法可以解决这个问题:
- Split the sample size of the shared group拆分共享组的样本大小。这意味着当我们计算效应大小时,在与A的比较和与C的比较之间平均分配组C的样本大小(例如,n=200)。如果我们处理的是二进制结果数据,那么事件的数量也会平均分配。在我们的例子中,我们会像以前一样计算两个效应大小,但现在我们假设C在两个计算中都只由100个人组成。这种方法解决了由于重复计数而人为夸大效果大小的精度的问题。然而,它仍然是次优的,因为效应大小将保持相关性(Julian Higgins等人,2019,23.3.4)。
- Remove groups. 删除组。一个有力的方法是简单地从meta分析中完全删除一个比较,例如
。这解决了分析单元(unit-of-analysis)的问题,但也引发了新的问题。如果我们简单地丢弃一个效果大小,我们就会丢失潜在的相关信息。 - Combine groups. 组合组。这种方法包括将两组的结果结合起来,以便只剩下一个比较。在我们的例子中,这意味着将A和B的数据结合起来,然后将合并的结果与C进行比较。这对于二元结果数据来说相对容易,因为我们只需要汇总两组中的参与者数量和事件数量。如果我们有连续的结果数据,即平均值和标准差,事情就会稍微复杂一些。在“有用工具”部分的第17.9章中,您可以找到一个R函数,它允许我们组合这些数据。通过组合组,我们避免了重复计数和相关的效应大小。这就是为什么Cochrane也推荐这种方法的原因。然而,该方法也有其缺点。有可能两组如此不同,以至于我们把一些实际上无法比较的东西放在一起。想象一下,A组和B组的治疗方法完全不同,A组是最先进的干预措施,B组是证据基础有限的过时方法。如果我们将这两种治疗方法结合起来,但没有发现任何效果,那么几乎不可能弄清楚这两种干预措施是真的,还是B的无效性只是稀释了A的效果。因此,当两组干预措施太不相似时,可以使用方法(1)和(2)。
当一项研究使用多种仪器测量结果时,也会出现分析单位问题。当没有明确的“金标准”来确定如何衡量感兴趣的变量时,通常会出现这种情况。如果我们计算每一项测量的效果大小,并将其纳入我们的荟萃分析,这也会导致重复计算。此外,效应大小将是相关的,因为使用了相同的样本来测量效应。有三种方法可以处理这种情况:
- 首先,我们可以简单地为每项研究选择一种仪器。重要的是,这种选择要以系统和可重复的方式进行。充其量,我们的分析计划(第1.4.2章)应该已经为我们的荟萃分析定义了工具的层次结构。这种层次结构可以基于先前关于某些仪器可靠性的证据,也可以基于哪种类型的测量最能反映我们研究问题的内容。然后,层次结构清楚地决定了当有多个可用工具时我们选择哪种工具。
- 或者,我们也可以使用计算出的效应大小并将其聚合,以便每个研究只提供一个(聚合的)效应大小。这在某种程度上是一种“蛮力”方法。它要求我们具体说明研究中效应大小的相关性,但这个值通常是未知的。在第17.10章中,我们提出了一个函数,该函数允许将预先计算的效应大小聚合为每个研究的一个组合估计。
- 第三种方法是包括所有可用工具的数据,并使用荟萃分析模型,该模型可以解释我们荟萃分析中的研究贡献了多个效应大小的事实。这可以通过“三级”荟萃分析模型来实现,我们将在第10章中对此进行研究。
合并效应量、模型与异质性
Individual Participant Data (IPD) Meta-Analysis In IPD meta-analysis, the original data of all studies is collected instead and combined into one big data set.
之前还想过,如果这些纳入的文章的原始数据could be available,那岂不是美滋滋直接汇总分析原始数据更胜一筹,或许我这个想法就是这里提到的IPD把,但是现实的残酷就是根本没有什么文章提供了这样的数据。。
- reproducibility is a hallmark of good science
- The goal of meta-analyses is not to heedlessly throw everything together that can be combined
- Variation between studies can often be unproblematic, and even insightful if it is correctly incorporated into the aims and problem specification of a meta-analysis.
However, there are certain ways through which publication bias can be minimized. One pertains to the way that studies are searched and selected (see Chapter 1.4). The other approaches are statistical methods which try to estimate if publication bias exists in a meta-analysis, and how big its impact may be. 不过,有一些方法可以最大限度地减少发表偏差。其中一种方法与搜索和选择研究的方式有关(见第 1.4 章)。另一种方法是通过统计方法来估计荟萃分析中是否存在发表偏倚,以及发表偏倚的影响有多大。
- the FINER framework. It states that a research question should be Feasible, Interesting, Novel, Ethical, and Relevant.
合并效应量:模型选择之前先理解模型
来源:Doing Meta-Analysis in R, Chapter 4-5 Along and winding road already lies behind us 幸运的是,我们已经到达了meta分析的核心部分:效应大小的合并。我们希望你能拒绝直接从这一章开始的诱惑。我们已经在这本书中讨论了多种话题,包括研究问题的定义,检索的指南,选择,提取研究数据和如何解释我们的效应大小。
全面的准备是一个好的meta分析的关键,并且会在接下来要跟进的步骤中非常有帮助,我们可以保证你在前面章节花费的时间是值得投资的。
在R中有许多的package可以合并效应大小。在这里,我们主要关注meta这个包的函数,我们已经在2.2中安装了它。这个包是很用户友好的并且仅仅几行代码就提供给我们几乎所有的重要的meta分析结果。在前面的章节中,我们讲过效应大小有不同的“口味”,这取决于感兴趣的结果。{meta}包包括具体的meta分析函数对于每一个效应大小指标。所有的函数也几乎都符合相同的结构。
因此,一旦我们有了一个meta是如何工作的基本理解,编码meta分析就很直接了,不论我们关注哪种效应大小。在这章中,我们将会解释meta包的一般结构,当然,我们还将通过实际操作示例更详细地探讨该软件包的meta分析功能。
meta包允许我们微调关于效应大小合并的方式的许多细节,如我们前面提到的,meta分析带有许多的“研究者程度的自由”。有无数的关于统计技术和我们可以应用的方式的选择,并且哪一种方法是更好的通常取决于内容。
在我们开始我们的meta分析之前,我们因此必须有对meta分析统计假设及其背后数学的基本了解。重要的是,我们也讨论meta分析背后的“idea“。在统计学中,“idea”可以转化为模型,我们将看一看meta分析的模型是什么样的。
如我们将看到的那样,meta分析的本质需要我们现在做一个基本的决定:我们必须假设是一个固定效应模型还是随机效应模型。需要了解meta分析背后的概念,才能在知情的情况下决定这两种模型以及其他分析规格中哪一种更适合哪种情况。
固定效应与随机效应:模型在解释什么
在我们具体说明meta分析模型之前,我们需要首先阐明一个统计模型实际上是什么,统计学中充满了模型,并且你很可能以前就听过这个词了,有线性模型等等
统计学中模型的普遍存在表明这个概念是多么的重要。模型以这样或那样的方式为我们统计工具箱的几乎所有部分奠定了基础。t 检验、方差分析和回归背后都有一个模型。每个假设检验都有相应的统计模型。
t检验和方差分析的假设是真实的群体情况服从正态分布! t 检验和 ANOVA 都可以看成线性模型的特例:结局 = 组别效应 + 随机误差。更准确地说,经典假设主要是误差/残差近似正态、观测独立,以及在某些版本中方差齐性;不是要求所有原始数据在任何情形下都完美正态。
当定义一个统计模型的时候,我们从已经给我们的信息出发,字面意义上来说,就是我们的数据(data)。在meta分析中数据就是囊括的研究中所观测到的效应大小(effect size,也可以叫效应量)。我们的模型就是用于描述这些观测数据(这些效应量)的产生过程。
效应量可以理解为真实存在的某种差异,而我们是通过找到合适的效应量评价指标,来说明真实的效应到底有多大 一个讲的不错的中文博客
数据可以被看做是一个黑箱的产物,而我们的模型目的在于阐明在这个黑箱中正在发生的是什么。
这个模型的解释字母在现代统计学中根深蒂固,并且meta分析也不例外。将模型概念化为解释的载体是统计 "文化 "的标志,据 Breiman(2001 年)的著名估计,98% 的统计学家都恪守这种 "文化"。
通过说明一个统计模型,我们尝试去找出一个我们数据之后的“真实”的估计代表。我们想要一个数学公式解释我们如何能够找到在我们所有的研究背后的真实效应量,基于他们的观察结果。正如我们在1.1章节了解的那样,一个meta分析最终的目的是找到一个数字的值可以整体地特征化我们的研究,即使观察的效应量在研究之间变化很大。一个meta分析模型必须因此解释观察到的研究结果不同的原因和大小,即使只有一个整体效应。
有两个模型尝试
异质性:合并结果之外还要看研究之间的变化
来源:Doing Meta-Analysis in R, Chapter 4-5 固定/随机效应模型的目的是把不同研究的效应量合并为一个数据,但要注意这仅仅是我们没有在比较“苹果和橘子”的时候是有意义的。例如,整体的效应值很小时,仍然可能有部分研究的效应值很大,这样的信息会在合并的整体效应上丢失,换言之,我们不知道是否所有的研究的效应量都是很小的,或者是否有例外存在。
在一个meta分析里面,研究间的异质性指的是研究间真实效应大小的变化程度。我们在前面的随机效应模型讲解时简单提到了这个概念,随机效应模型假设研究间的异质性导致了真实研究间的效应大小不同。它因此包括了一个tao2统计量,量化了研究间的真实效应值的差异。这才能够允许计算合并效应量(即真实效应大小分布的均值)。
固定效应模型假设所有研究背后只有一个共同真实效应,研究结果不同主要来自抽样误差;随机效应模型承认不同研究背后的真实效应本来就可能不同,这些真实效应围绕一个平均效应分布。tau² 描述的就是这些真实效应之间的方差。所以随机效应模型不是“解决异质性”,而是把异质性纳入模型。
随机效应模型总是允许我们计算合并效应大小,即使研究间异质性很大,但是却没有告诉我们这个合并的效应是否可以用一个合理的方式解释。对于我们的meta分析,在很多场景下,单独的合并效应量不是一个好的数据代表。
想象一个异质性很高的例子,真实的效应大小包括很高的阳性到阴性。如果这样的meta分析的合并效应是positive,这并没有告诉我们有一些研究是有真实的阴性效应,这个某些研究中有的消极的效应就忽视了。
比较高的异质性也可能是由于我们的数据里面有两个或更多的研究的亚组有不同的真实效应。这样的信息对于研究人员是非常有价值的,因为它可能允许我们找到效应是更低还是更高的某种环境,然而,如果我们只看合并效应,这个细节就会被忽视,在一些极端的例子中,非常高的异质性可能意味着研究间没有一点共同之处,并且这使得解释这个合并效应一点意义都没有。
因此,meta分析总是考虑所分析的研究之间的变化,做的好的meta分析不应只报道一个合并效应,也要陈述这个估计是如何的值得信任。一个必要的部分就剩去量化和分析研究间的异质性。
在这一章,我们将会更近距离的观察测量异质性的不同方式,和他们是如何被解释的。我们也涵盖了一些工具,从而运行我们检测出那些在我们数据中产生异质性的研究是哪些。最后,我们将讨论如何在 "真实世界 "的meta分析中解决大量异质性问题。
在我们开始探讨异质性的测量方式之前,我们首先需要阐明异质性可以意味着很多。例如,Rücker 及其同事(2008 年)区分了基线(baseline)或设计相关(design-related)异质性和统计(statistical)异质性。
baseline or design-related异质性是在对象或者研究间的设计不同时产生的。我们在1.3的苹果橘子问题已经讨论过这种类型的异质性,并在1.4.1讨论过定义研究问题的方法。通过设置合适的 PICO,确定哪些类型的人群和设计有资格进行meta分析,可以事先减少design-related异质性。
另一方面,statistical异质性是一种可量化的属性,受到meta分析中效应大小估计值的分布和精确度的影响。baseline异质性可以导致statistical异质性(如纳入人群之间的效应不同),但也不一定如此,meta分析在即使纳入的研究本身几乎完全相同的情况下,也有可能显示出较高的statistical异质性。在这本教程(以及大多数其他meta分析课本)中,"研究间异质性 "仅指statistical异质性。
Cochran's Q
基于随机效应模型,我们知道有两种产生研究间观察到的效应变化的来源,即抽样误差(sampling error)
传统来讲,meta分析使用Cochran's
发表偏倚
发表偏倚与灰色文献
来源:Doing Meta-Analysis in R, Chapter 9 We can counteract this by also searching for grey literature, which includes dissertations, preprints, government reports, or conference proceedings.
Fortunately, pre-registration is also becoming more common in many disciplines. This makes it possible to search study registries such as the ICTRP or OSF Registries (see Table 1.1 in Chapter 1.4.3) for studies with unpublished data, and ask the authors if they can provide us with data that has not been made public (yet).
[35]Mahmood and colleagues (2014) provide a detailed account of how a comprehensive grey literature search can be conducted, and what challenges this may entail. The article can be openly accessed online.
Mahood, Quenby, Dwayne Van Eerd, and Emma Irvin. 2014. “Searching for Grey Literature for Systematic Reviews: Challenges and Benefits.” Research Synthesis Methods 5 (3): 221–34.
在本章中,我们将展示评估和控制发表偏倚的常用统计方法。我们从关注小型研究效应的方法开始(Sterne, Gavaghan, and Egger, 2000;Schwarzer, Carpenter, and r<e:1> cker 2015,第5章;Rothstein, Sutton, and Borenstein, 2005,第5章)。这些方法的一个共同点是,他们通过观察研究的精度和观察到的效应大小之间的关系来找到发表偏倚的指标。

问题
CCT与非随机实验性研究(intervention evaluation studies using nonrandomized designs)
CCT是一种特殊的RCT,即随机方法不当的RCT;考虑到RCT和CCT出现时是在一起的,我觉得RCT的量表来评价CCT是没有问题的,问题在于CCT 为采用半随机分配法的研究,不是非随机方法,这一点之前的理解有误。那么如何评价非随机的实验性研究?
这里需要把三个东西分开。
- 真正随机分配的 RCT:用 RoB 2 评价。
- CCT / quasi-randomized trial:按入院顺序、生日、病历号单双号这类方式分组,确实不是严格随机,但它仍然是“有意分配干预”的对照试验。实践中如果把它当作随机/准随机试验处理,可以用 RoB 2 的随机化过程相关条目评价,并且通常会在“randomization process / allocation concealment”上给出 some concerns 或 high risk;也可以在纳入标准里单独说明“纳入 RCT 与 quasi-RCT/CCT”。
- 真正的非随机干预研究(NRSI):比如非随机分配的临床对照研究、队列研究、controlled before-after、interrupted time series 等,重点问题就不只是“随机做得好不好”,而是混杂、选择偏倚、干预分类、偏离预期干预、缺失数据、结局测量和选择性报告。Cochrane 推荐用 ROBINS-I 评价 non-randomized studies of interventions。
所以这段原来的直觉“CCT 可以用 RCT 的思路评估”大体可以保留,但要加一个限制:CCT 不是“随机方法不当的 RCT”这么简单,更准确说是准随机分配试验;而如果研究完全没有随机/准随机分配,就不要硬套 RCT 量表,应该按 NRSI 处理,优先考虑 ROBINS-I。
参考:系统评价Meta分析理论与实践 p75 Cochrane 手册将RCT 和 CCT(controlled clinical trialCCT)进行了区分,判定标准主要包括:
- 在1个或多个患者中进行的一种研究;
- 比较两种干预措施试验措施可以为一种药物、外科手术、物理疗法、预防措施、诊断试验,对照措施为另一种药物、安慰剂或不作任何处理的空白对照;
- RCT 为采用随机分配法如随机数字表、计算机随机排序、抛硬币法等将受试者分入不同处理者; CCT 则为采用半随机分配法(按入院顺序、住院号、研究对象的生日的奇偶数交替分配)分配到对照或治疗组者;
- 提示性术语有:随机(random)、交替(erossover/crossover)、双盲(double-blind)或安慰剂(placebo)等。 符合这4条的文献将会在美国国家医学图书馆(the US national library of medicine,NLM)指定其出版类型是RCT 或 CCT,并在取得NLM 的许可后纳入Cochrane临床对照试验中心注册库(the Cochrane Central Register of Controlled Tri-als,CENTRAL)
质量评价与偏倚风险的区别
参考:Quality versus Risk-of-Bias assessment in clinical research When the results of a quality assessment are translated through some empirical construct to the potential risk of bias, this has been termed a risk of bias assessment. 当质量评估的结果通过某种经验构建转化为潜在的偏倚风险时,这被称为偏倚风险评估。
a) quality assessment is the assessment of the inclusion of methodological safeguards within a study, b) risk of bias assessment concerns the implication of the inclusion of such safeguards for study results. a) 质量评估是对一项研究是否包含方法保障措施的评估,以及 b) 偏差风险评估是指纳入此类保障措施对研究结果的影响。
For example, the quality assessment also deals with the number or type of safeguards present and does not include signaling questions and criteria for judgments, both of which are required for risk of bias assessment as the latter requires a subjective degree of risk as the outcome of the assessment. 例如,质量评估只涉及保障措施的数量或类型,并不包括信号问题和判断标准,而这两者都是偏差风险评估所要求的,因为后者要求将风险的主观程度作为评估结果。 quality assessment should refer to the extent to which a study was designed, conducted, analyzed, interpreted, and reported to avoid systematic errors, while risk of bias assessment should refer to what flaws in the design, conduct, and analysis affect the study results 质量评估应指一项研究的设计、实施、分析、解释和报告在多大程度上避免了系统性错误,而偏差风险评估应指设计、实施和分析中的哪些缺陷影响了研究结果
We should henceforth use the term quality assessment when we refer to the measurement of the extent that methodological safeguards against bias have been implemented and risk of bias assessment when we refer to bias judgments based on such quality assessment. 当我们提及对防止偏差的方法保障措施的实施程度进行衡量时,应使用 "质量评估 "一词;当我们提及根据此类质量评估进行偏差判断时,应使用 "偏差风险评估 "一词。
Of note, a study that implemented all safeguards listed in a tool may not necessarily be unbiased, and one that applied none is not necessarily biased, and this applies to both assessment types. 值得注意的是,实施了工具中列出的所有保障措施的研究不一定是无偏见的,而没有实施任何保障措施的研究也不一定是有偏差的,这适用于两种评估类型。
参考:(https://handbook-5-1.cochrane.org/chapter_8/8_2_2_risk_of_bias_and_quality.htm) 偏见和品质可以区别开来。“方法学质量评估”一词在系统综述方法的背景下被广泛使用,指的是对纳入研究的批判性评估。这个词指的是对研究作者在多大程度上以尽可能高的标准进行研究的调查。本手册区分了方法质量评估和偏倚风险评估,并建议将重点放在后者。造成这种区别的原因包括:
- Cochrane综述的关键考虑因素是纳入研究的结果应该在多大程度上被相信。评估偏倚风险正好针对这个问题
- 一项研究可能以尽可能高的标准进行,但仍有很大的偏倚风险。例如,在许多情况下,让参与者或研究人员对干预组视而不见是不切实际或不可能的。将所有此类研究描述为“低质量”是不恰当的判断,但这并不意味着它们没有因对干预状态的了解而产生的偏见。
- 医学研究中的一些质量标志,如获得伦理批准、进行样本量计算和根据CONSORT声明报告研究(Moher 2001d),不太可能对偏倚风险产生直接影响。
- 对偏倚风险的强调克服了报告质量和基础研究质量之间的模糊性(尽管不能克服必须依赖报告来评估基础研究的问题)。尽管存在这些对“质量”一词的担忧,但“证据质量”一词在Cochrane综述的“发现摘要”表中被使用,以描述人们可以确信的程度,即效应估计接近结果的真实价值,如第11章(第11.5节)和第12章(第12.2节)所述。每项研究结果的偏倚风险有助于对效果的估计,这是在判断证据体质量时必须考虑的几个因素之一。
https://www.frontiersin.org/articles/10.3389/fvets.2022.960957/full
如何理解GRADE
参考:Quality versus Risk-of-Bias assessment in clinical research The final point is that the Grading of Recommendations, Assessment, Development and Evaluation (GRADE) group 5 uses the term “quality of evidence” to reflect the extent to which our confidence in an estimate of the effect is adequate to support a particular recommendation. Therefore, in addition to the risk of bias assessment of individual studies making up the body of evidence, four other issues are rated under the “quality of evidence” umbrella: inconsistency, indirectness, imprecision, and publication bias. The latter is not actually a quality assessment in terms of what is meant by this term for individual study assessment of internal validity and uses "quality" in a more generic sense making this a distinct concept from what we mean when we undertake a quality assessment of individual studies. Of note, GRADE incorporates a risk of bias assessment within this generic quality construct. 最后一点是,"建议、评估、发展与评价分级"(GRADE)小组[5]使用 "证据质量 "一词来反映我们对效果估计值的信心程度是否足以支持某项建议。因此,除了对组成证据体的各项研究进行偏倚风险评估外,"证据质量 "还包括其他四个问题:不一致性、间接性、不精确性和发表偏倚。就单个研究的内部有效性评估而言,后者实际上并不是一种质量评估,而是在更广泛的意义上使用 "质量",这与我们对单个研究进行质量评估时所使用的概念截然不同。值得注意的是,GRADE 将偏倚风险评估纳入了这一通用质量结构中。
来源:杨克虎,GRADE在系统评价和实践指南中的应用,第二版 p23:系统评价制作者一般只对纳入的原始研究进行质量评价,而不会对系统评价报告的临床结局指标的质量进行评估,故下结论时可能存在偏颇和误导。
如何选择工具
参考:(https://www.latitudes-network.org/resource/which-tool-should-i-use/)
https://www.latitudes-network.org/library/ https://musc.libguides.com/systematicreviews/qualityassessment#loaded https://support.covidence.org/help/create-and-publish-a-quality-assessment-template https://musc.libguides.com/covidence/qualityassessment#loaded 这个问题在于这个图里没有CCT
研究的真实性
参考:詹思延,循证医学与临床研究,人民卫生出版社 是否提出正确问题--基于研究目的 是否正确回答问题--方法学质量评价(是否通过各种方法减少了偏倚)
偏倚是研究结果或统计推断中的一种系统误差,或与真实值的偏差,具有一定的方向性,不同偏倚可导致低估或高估研究因素的真实效应。
无论基于何种研究设计类型实施,原始研究的质量评价都需根据研究 设计、实施、结果 分析整个过程中可能出现偏倚的各个因素进行判断,目前评价工具主要有:单个评价条目、清单、量表三种类型。
合并效应量的检验
参考:詹思延,系统综述和Meta分析,人民卫生出版社 无论用何种计算方法得到的合并效应量,都需要进行假设检验,以检验多个同类研究的合并效应量是否具有统计学意义,常用z(u)检验和可信区间法。
- z(u)检验:根据z(u)值得到该统计量的概率(P)值,若P≤0.05,多个研究的合并统计量有统计学意义;若P≥0.05,多个研究的合并统计量没有统计学意义。
- 置信区间法:
- 当试验效应指标为OR或RR时,其值等于1时试验效应无效,此时其95%的可信区间若包含了1,等价于P>0.05,多个研究的合并统计量没有统计学意义。
- 当试验的指标为RD、WMD或SMD时,其值等于0时试验效应无效,此时其95%的可信区间若包含了0,等价于P>0.05,即无统计学意义;若其上下限不包含0(均大于0或均小于0),等价于P<0.05,即有统计学意义。
参考:常用假设检验方法(U检验、T检验、卡方检验、F检验) - 知乎 (zhihu.com) Z检验是一般用于大样本(即样本容量大于30)平均值差异性检验的方法(总体的方差已知)。它是用标准正态分布的理论来推断差异发生的概率,从而比较两个平均数的差异是否显著。
- 森林图好像这两个结果都给了,是只要写一个上去吗?
两者本质上是一回事。对于常见的合并效应量,P 值和 95% CI 是否跨无效线通常会给出一致结论。写论文时优先报告效应量和 95% CI,再补 P 值即可;不要只写“P<0.05”,因为 CI 同时告诉我们方向和不确定性。
敏感性分析
参考:詹思延,系统综述和Meta分析,人民卫生出版社 敏感性分析是用于评价Meta分析或系统评价结果是否稳定和可靠的分析方法: 既可以帮助发现异质性来源,也是处理异质性的方法之一。 敏感性分析的内容包括:改变研究类型(如使用不同测量方法的临界点)的纳入标准【还是不知道这句话在说啥】、研究对象、干预措施或终点指标、用某些结果不太确定的研究估计值重新分析、对缺失数据进行合理估计后重新分析、使用不同统计方法和效应量重新分析,如排除非安慰剂对照的研究等影响结果的重要因素,再重做Meta分析,并与未排除这些研究的Meta分析或系统评价结果比较,以探讨被去除的研究对合并效应的影响。若敏感性分析对Meta分析或系统评价结果没有本质性改变,说明分析结果可靠性大。若敏感性分析导致了不同结论,意味着对Meta分析或系统评价的结果解释和结论需谨慎。
- 如果把某个研究踢出meta分析,发现异质性显著减小,说明就是这个研究导致了异质性大,同时意味着这个研究可能存在较大的“偏移风险”,那就可以在后续分析中,把这个研究剔除,这样做是根据纳排标准纳入研究后的进一步分析操作,是可行的。
- 如何判断异质性显著性减小?标准是什么
现在的理解:没有一个绝对硬标准。通常看 I² 是否明显下降、tau² 是否下降、合并效应方向/大小是否改变、置信区间是否明显变化。敏感性分析不是为了把某篇研究“踢掉使结果好看”,而是看主结论是否依赖某个研究;如果排除后结论变化很大,应该说明结果不稳,而不是直接把符合纳排标准的研究从主分析里删掉。
PROSPERO 与动物研究
可以
现在PROSPERO 已经扩展了
参考:詹思延,系统综述和Meta分析,人民卫生出版社 非Cochrane系统综述注册平台——prospero PROSPERO当前主要接受关于治疗、预防、诊断、监测等方面研究的系统综述注册,关于危险因素和遗传关联的系统综述也逐步纳入注册范围,但尚不接受系统综述概览、方法学和动物研究的系统综述注册。 - 那动物研究还能纳入吗? 现在的理解:能不能纳入取决于你的系统综述问题本身,不取决于 PROSPERO 是否接受注册。旧教材里关于 PROSPERO 不接受动物研究的说法已经不完全适用;现在 PROSPERO 对与人类健康相关的动物研究系统综述有相应路径。即使不能注册,也不等于不能做或不能纳入。
检索全面性、发表偏倚与检索偏倚
参考:詹思延,系统综述和Meta分析,人民卫生出版社 系统综述的文献来源渠道明确,在电子检索过程中按照检索需要和标准制定科学规范的检索策略式查找文献,可以大大减少检索过程中的偏倚;
- 目前来看似乎很多文章都是用电子数据库检索+手动检索;
- 电子数据库可以理解为构建“恰当”的检索式;这个“恰当”令人不安
- 手动检索:有的文章是先找到几篇相同主题的系统综述,看他参考的文献进行补充;有的文章是列了一堆期刊名字,卡一个年限,说是手动检索了
关键是“检索路径要可复现”。手动检索可以做,但要写清楚检索了哪些来源、什么时间、按什么规则补文献。检索偏倚不是传统意义上研究内部的 selection bias,但它会让某些研究更容易被找到、某些研究系统性遗漏,所以需要用预先定义的检索策略、数据库检索 + 手动追溯 + 注册平台/灰色文献来降低风险。
参考:詹思延,系统综述和Meta分析,人民卫生出版社 发表偏倚:可以将未发表的研究列入检索的范围,多途径检索有助于减少发表偏倚。 用于检查是否存在发表偏倚的方法之一是采用漏斗图进行分析。该方法的基本思想是每个纳入研究的效应值的精度(什么是效应值的精度?是否是理解为区间更短)随该研究的样本含量的增加而增加,即采用单个研究的治疗效应估计值X轴(这个又很奇怪了,效应值不是可以有不止一种吗,那这选哪种?)对应各个研究样本大小的量值Y轴构成的散点图,小样本研究的效应值散步在图形下方,而大样本研究将逐渐向上变窄,形成类似倒漏斗的图形。在没有偏倚存在的情况下,图形呈对称势态。
参考:图说meta十三:漏斗图简介 - 知乎 (zhihu.com) 常见的发表偏倚表现在:
- 阳性结果的研究比阴性结果的研究容易发表, 而且有较多机会发表在高影响因子的期刊上, 因而会有更高的引用率;
- 有基金资助的研究常常有较高的发表率, 受国家级基金资助的研究的发表率最高, 且其研究结果常常是阳性的。但是由药厂资助的研究的发表率远低于政府或其他团体资助的研究, 这可能与药厂不鼓励发表阴性结果有关;
- 随机对照试验的阳性结果常常低于非随机对照试验; 且盲法的随机对照试验的阳性结果通常低于非盲法的的随机对照试验;
- 大样本的研究较易发表, 不管其研究结果在统计学上是否有差异, 而小样本的研究结果往往在该研究还未有大样本结果时才有较高的可能性被发表;
- 观察性研究和实验研究较临床研究更容易出现发表偏倚。
- 如果试图对platform deviation做图就会是下面这样,但我们其实只有6个,理论上就不能做漏斗图

参考:图说meta十三:漏斗图简介 - 知乎 (zhihu.com)但当存在发表性偏倚时, 则表现为漏斗图出现不对称, 则呈偏态分布。 绘制漏斗图, 需要纳入较多的研究个数,原则上需纳入10篇研究以上才能进行。
- 那文献数量不够怎么办?
研究少时不要硬画/硬解释漏斗图,常见经验是少于 10 项研究时漏斗图和 Egger 检验都不可靠。漏斗图不对称只是提示 small-study effects,可能来自发表偏倚,也可能来自真实异质性、研究质量差异、方法差异或偶然。阳性结果多也不能直接证明发表偏倚;更稳妥的写法是“由于纳入研究数量较少,无法可靠评估发表偏倚,不能排除其影响”。
异质性的分析与处理
- 用亚组分析来解释异质性
- 敏感性分析可以去除对异质性影响很大的研究来
参考:詹思延,系统综述和Meta分析,人民卫生出版社 Cochrane协作网将异质性分为临床异质性、方法学异质性和统计学异质性。
- 临床异质性:不同研究中与临床相关的异质性,如不同研究对象、干预措施和结局指标测量等变异;
- 方法学异质性:不同研究中试验设计和研究质量存在的差异,如盲法和分配隐藏不一致;
- 统计学异质性:不同研究中干预措施的效应值存在的差异。
异质性处理:对纳入研究的异质性处理常用亚组分析、随机效应模型、敏感性分析法等。
亚组分析:对临床指导个体化处理有重要意义,但因为亚组样本量常较小,易因偶然性大得出错误结果,一般看作假说的产生。
随机效应模型:若经上述方法分析处理后,多个同类研究结果仍有异质性,可用随机效应模型处理。注意,随机效应模型仅是对异质性资料的统计处理方法,不能代替异质性原因分析。随机效应模型处理方法不能控制混杂、矫正偏倚、减少异质性或消除产生异质性的原因。 这个解释起来有点麻烦,记住当纳入研究的异质性明显时,选择随机效应模型进行数据合并就好了,这样得出的结果更加保守可靠。
