任何科学家指出分析和解释可能存在的错误，暗示微生物可以缓解自闭症样行为的小鼠高调研究。在论文发表后的几个小时内，Twitter和出版后评论网站PubPeer出现了强烈的反对意见。

在5月30日发表在Cell上的论文中，Sarkis Mazmanian及其同事报告说，自闭症男孩的粪便移植可以引发小鼠的自闭症行为 - 来自某些微生物的分子可以缓解这些行为。

研究发表几分钟后，独立专家开始在Twitter上提出关于论文中包含的三个图表的担忧。

鉴于被探测的变量数量非常多，发现一些差异并不奇怪。没有复制样本被测试，所以我之前的期望是这些都是虚假的，直到证明不是这样

- Kevin Mitchell(@WiringTheBrain)2019年5月30日

他们指出，伴随每个图表的“p值” - 统计显着性的度量 - 似乎难以置信。

“数据没有通过我称之为眼球测试的数据，”其中一位发言人，爱尔兰都柏林三一学院遗传学副教授凯文米切尔告诉Spectrum。

其他人对这项研究的样本量很小表示担忧。

甚至不让我开始使用N个3个控件和5个用于大多数分析的案例。捐助者之间的差异很大。

- Jonathan Sebat(@sebatlab)，2019年5月30日

“你可以在论文中看到的数据非常具有误导性，因为它看起来有很多数据点，但它们确实来自少数参与者，”前自闭症研究员乔恩布罗克说。布鲁克写了一篇文章，发表在6月13日的“媒体”杂志上，批评了小样本量和研究人员使用的行为测试。“考虑到这项研究的大肆宣传，其核心主张的证据非常微弱，”他写道。

这些评论促使没有参与该研究的统计学家托马斯·拉姆利重新分析数据。6月16日，Lumley在他的个人博客上发布了他的重新分析。他总结说，这项研究的主要发现之一 - 小鼠社交不到控制 - 可能是由于有缺陷的统计分析引起的。

分析不当

对于所讨论的分析，研究人员将每个供体 - 自闭症五个男孩和三个对照的粪便移植到至少八只不同的小鼠中。他们发现，作为一个群体，患有自闭症男孩的粪便的小鼠比对照更多地埋葬大理石，花费更少的时间与其他小鼠互动，并且在开放的房间中行进更短的距离。这些结果出现在米切尔和其他人提出的三个图表中。

但是在他们的统计分析中，研究人员似乎独立地对每组中的小鼠进行了治疗，即使有些人从同一个捐赠者那里得到了粪便，Lumley说。这个错误人为地夸大了每组的样本量。根据他的再分析，纠正错误后，唯一统计上显着的差异是小鼠埋葬的大理石数量。

“作者的分析不适合他们的实验设计，也没有明确描述，因为论文中两个不同的地方都有相互矛盾的描述，”新奥克兰大学生物统计学系主任Lumley说。新西兰。

研究人员坚持他们最初的结果：“我们今天坐在这里，我们发现我们所做的统计数据没有错误，”帕萨迪纳加州理工学院微生物学教授Mazmanian告诉Spectrum。

Mazmanian说他已经要求几位统计人员重新分析这些数据。“我们想要做到这一点，”他说。“我们将尽一切可能确保我们得出一个我们可以捍卫的结论。”

Lumley说他在重新分析方面很挣扎，因为虽然Mazmanian的团队已经在网上提供了数据，但他们在图标题中描述的统计方法与文章的方法部分没有相符。

“图中标题清楚，但不是他们所做的，”拉姆利说。“方法部分的那个不清楚。”

统计缺陷

Lumley开始使用标题中描述的方法进行再分析。该方法解释了所有粪便移植供体之间的随机差异，然后寻找与自闭症供体相关的差异。

“我认为，这是正确的分析，但它没有给出他们给出的结果;它为差异提供了更少的证据，“Lumley说。

然后，他根据他在“方法”部分中找到的描述以及研究人员在PubPeer上提供的其他详细信息重新分析了数据。他能够重现三张图中每一张图中报告的p值。

尽管如此，他说研究人员对每只小鼠进行治疗是很奇怪的，好像它已经接受了来自不同捐赠者的粪便。

“这是一个奇怪的分析，”拉姆利说。“我看不出你为什么故意这样做的原因。”

问题可能出在研究人员使用的称为SPSS的软件中，他说：“我不知道这是否会导致他们的问题，但这种情况很容易发生。”(Mazmanian说团队的统计学家跟随该软件的指南。)

即使统计分析没有证明是有缺陷的，批评人士说，挑衅性的发现需要达到比p值更高的标准。

“p值只是总结了实验中的数据，”米切尔说。“如果这是一个非同寻常的主张，如果它需要一些真正未知的新生物机制，并且没有任何研究基础强烈支持它，那么我们应该要求更高标准的证据。”

米切尔说，更高的标准是复制。另一种是注册报告，这是一种经过同行评审的期刊文章，研究人员在收集数据之前首先描述他们的研究方法。

该论文的批评者还指出，其中四名团队成员拥有与使用微生物或微生物分子作为自闭症和其他疾病治疗相关的未决或批准的专利。Mazmanian还是Axial Biotherapeutics的联合创始人兼董事，Axial Biotherapeutics是一家为这些疾病开发肠道治疗药物的公司。