Витамин D при беременности: один значимый результат из одиннадцати после поправки

Позитивный заголовок из преимущественно нулевого исследования

Исследование в JAMA Network Open — вторичный анализ COPSAC2010, датского рандомизированного слепого плацебо-контролируемого испытания. Изначальное испытание было спроектировано и рассчитано на проверку того, снижает ли высокодозный пренатальный витамин D3 детскую астму и свистящее дыхание, — не снизил. Когнитивные исходы в 10 лет оценивались как вторичная конечная точка post hoc у 498 детей: 247 в группе высокой дозы (2800 МЕ/день плюс стандартные 400 МЕ, с 24-й недели беременности до недели после родов) и 251 — только на стандартной дозе.

Что цифры говорят на самом деле

Исследователи проверили одиннадцать когнитивных доменов: оценочный интеллект, скорость обработки, время реакции, устойчивое внимание, моторная скорость, вербальная память, зрительная память, вербальная рабочая память, пространственная рабочая память, планирование и гибкость/переключение установки.

Из одиннадцати показателей:

• Зрительная память: β = 0,24 СО (95% ДИ 0,06–0,42), p = .01 — пережила поправку
• Вербальная память: β = 0,17 СО (95% ДИ 0,03–0,32), p = .02 — пережила поправку
• Гибкость/переключение установки: β = 0,19 СО, p = .04 — не пережила поправку
• Оценочный интеллект: эффекта нет; p = .90
• Все остальные восемь показателей: незначимы

Методом поправки был контроль доли ложных отклонений Бенджамини-Хохберга, применённый внутри когнитивных доменов, а не по всем одиннадцати функциям. Два выживших попадания — вербальная и зрительная память — оказались в одном и том же двухпунктовом домене «память», так что поправка БХ внутри этого домена почти ничего не скорректировала.

Хирургическая критика треда

В треде участник с высокой кармой и обширной историей на HN изложил методологическую проблему предельно ясно:

«Они проверили 11 разных показателей. Значимость показали лишь 3 теста, но после поправки на множественную проверку значимость 2 из них исчезла. Ниже порога значимости остался лишь 1 тест… Это исследование не очень убедительно. Классический трюк p-хакинга — включить много мелких тестов, чтобы, если один из них вылезет как выброс, заявить, что что-то значимо». — комментатор HN с 52k карма

Комментатор, копнувший глубже в статистику, указал, почему именно поправка оказалась беззубой:

«Две „победившие“ функции, вербальная память (p = .02) и зрительная память (p = .01), обе сидят внутри домена памяти — который содержит ровно эти две функции. БХ внутри семейства из 2 членов почти ничего не корректирует: самый мягкий порог — всего 0,05, а оба p-значения уже под ним, так что q-значения возвращаются как .02 и .02. Поправка была беззубой по построению… Рецензент должен был заставить их показать результат по всему семейству рядом». — комментатор HN о статистике

Сооснователь Apache Cassandra и DataStax выразился ещё короче:

«Это прямо в аннотации, разве не в этом вся игра?» — jbellis, основатель Brokk AI

Что это исследование может и чего не может подкрепить

Датская когорта достаточна по витамину D по северо-европейским меркам. Обобщение на популяции с подлинным дефицитом — цветных женщин, которым нужны более высокие дозы для достижения эквивалентного уровня в сыворотке, или популяции в условиях малого солнца с иным базовым уровнем — потребовало бы отдельных испытаний. Авторы исследования признают статус post hoc, сообщают о скромных размерах эффекта и применяют какую-то поправку. Это и делает риторическую ловкость рук труднее заметной: тщательно выглядящие леса окружают нулевой первичный исход и выживший-по-построению вторичный позитив. Защитимый вывод из этих данных — что пренатальный высокодозный D3 в D-достаточной когорте не дал значимой пользы по всей батарее когнитивных тестов. Данные оправдывают дальнейшую целевую репликацию именно по исходам памяти — а не рекомендацию к приёму добавок.