Здравствуйте,
Ситуация: есть данные по шести экспериментальным группам. Хочу сделать АНОВУ, знаю что для этого данные должны быть нормально распределены. Вопрос такой: Как смотреть распределение (1) у всех групп по отдельности или (2) у всех групп вместе. Если (1) у 5 групп нормально распределены а у одной нет. Что делать. Что такое Cox-Box трансформация. Как ее сделать. Правда ли что это самая мощная трансформация?
 
| |
[ Вход | Регистрация ]
|
Приведение данных к нормальному распределению: преобразование Бокса-Кокса
Guest, 10.12.2007 02:42
Колобок, 10.12.2007 11:24
1. У каждой группы распределение должно быть нормальным. Если у какой-то группы распределение ненормально, то возможны 2 варианта решения проблемы:
а) плохую группу исключить из анализа или
б) преобразовать все группы так, чтобы данные во ВСЕХ группах были нормально распределены.
2. Дисперсии во ВСЕХ группах должны быть одинаковы. Если это не так, то необходимо применить какое-либо преобразование для выравнивания дисперсий.
а) плохую группу исключить из анализа или
б) преобразовать все группы так, чтобы данные во ВСЕХ группах были нормально распределены.
2. Дисперсии во ВСЕХ группах должны быть одинаковы. Если это не так, то необходимо применить какое-либо преобразование для выравнивания дисперсий.
Guest, 10.12.2007 21:11
Thanks колобок.
А как насчет Cox-Box?
А как насчет Cox-Box?
Den-N, 10.12.2007 23:18
насчет Cox-Box
Согласно Кенделлу все преобразования можно разделить на 2 группы – (1) универсальное и (2) частные. Последние подразделяются на преобразования: а) нормали-зующее ошибки, б) стабилизирующие дисперсии, в) ведущие к аддитивности. Универсальное преобразование – преобразование к нормальной линейной модели. Поиском такой функции занимались Дж.Е.П. Бокс и Д.Р. Кокс. Их исследования применимы к любой линейной модели с нормальными ошибками. Общее решение – сложно, но на практике самыми полезными являются степенные и логарифмические преобразования с возможным сдвигом на константу и именно такое упрощенное двухпараметрическое семейство преобразований называется преобразованием Бокса-Кокса (Box-Cox transformation). В большинстве пакетов сдвиг на константу не предусмотрен и используется еще более простое однопараметрическое преобразование, также называемое преобразованием Бокса-Кокса:
Система: y=(x^λ)/λ для λ не равной нулю и y=lnx для λ равной нулю. λ – параметр, расчитываемый по итерационному алгоритму для конкретного набора данных. В зависимости от его значения преобразование Бокса-Кокса включает следующие част-ные случаи:
λ=-1 y=1/x
λ=-0,5 y=1/sqrt(x)
λ=0 y=lnx
λ=0,5 y=sqrt(x)
λ=2 y=x^2
На практике, например, может оказаться, что преобразование квадратного корня еще слабовато (не поджимает справа хвост распределения), а логарифмическое - уже слишком сильное (хвостик появляется слева). Раньше пришлось бы выбирать из этих двух, но преобразвание Бокса-Кокса в этом случае (λ между 0 и 0,5) найдет промежуточное решение. Поэтому, если истинное нормализующее преобразование неизвестно, преобразвание Бокса-Кокса считается лучшим.
Если преобразования не устраняют ненормальность и не выравнивают дисперсии - средние можно сравнить непараметрическими методами, например по Краскелу-Уоллису. Однако исследование только средних для некоторых задач - слишком примитивно. Помимо сдвига положения характеристик центральной тенденции распределения (среднее, мода, медиана), в экспериментальных группах возможно изменение рассеяния (дисперсии) значений или изменения формы распредлений. Поэтому если "Если (1) у 5 групп нормально распределены а у одной нет" интереснее и возможно полезнее подтвердить статистически различия в форме распределений и искать этому объяснения. Для сравнения формы и рассеяния есть специ-альные критерии.
Согласно Кенделлу все преобразования можно разделить на 2 группы – (1) универсальное и (2) частные. Последние подразделяются на преобразования: а) нормали-зующее ошибки, б) стабилизирующие дисперсии, в) ведущие к аддитивности. Универсальное преобразование – преобразование к нормальной линейной модели. Поиском такой функции занимались Дж.Е.П. Бокс и Д.Р. Кокс. Их исследования применимы к любой линейной модели с нормальными ошибками. Общее решение – сложно, но на практике самыми полезными являются степенные и логарифмические преобразования с возможным сдвигом на константу и именно такое упрощенное двухпараметрическое семейство преобразований называется преобразованием Бокса-Кокса (Box-Cox transformation). В большинстве пакетов сдвиг на константу не предусмотрен и используется еще более простое однопараметрическое преобразование, также называемое преобразованием Бокса-Кокса:
Система: y=(x^λ)/λ для λ не равной нулю и y=lnx для λ равной нулю. λ – параметр, расчитываемый по итерационному алгоритму для конкретного набора данных. В зависимости от его значения преобразование Бокса-Кокса включает следующие част-ные случаи:
λ=-1 y=1/x
λ=-0,5 y=1/sqrt(x)
λ=0 y=lnx
λ=0,5 y=sqrt(x)
λ=2 y=x^2
На практике, например, может оказаться, что преобразование квадратного корня еще слабовато (не поджимает справа хвост распределения), а логарифмическое - уже слишком сильное (хвостик появляется слева). Раньше пришлось бы выбирать из этих двух, но преобразвание Бокса-Кокса в этом случае (λ между 0 и 0,5) найдет промежуточное решение. Поэтому, если истинное нормализующее преобразование неизвестно, преобразвание Бокса-Кокса считается лучшим.
Если преобразования не устраняют ненормальность и не выравнивают дисперсии - средние можно сравнить непараметрическими методами, например по Краскелу-Уоллису. Однако исследование только средних для некоторых задач - слишком примитивно. Помимо сдвига положения характеристик центральной тенденции распределения (среднее, мода, медиана), в экспериментальных группах возможно изменение рассеяния (дисперсии) значений или изменения формы распредлений. Поэтому если "Если (1) у 5 групп нормально распределены а у одной нет" интереснее и возможно полезнее подтвердить статистически различия в форме распределений и искать этому объяснения. Для сравнения формы и рассеяния есть специ-альные критерии.
Guest, 11.12.2007 02:06
спасибо
Entropy, 09.11.2008 13:31
И все же, как провести трансформацию данных?
Den-N, 10.11.2008 18:15
Преобразование Бокса-Кокса удобно делать в программе AtteStat:
(программа бесплатная, русскоязычная).
(программа бесплатная, русскоязычная).
guest: Sergey , 05.01.2009 21:03
Здравствуйте! А я вот такое преобразование Бокса-Кокса делаю: (х +0,0005) и возводишь всё в степень 0,33, но предварительно логарифмируя своё хозяйство (опубликовано).
Если будет интересно, расскажу где и поподробнее.
Если будет интересно, расскажу где и поподробнее.
Den-N, 06.01.2009 06:48
(guest: Sergey @ 05.01.2009 21:03)
Здравствуйте! А я вот такое преобразование Бокса-Кокса делаю: (х +0,0005) и возводишь всё в степень 0,33, но предварительно логарифмируя своё хозяйство (опубликовано).Если будет интересно, расскажу где и поподробнее.
Не нужно вводить посетителей сайта в заблуждение! Преобразование Бокса-Кокса выглядит именно так, как я отписал 11.12.2007 и это можно найти во множестве источников:
С теоретической точки зрения это - лучшее из преобразований при неизвестном типе распределения. Есть другие преобразования по этому принципу - более общие, но менее распространенные, например Бокса-Кокса со сдвигом на константу, преобразование Йео-Джонсона (Yeo-Johnson transformation) и др.
А всякой белиберды публикуется изрядное количество. Вот самый известный пример:
bubnilkin, 19.06.2010 08:09
здравствуйте!
как делается обратное преобразование параметров (например, среднего и доверительных интервалов) распределения, рассчитанных по преобразованным (боксом-коксом) данным?
заранее спасибо
как делается обратное преобразование параметров (например, среднего и доверительных интервалов) распределения, рассчитанных по преобразованным (боксом-коксом) данным?
заранее спасибо
Den-N, 12.07.2010 19:57
Зависит от формулы по которой делалось преобразование. Обычно: y=(x^λ-1)/λ. Тогда нужно выписать значение λ, которое выдаёт программа в ходе преобразования Бокса-Кокса. После расчётов с преобразованными данными (средние, ДИ) подставить эти значения в обратную формулу:
х=корень степени λ из (уλ+1), где у - интересующий параметр (среднее, верхний или нижний ДИ) рассчитанный по преобразованным данным, λ - параметр, который выписали, х - интересующий параметр в исходных единицах.
х=корень степени λ из (уλ+1), где у - интересующий параметр (среднее, верхний или нижний ДИ) рассчитанный по преобразованным данным, λ - параметр, который выписали, х - интересующий параметр в исходных единицах.
Это — лёгкая версия форума. Чтобы попасть на полную, щелкните здесь.