Здравствуйте,
Ситуация: есть данные по шести экспериментальным группам. Хочу сделать АНОВУ, знаю что для этого данные должны быть нормально распределены. Вопрос такой: Как смотреть распределение (1) у всех групп по отдельности или (2) у всех групп вместе. Если (1) у 5 групп нормально распределены а у одной нет. Что делать. Что такое Cox-Box трансформация. Как ее сделать. Правда ли что это самая мощная трансформация?
 
| |
[ Вход | Регистрация ]
|
Приведение данных к нормальному распределению: преобразование Бокса-Кокса
Guest, 10.12.2007 02:42
Колобок, 10.12.2007 11:24
1. У каждой группы распределение должно быть нормальным. Если у какой-то группы распределение ненормально, то возможны 2 варианта решения проблемы:
а) плохую группу исключить из анализа или
б) преобразовать все группы так, чтобы данные во ВСЕХ группах были нормально распределены.
2. Дисперсии во ВСЕХ группах должны быть одинаковы. Если это не так, то необходимо применить какое-либо преобразование для выравнивания дисперсий.
а) плохую группу исключить из анализа или
б) преобразовать все группы так, чтобы данные во ВСЕХ группах были нормально распределены.
2. Дисперсии во ВСЕХ группах должны быть одинаковы. Если это не так, то необходимо применить какое-либо преобразование для выравнивания дисперсий.
Guest, 10.12.2007 21:11
Thanks колобок.
А как насчет Cox-Box?
А как насчет Cox-Box?
Den-N, 10.12.2007 23:18
насчет Cox-Box
Согласно Кенделлу все преобразования можно разделить на 2 группы – (1) универсальное и (2) частные. Последние подразделяются на преобразования: а) нормали-зующее ошибки, б) стабилизирующие дисперсии, в) ведущие к аддитивности. Универсальное преобразование – преобразование к нормальной линейной модели. Поиском такой функции занимались Дж.Е.П. Бокс и Д.Р. Кокс. Их исследования применимы к любой линейной модели с нормальными ошибками. Общее решение – сложно, но на практике самыми полезными являются степенные и логарифмические преобразования с возможным сдвигом на константу и именно такое упрощенное двухпараметрическое семейство преобразований называется преобразованием Бокса-Кокса (Box-Cox transformation). В большинстве пакетов сдвиг на константу не предусмотрен и используется еще более простое однопараметрическое преобразование, также называемое преобразованием Бокса-Кокса:
Система: y=(x^λ)/λ для λ не равной нулю и y=lnx для λ равной нулю. λ – параметр, расчитываемый по итерационному алгоритму для конкретного набора данных. В зависимости от его значения преобразование Бокса-Кокса включает следующие част-ные случаи:
λ=-1 y=1/x
λ=-0,5 y=1/sqrt(x)
λ=0 y=lnx
λ=0,5 y=sqrt(x)
λ=2 y=x^2
На практике, например, может оказаться, что преобразование квадратного корня еще слабовато (не поджимает справа хвост распределения), а логарифмическое - уже слишком сильное (хвостик появляется слева). Раньше пришлось бы выбирать из этих двух, но преобразвание Бокса-Кокса в этом случае (λ между 0 и 0,5) найдет промежуточное решение. Поэтому, если истинное нормализующее преобразование неизвестно, преобразвание Бокса-Кокса считается лучшим.
Если преобразования не устраняют ненормальность и не выравнивают дисперсии - средние можно сравнить непараметрическими методами, например по Краскелу-Уоллису. Однако исследование только средних для некоторых задач - слишком примитивно. Помимо сдвига положения характеристик центральной тенденции распределения (среднее, мода, медиана), в экспериментальных группах возможно изменение рассеяния (дисперсии) значений или изменения формы распредлений. Поэтому если "Если (1) у 5 групп нормально распределены а у одной нет" интереснее и возможно полезнее подтвердить статистически различия в форме распределений и искать этому объяснения. Для сравнения формы и рассеяния есть специ-альные критерии.
Согласно Кенделлу все преобразования можно разделить на 2 группы – (1) универсальное и (2) частные. Последние подразделяются на преобразования: а) нормали-зующее ошибки, б) стабилизирующие дисперсии, в) ведущие к аддитивности. Универсальное преобразование – преобразование к нормальной линейной модели. Поиском такой функции занимались Дж.Е.П. Бокс и Д.Р. Кокс. Их исследования применимы к любой линейной модели с нормальными ошибками. Общее решение – сложно, но на практике самыми полезными являются степенные и логарифмические преобразования с возможным сдвигом на константу и именно такое упрощенное двухпараметрическое семейство преобразований называется преобразованием Бокса-Кокса (Box-Cox transformation). В большинстве пакетов сдвиг на константу не предусмотрен и используется еще более простое однопараметрическое преобразование, также называемое преобразованием Бокса-Кокса:
Система: y=(x^λ)/λ для λ не равной нулю и y=lnx для λ равной нулю. λ – параметр, расчитываемый по итерационному алгоритму для конкретного набора данных. В зависимости от его значения преобразование Бокса-Кокса включает следующие част-ные случаи:
λ=-1 y=1/x
λ=-0,5 y=1/sqrt(x)
λ=0 y=lnx
λ=0,5 y=sqrt(x)
λ=2 y=x^2
На практике, например, может оказаться, что преобразование квадратного корня еще слабовато (не поджимает справа хвост распределения), а логарифмическое - уже слишком сильное (хвостик появляется слева). Раньше пришлось бы выбирать из этих двух, но преобразвание Бокса-Кокса в этом случае (λ между 0 и 0,5) найдет промежуточное решение. Поэтому, если истинное нормализующее преобразование неизвестно, преобразвание Бокса-Кокса считается лучшим.
Если преобразования не устраняют ненормальность и не выравнивают дисперсии - средние можно сравнить непараметрическими методами, например по Краскелу-Уоллису. Однако исследование только средних для некоторых задач - слишком примитивно. Помимо сдвига положения характеристик центральной тенденции распределения (среднее, мода, медиана), в экспериментальных группах возможно изменение рассеяния (дисперсии) значений или изменения формы распредлений. Поэтому если "Если (1) у 5 групп нормально распределены а у одной нет" интереснее и возможно полезнее подтвердить статистически различия в форме распределений и искать этому объяснения. Для сравнения формы и рассеяния есть специ-альные критерии.
Guest, 11.12.2007 02:06
спасибо
Entropy, 09.11.2008 13:31
И все же, как провести трансформацию данных?
Den-N, 10.11.2008 18:15
Преобразование Бокса-Кокса удобно делать в программе AtteStat:
(программа бесплатная, русскоязычная).
(программа бесплатная, русскоязычная).
guest: Sergey , 05.01.2009 21:03
Здравствуйте! А я вот такое преобразование Бокса-Кокса делаю: (х +0,0005) и возводишь всё в степень 0,33, но предварительно логарифмируя своё хозяйство (опубликовано).
Если будет интересно, расскажу где и поподробнее.
Если будет интересно, расскажу где и поподробнее.
Den-N, 06.01.2009 06:48
(guest: Sergey @ 05.01.2009 21:03)
Здравствуйте! А я вот такое преобразование Бокса-Кокса делаю: (х +0,0005) и возводишь всё в степень 0,33, но предварительно логарифмируя своё хозяйство (опубликовано).Если будет интересно, расскажу где и поподробнее.
Не нужно вводить посетителей сайта в заблуждение! Преобразование Бокса-Кокса выглядит именно так, как я отписал 11.12.2007 и это можно найти во множестве источников:
С теоретической точки зрения это - лучшее из преобразований при неизвестном типе распределения. Есть другие преобразования по этому принципу - более общие, но менее распространенные, например Бокса-Кокса со сдвигом на константу, преобразование Йео-Джонсона (Yeo-Johnson transformation) и др.
А всякой белиберды публикуется изрядное количество. Вот самый известный пример:
bubnilkin, 19.06.2010 08:09
здравствуйте!
как делается обратное преобразование параметров (например, среднего и доверительных интервалов) распределения, рассчитанных по преобразованным (боксом-коксом) данным?
заранее спасибо
как делается обратное преобразование параметров (например, среднего и доверительных интервалов) распределения, рассчитанных по преобразованным (боксом-коксом) данным?
заранее спасибо
Den-N, 12.07.2010 19:57
Зависит от формулы по которой делалось преобразование. Обычно: y=(x^λ-1)/λ. Тогда нужно выписать значение λ, которое выдаёт программа в ходе преобразования Бокса-Кокса. После расчётов с преобразованными данными (средние, ДИ) подставить эти значения в обратную формулу:
х=корень степени λ из (уλ+1), где у - интересующий параметр (среднее, верхний или нижний ДИ) рассчитанный по преобразованным данным, λ - параметр, который выписали, х - интересующий параметр в исходных единицах.
х=корень степени λ из (уλ+1), где у - интересующий параметр (среднее, верхний или нижний ДИ) рассчитанный по преобразованным данным, λ - параметр, который выписали, х - интересующий параметр в исходных единицах.
guest: Ленчик , 11.06.2013 00:59
Здравствуйте!
Кто ранее успел скачать программу AtteStat - поделитесь, пожалуйста. Ситуация аналогична первому сообщению в этой теме. Хочу разобраться с преобразованием Бокса-Кокса. Спасибо большое за толковые разъяснения!!!
Кто ранее успел скачать программу AtteStat - поделитесь, пожалуйста. Ситуация аналогична первому сообщению в этой теме. Хочу разобраться с преобразованием Бокса-Кокса. Спасибо большое за толковые разъяснения!!!
Den-N, 12.06.2013 21:02
Пока AtteStat недоступен можете сделать Б-К в отличном бесплатном пакете PAST:
или в маленькой, но тоже отличной программке:
или в маленькой, но тоже отличной программке:
Cаша, 22.05.2014 11:31
Скажите, а если распределение привести к нормально, то полученнеы в итоге средние и нормы будут применимы к старой ненормальной выборке??
P.S.строю шкалу и выделяю уровни проявления признака
P.S.строю шкалу и выделяю уровни проявления признака
Den-N, 25.05.2014 08:56
1. Не совсем понятно как вы собираетесь использовать преобразование Бокса-Кокса. Если некий непрерывный ряд проявления количественного признака вы хотите искусственно огрубить, разбив на категории типа "слабо - средне - сильно", то для этого не требуется нормализация. Вы можете с тем же успехом разрезать на эти куски любое произвольное распределение, а границы "выбрать на глазок". То, что в случае нормального распределения "на глазок" можно заменить сигмами не снимает проблему искусственности такого разделения. Т.е. это - скорее псевдонаучное занятие, чем научное. В результате наиболее информационно ёмкая шкала отношений будет огрублена с потерей информации до порядковой шкалы.
2. Если распределение признака не унимодальное, а представляет собой смесь из нескольких распределений, то использование преобразования может помочь обнаружить эту полимодальность, которую плохо видно в случае асимметричного распределения признака. В этом случае и преобразование и категоризация оправданы, т.к. мы, напротив, стремимся выделить некие естественные группы.
3. Все значения (средние, доверительные интервалы, какие-то границы), полученные на преобразованных данных нужно затем ретрансформировать в исходную шкалу. Если сильно не заморачиваться - можно использовать просто обратное преобразование. Если заморачиваться, то такая ретрансформация называется наивной (naive retransformation) и вычисленные с её помощью оценки для популяции будут смещёнными (тем сильнее, чем сильнее изменчивость показателя). Формулы для грамотной ретрансформации после Бокса-Кокса есть в узкоспециализированной литературе и их предложено даже несколько.
2. Если распределение признака не унимодальное, а представляет собой смесь из нескольких распределений, то использование преобразования может помочь обнаружить эту полимодальность, которую плохо видно в случае асимметричного распределения признака. В этом случае и преобразование и категоризация оправданы, т.к. мы, напротив, стремимся выделить некие естественные группы.
3. Все значения (средние, доверительные интервалы, какие-то границы), полученные на преобразованных данных нужно затем ретрансформировать в исходную шкалу. Если сильно не заморачиваться - можно использовать просто обратное преобразование. Если заморачиваться, то такая ретрансформация называется наивной (naive retransformation) и вычисленные с её помощью оценки для популяции будут смещёнными (тем сильнее, чем сильнее изменчивость показателя). Формулы для грамотной ретрансформации после Бокса-Кокса есть в узкоспециализированной литературе и их предложено даже несколько.
guest: great , 31.10.2018 18:24
Much obliged to you for setting aside an ideal opportunity to distribute this data extremely valuable!
guest: 123 , 31.05.2022 09:11
SINCE LAUNCHING HIS INVASION OF UKRAINE, RUSSIA'S PRESIDENT VLADIMIR PUTIN HAS FACED AN UNPRECEDENTED GLOBAL RESPONSE, FROM CULTURAL BOYCOTTS TO COUNTRIES RADICALLY TRANSFORMING THEIR FOREIGN POLICIES. BUT THE LONGER THE CONFLICT GOES ON, THE MORE SIGNS THERE ARE OF DIVISIONS.
guest: 123 , 08.06.2022 12:46
South Korea and the US launched eight missiles on Monday, in response to a volley of ballistic missiles fired by North Korea the previous day. It comes as Pyongyang continues to escalate its missile tests. South Korea's president Yoon Suk-yeol.
guest: 123 , 11.06.2022 10:46
Saxon Mullins says she once had romantic dreams of what her 'first time' would be like. In none was she paralysed by fear in a Sydney alleyway, aged 18, with a man she had met only minutes earlier. Ms Mullins has always maintained this incident - in 2013 - was rape. It spurred her to push for legal reform in Australia, after a long court battle ended with a judge finding the man involved did not realise she hadn't consented to sex.
Это — лёгкая версия форума. Чтобы попасть на полную, щелкните здесь.