Полная версия страницы  English  

Логистическая регрессия

elenag1999, 29.10.2014 17:19
А есть ли теоретическая предпосылка/прецедент для использования логистической регрессии с групповой принадлежностью (=определленной экспериментатором) в качестве зависимой переменной? Скажем - есть 2 группы, контроль и обработанные. Померяно много чего (параметр 1, 2, 3 и т.д.). Логистическая регрессия с - внимание - группой (=зависимой переменной) и параметрами 1, 2, 3.. (=независимые переменные) выбирает параметр 2 и 3 как достоверно влияющие на групповую принадлежность. После чего делается вывод о том, что в группе А параметры 2 и 3 достоверно меняются (в соответствующем направлении определенном odds ratio)...

Чем такой подход неправомерен (если игнорировать саму идею зависимых и независимых переменныхsmile.gif)?
PS2004R, 30.10.2014 10:03
(elenag1999 @ 29.10.2014 17:19)
Ссылка на исходное сообщение  
Чем такой подход неправомерен (если игнорировать саму идею зависимых и независимых переменныхsmile.gif)?


Нормальный подход и предполагает, что данные описывает регрессионная модель. (а все эти дисперсионные анализы от привычки, и невозможности когда то эффективно считать)
elenag1999, 30.10.2014 18:07
вот и мне так кажетсяsmile.gif
тот же вопрос кинула на ResearchGate - отличные ответы, посмотрите кому интересно: https://www.researchgate.net/post/Can_logis...sponse_variable
PS2004R, 30.10.2014 18:56
(elenag1999 @ 30.10.2014 18:07)
Ссылка на исходное сообщение  вот и мне так кажетсяsmile.gif
тот же вопрос кинула на ResearchGate - отличные ответы, посмотрите кому интересно: https://www.researchgate.net/post/Can_logis...sponse_variable


хитрый планТМ smile.gif этож надо региться или там, или в мордокниге smile.gif
Den-N, 30.10.2014 19:02
Выскажусь прежде чем схожу по ссылке посмотреть что вам умного посоветовали smile.gif

Думаю, что игнорировать зависимость/независимость переменных неправильно. Ведь и когда мы строим обычную регрессию мы чётко различаем "у по х" или "х по у", и даже функции получаются совсем разные... Вот мы сейчас упрекаем предшественников в том, что они выворачивали проблему сравнений наизнанку, когда по-сути зависимые переменные анализировали как групповые факторы и всё считали t-критерием и дисперсионным анализом (ну или их непараметрическими аналогами). Если же мы будем сейчас так же выворачивать наизнанку проблему с группами, искусственно делая их зависимыми переменными и обсчитывая логистической регрессией, то чем мы лучше?

Считаю, что если задачу в принципе можно сформулировать в терминах прогноза, то аппарат логистической регрессиии, в т.ч. множественной уместен и необходим. Тогда строим модель для прогноза. Если же нет, то правильнее будет использовать ANOVA или MANOVA для поиска собственно межгрупповых различий, или методы дискриминантного анализа для выявления особенностей для максимального разделения групп и построения дискриминантных ключей.
elenag1999, 30.10.2014 22:10
да ничем мы не лучше! smile.gif

мультивариантный анализ вполне проходит, но полного удовлетворения не приносит... поскольку основная задача не определить переменные достоверно связанные с "группами", а найти их степень влияния на вероятность принадлежности к той или иной группе.
MANOVA не годится (данные несбалансированы, негомогенны и т. д.), а PERMANOVA, CHAID и PLS (+PLS-DA) - вполне. Но логистическая регрессия красивее, особенно odds ratio...

Прошу прощения за ссылку, про региться я не подумала.
PS2004R, 31.10.2014 18:01
(Den-N @ 30.10.2014 19:02)
Ссылка на исходное сообщение  
Считаю, что если задачу в принципе можно сформулировать в терминах прогноза, то аппарат логистической регрессиии, в т.ч. множественной уместен и необходим. Тогда строим модель для прогноза. Если же нет, то правильнее будет использовать ANOVA или MANOVA для поиска собственно межгрупповых различий, или методы дискриминантного анализа для выявления особенностей для максимального разделения групп и построения дискриминантных ключей.


1) Да, у логистической регрессии проблема с мультиколинеарностью. В неё вообще лучше отправлять результаты PCA преобразования исходных данных. Тогда она пожалуй ничем не будет отличаться от дискриминантного многомерного анализа.

Хотя обычный линейный многомерный дискриминантный анализ конечно как средство анализа хорош.

2) Можно еще строить байесовскую сеть (если достаточно данных). Она же даёт возможность и задавать модели сети любые "вопросы" (сочетания известных параметров) о наиболее ожидаемом поведении системы.
elenag1999, 31.10.2014 18:16
с мультиколлинеарностью как раз осложнений нет и PCA неактуально (нужны значения самих переменных а не латентные преобразования).

И дискриминантный анализ сделать не проблема... который в принципе упирается все в ту же дилемму - классификация вместо регрессии??, и в необходимость обоснования использования независимой бинарной переменной (treatment) в качестве зависимой бинарной переменной.

проблема-то существует...
Den-N, 01.11.2014 04:34
(elenag1999 @ 31.10.2014 01:10)
Ссылка на исходное сообщение задача не определить переменные достоверно связанные с "группами", а найти их степень влияния на вероятность принадлежности к той или иной группе.

Тогда именно логистическая регрессия и нужна!
Из известных мне пакетов с графическим интерфейсом она лучше всего реализована в MedCalс. В ознакомительной двухнедельной версии ничего не урезано и помощь хорошая: http://www.medcalc.org/manual/logistic_regression.php . Считает сразу и значимость, и показатели диагностической эффективности, включая площадь под ROC-кривой, сама пересчитывает коэффициенты в отношения шансов и строит для них 95% ДИ.
elenag1999, 01.11.2014 12:22
Спасибо! Вот и я склоняюсь к тому...
В MedCalc и правда славненько так выводится табличка со всем необходимым. Но, в принципе, много пакетов считают логистическую регрессию достойно.

А вот что ищу, но пока безрезультатно, так это возможность Mixed models в логистической регрессии. Не попадалось?

Den-N: А что вы думаете по поводу Optimal discriminant analysis (http://en.wikipedia.org/wiki/Optimal_discriminant_analysis). Метод чрезвычайно мало используется, хотя описание довольно привлекательно.
PS2004R, 01.11.2014 19:52
(elenag1999 @ 01.11.2014 12:22)
Ссылка на исходное сообщение  

Den-N: А что вы думаете по поводу Optimal discriminant analysis (http://en.wikipedia.org/wiki/Optimal_discriminant_analysis). Метод чрезвычайно мало используется, хотя описание довольно привлекательно.


Какое описание?! Исходная статья авторов не доступна, а в интернетах какой то бред извините написан и маркетинговая классификация в стиле "китайского императора" методов ML по второй ссылке со страницы. smile.gif

Дискриминантный анализ это такой же метод перепроецирования данных как и PCA, только критерий вращения вводимых ортогональных осей забрать максимум дисперсии между разделяемыми группами. Там нет рыбы деревьев smile.gif
PS2004R, 01.11.2014 20:05
(elenag1999 @ 01.11.2014 12:22)
Ссылка на исходное сообщение 

А вот что ищу, но пока безрезультатно, так это возможность Mixed models в логистической регрессии. Не попадалось?




Например вот такое есть

http://cran.r-project.org/web/packages/CLME/CLME.pdf
elenag1999, 01.11.2014 20:17
отмахнуться легко, а подумать? со статьями там все не так плохо: http://scholar.google.com/citations?user=7nmb-u4AAAAJ&hl=sv

и судя пo описанию метода, ортогональных осей (или других вариантов вращения, как в линейном дискриминантном анализе) там нет...а деревья естьsmile.gif
PS2004R, 01.11.2014 20:51
(elenag1999 @ 01.11.2014 20:17)
Ссылка на исходное сообщение  отмахнуться легко, а подумать? со статьями там все не так плохо: http://scholar.google.com/citations?user=7nmb-u4AAAAJ&hl=sv

и судя пo описанию метода, ортогональных осей (или других вариантов вращения, как в линейном дискриминантном анализе) там нет...а деревья естьsmile.gif



Мда --- "кто ж его посадит, он же памятник"ТМ smile.gif Это вообще не метод, а журнал? smile.gif

A guidebook with software for Windows. Washington DC: American Psychological Association

Optimal Data Analysis (ODA) is a multidisciplinary journal specializing in maximum-
accuracy methods, which together are subsumed as constituents of the optimal data
analysis (ODA) paradigm. Articles published in ODA are parsed into sections. Invited articles
are written in response to the Editor's invitation. Review articles present reviews of theory,
method, or empirical findings relating to the ODA paradigm. Method articles discuss
technical aspects of optimal or heuristic algorithms and analytic processes. Versus articles

Нашел в журнале и метод, обычные деревья. И чем "прямоугольные" границы между группами разделяемыми лучше "плоскостей" LDA (и зачем вообще это называть дискриминантным анализом) осталось для меня секретом smile.gif

Кроме того все эти деревья работают только в "областях пространства возможных значений данных" обильно покрытых этими самыми данными. В "отдалении от реальных замеров" их прогностическая сила стремиться к нулю. Это методы по определению крайне слабые в экстраполяции frown.gif
elenag1999, 01.11.2014 22:16
Optimal Data Analysis - журнал и софт. Optimal Discriminant Analysis - метод, с 2мя типами моделей CТА (Classification tree analysis) и UniODА (Univariate ODA), cчитают много чего, включая odds ratio. Критических анализов не нашла, особо хвалебных тоже, но используются оба весьма редко.

В отдалении от реальных замеров, ценность любой прогностической силы сомнительнаsmile.gif Мне любопытно сравнить с той же логистической регрессией и другими алгоритмами классификации (CHAID...), попробовать надо.
PS2004R, 02.11.2014 18:20
(elenag1999 @ 01.11.2014 22:16)
Ссылка на исходное сообщение  Optimal Data Analysis - журнал и софт. Optimal Discriminant Analysis - метод, с 2мя типами моделей CТА (Classification tree analysis) и UniODА (Univariate ODA), cчитают много чего, включая odds ratio. Критических анализов не нашла, особо хвалебных тоже, но используются оба весьма редко.

В отдалении от реальных замеров, ценность любой прогностической силы сомнительнаsmile.gif Мне любопытно сравнить с той же логистической регрессией и другими алгоритмами классификации (CHAID...), попробовать надо.


1) Проводить границу по одному показателю эквивалентно дереву решений. Получающие границы между разделяемыми группами по крайней мере это подмножество возможных границ дерева.

Если структура модели отвечает той системе которая выдала на гора оцениваемый датасет, то всё в порядке и с экстраполяцией в области где данных нет.

А интерполяцию обеспечивают вообще любые разумные подходы без каких либо претензий на знание того что там генерировало данные. Собственно весь ажиотаж вокруг бигбигдата обусловлен казусом, когда данные таки насыщают пространство возможных состояний прогнозируемой модели и начинает работать тупая интерполяция.

2) Ну так сделайте семплер, нагенерите данных и посмотрите насколько оно ошибается smile.gif Сейчас это довольно просто сделать.
elenag1999, 02.11.2014 19:36
в процессе...
мне не кажется, что бивариатная логистическая регрессия это случай CLМЕ, но я внимательно не смотрела.
спасибо.
Den-N, 04.11.2014 19:32
(elenag1999 @ 01.11.2014 15:22)
Ссылка на исходное сообщение
А вот что ищу, но пока безрезультатно, так это возможность Mixed models в логистической регрессии. Не попадалось?

Нет, за отсутствием необходимости не копал глубоко...
(elenag1999 @ 01.11.2014 15:22)
Ссылка на исходное сообщение
Den-N: А что вы думаете по поводу Optimal discriminant analysis (http://en.wikipedia.org/wiki/Optimal_discriminant_analysis). Метод чрезвычайно мало используется, хотя описание довольно привлекательно.

Информация о всяких нелинейных и прочее дискриминантных анализах периодически мелькает, но действительно какого-то популярного метода не встречал, да и под оптимальностью тоже можно много чего понимать... Я знаком и использовал метод оптимального шкалирования применительно к анализу главных компонент (CATPCA, Gifi transformations). По этой теме публикаций достаточно, метод есть в двух пакетах: в составе SPSS и в пакете homals для R. Последний очень гибок и позволяет использовать преобразование Gifi (линеаризует многомерные связи количественных, порядковых и качественных показателей) в том числе и для решения задач дискриминации и прогноза (см. подшитую статью, раздел 4.2), но я пока не понял как полученное "оптимальное" решение представить в виде формулы, ключей и т.п.


Файл/ы:

скачать файл homals.pdf
размер: 354.33
кол-во скачиваний: 623


elenag1999, 04.11.2014 21:10
спасибо - на первый взгляд очень подходяще!
guest: great , 31.10.2018 18:30
Much obliged to you for setting aside an ideal opportunity to distribute this data extremely valuable!
http://www.thebigjournal.com
wendywilson123, 27.11.2018 09:20
A derivative of HeLa, the first aneuploid, epithelial-like line derived from human tissue and maintained by serial subculture. Identified as a contaminant in a number of subsequently derived lines, due to poor culture techniques.
olseneduard, 26.03.2019 17:25
Air conditioners are irreplaceable for us nearly every season. They make our house warm in the winter and cool in the summer. It is almost impossible to think of our house without an air conditioner. Although they are an essential part of our life, high high costs of having an air conditioner might push us back. Nevertheless, you can get the best air conditioning service here in Scottsdale. We offer you the best solution to meet your demands and relevant to your budget. AFR Dynamics AC service Scottsdale AZ is helping you to deal with this kind of issues.

For more: https://afrdynamics.com/scottsdale-az/
kubeo88, 13.03.2020 12:07
The information you have posted is really cool and very helpful, I will often visit your site. powerline io
guest: 123 , 31.05.2022 09:10
SINCE LAUNCHING AMB CASINO HIS INVASION OF UKRAINE, RUSSIA'S FC SLOT PRESIDENT VLADIMIR PUTIN 88KTC HAS FACED AN UNPRECEDENTED 11HILO GLOBAL RESPONSE, FROM CULTURAL BOYCOTTS TO 123GOAL COUNTRIES RADICALLY 123VEGA TRANSFORMING THEIR ALLBET FOREIGN POLICIES. BUT THE สูตรสล็อต LONGER THE CONFLICT CANDY BURST GOES ON, THE MORE SIGNS THERE ปั่นสล็อต ARE OF DIVISIONS.
guest: 123 , 08.06.2022 12:58
South Korea 123VEGA and the US launched WAZDAN eight missiles WM CASINO on Monday, in AFFILIATE response to a ลิงค์รับทรัพย์ volley of ballistic missiles fired by North Korea the 123GOAL previous day. It comes 88KTC as Pyongyang continues FC SLOT to escalate its AMB CASINO missile tests. South 11HILO Korea's president Yoon Suk-yeol.
guest: 123 , 09.06.2022 09:35
Elon Musk has 123VEGA threatened to เกมสล็อต walk away from his JOKER GAMING $44bn takeover DREAMGAMING of Twitter, accusing เล่นสล็อต the social media company of "thwarting" his 11HILO requests to learn AMB CASINO more about its user base. In a letter filed FC SLOT with regulators, Mr Musk 88KTC said he was entitled 123GOAL to do his own measurement of spam accounts.
guest: 123 , 11.06.2022 10:35
Saxon Mullins 123VEGA says she once had PRAGMATIC PLAY romantic dreams of what her 'first time' would ICONIC GAMING be like. In none was หวยปิงปอง she paralysed by fear in a Sydney ปั่นสล็อต alleyway, aged 18, with a 123GOAL man she had met only minutes earlier. Ms 88KTC Mullins has always maintained FC SLOT this incident - in 2013 - was rape. It spurred AMB CASINO her to push for legal 11HILO reform in Australia, after a long court battle ended with a judge finding the man involved did not realise she hadn't consented to sex.
Это — лёгкая версия форума. Чтобы попасть на полную, щелкните здесь.
Invision Power Board © 2001-2024 Invision Power Services, Inc.