Мне нужно рассчитать корреляцию между двумя рядами данных с учетом надежности отдельных значений. Каждое значение имеет свою стандартную ошибку. Вопрос: как рассчитать суммарный вес каждой пары для использования в формуле взвешенной корреляции -

1. Как величину, обратную ошибке их суммы?
2. Как-то иначе?

Буду крайне признателен за совет.

http://www.personality-project.org/r/psych/help/cor.wt.html

Проблема в том, что эта и подобные функции предполагают, что вектор весов равен по длине векторам, между которыми считается корреляция. Вопрос в том, как суммировать веса для данных, если каждый из показателей, между которыми нужно найти корреляцию, имеет свою стандартную ошибку.

если дизайн данных таков, что в нём принципиально не было ни одного парного измерения, то о какой корреляции Вы спрашиваете?

даже если построить семплер таких переменных с указанными матожиданиями и стандартными ошибками, то никакой дополнительной информации извлечь не удастся.

Не сталкивался на практике, но такая ситуация возможна. Например, нужно определить корреляцию двух показателей в 15 образцах почвы. Первый показатель определяется по одной методике и трижды с выводом среднего, а второй - трижды по другой с выводом своего среднего. Получается пара из 2-х значений, каждое из которых измерено со своей точностью. В другой паре -они будут своими. И таких пар 15, причём хочется чтобы неточные измерения меньше влияли на итоговую корреляцию.

>a-marko
Не попадалось нигде про такое, и вообще со взвешиванием не работаю. Но уж если взвешивать, то логичнее брать в знаменатель веса не сумму, а произведение ошибок, т.к. в основе корреляции - именно произведение стандартизованных значений х и у. А вот что взять в качестве ошибки - стандартное отклонение или стандартную ошибку - сомневаюсь. Если в каждой паре значения получались на основании одного числа определений среднего, то это - не принципиально.

Тогда, раз есть парные измерения (раз есть образцы обработанные разными методами, а то исходно очень непонятно сформулировано), то строить семплер. Каждый раз извлекать одно значение для каждой пробы почвы и считать интересующую статистику.

Да, смысл именно такой! В моем случае у меня есть значения обилия нескольких видов за два сезона, каждое со своей ошибкой. Меня интересует корреляция между обилием в первый и второй сезон для всей группы видов в целом - при этом я хочу, чтобы виды, у которых обилие определено точнее, давали больший вклад в корреляцию.



Большое спасибо за совет!

Спасибо, никогда не пользовался такой техникой. А нет ли у Вас каких нибудь ссылок, где о ней можно узнать подробнее?

Правда, в моем случае воспользоваться ей вряд ли удастся, поскольку расчет обилия видов я веду по стандартным упрощенным формулам, которые дают готовые значения со стандартными ошибками. "Разложить" исходные данные на отдельные пробы при этом нельзя.

Вместо аналитического вывода делается прямой счет с помощью монте-карло. Основание как у бутстрепа и рандомизации, например можно на Эфрона сослаться.

Я все равно плохо представляю что за данные. Ну не "пробы" а "виды"? Есть набор "чего то" у каждого "чего то" есть матожидание и среднеквадратичное для каждого "показателя" который характеризует каждую из проб. Выборка для этой ситуации это для каждого "чего то" извлечь по значению для каждого из "показателей". Ну и по набору данных посчитать например коэффициент корреляции. Естественно надо повторить этот расчет 10000 раз (а лучше смотреть как этот процесс "сходится") и построить распределение для этих 10000 значений коэффициента корреляции. Если нужны доверительные интервалы и матожидание, то сразу их и получаем в результате.

Понял, спасибо.

Я использую методику расчета обилия птиц Равкина-Челинцева. Исходной единицей выборки служит индивидуальная дальность обнаружения особи. Из них рассчитывается среднее гармоническое, которое служит коэффициентом пересчета из числа встреченных птиц в плотность населения. Сложным образом высчитывается и станд. ошибка ее оценки, но на практике используется упрощенная формула 1.2/sqrt(K), где K - число встреч.

Скорее всего птицы "одного вида" и объединены в "один случай"? Или "особь птицы" как то индивидуально идентифицируется? То что является "точкой" на коррелограмме (scatter plot) и надо извлекать из независимых семплеров для её "x" и "y". За "один цикл" семплинга надо получить по одной реализации для всех "точек". Это будет симулированная выборка, если таких выборок накопить достаточно много, то можно рассчитать по каждой из них нужную статистику и по сумме всех расчетов распределение этой "нужной статистики. Такой подход максимально учтет всю имеющуюся информацию.

Сложность расчета показателей не представляет никакой помехи для применения к этим показателям ресемплинга и прямого монте-карло расчета распределения этих показателей по исходным распределениям (или параметрам распределений как в этом случае).

Проблема в том, что каждый "случай", т.е. значение обилия конкретного вида за конкретный сезон - это НЕ среднее арифметическое из отдельных независимых проб. Оно рассчитывается как N/(B*L), где N - число встреченных птиц, B - среднее гармоническое дальностей их обнаружения, L - длина маршрута.

Если бы я рассчитал обилие по данным отдельных "проб", т.е. на основе дальностей обнаружения каждой конкретной встречи, и потом усреднил эти показатели, результат будет совсем другой.

Т.е., как мне кажется, независимых семплеров тут просто нет. Значение обилия и их ошибка получаются только на основе всей совокупности регистраций, в рамках принятой математической модели, на которой основан метод.

Это значит что всё еще проще, пишете функцию которая для данной формулы N/(B*L) считает значение по имеющейся выборке. потом перевыбираете эту выборку "с возвращением" достаточное число раз (ну 10000 например) и для каждой выборки получаете значение этой статистики-формулы. Используете полученное распределение (или перцентили нужные, или параметры распределения, или напрямую из неё извлекаете случайные значения для семплеров более высокого порядка).

Идея понятна, спасибо!

This is actually the kind of information I have been trying to find. Thank you for writing this information.
http://www.south-craft.com

SINCE LAUNCHING AMB CASINO HIS INVASION OF UKRAINE, RUSSIA'S FC SLOT PRESIDENT VLADIMIR PUTIN 88KTC HAS FACED AN UNPRECEDENTED 11HILO GLOBAL RESPONSE, FROM CULTURAL BOYCOTTS TO 123GOAL COUNTRIES RADICALLY 123VEGA TRANSFORMING THEIR ALLBET FOREIGN POLICIES. BUT THE สูตรสล็อต LONGER THE CONFLICT CANDY BURST GOES ON, THE MORE SIGNS THERE ปั่นสล็อต ARE OF DIVISIONS.

South Korea 123VEGA and the US launched WAZDAN eight missiles WM CASINO on Monday, in AFFILIATE response to a ลิงค์รับทรัพย์ volley of ballistic missiles fired by North Korea the 123GOAL previous day. It comes 88KTC as Pyongyang continues FC SLOT to escalate its AMB CASINO missile tests. South 11HILO Korea's president Yoon Suk-yeol.

Saxon Mullins 123VEGA says she once had PRAGMATIC PLAY romantic dreams of what her 'first time' would ICONIC GAMING be like. In none was หวยปิงปอง she paralysed by fear in a Sydney ปั่นสล็อต alleyway, aged 18, with a 123GOAL man she had met only minutes earlier. Ms 88KTC Mullins has always maintained FC SLOT this incident - in 2013 - was rape. It spurred AMB CASINO her to push for legal 11HILO reform in Australia, after a long court battle ended with a judge finding the man involved did not realise she hadn't consented to sex.