Имя: Пароль:
IT
 
Корреляция Пирсона (генератор)
, ,
0 AquaKosh
 
25.02.16
17:18
Мужики, нид хелп, если кто в теме сабжа.
Для диссертации потребовалось подогнать кое-какие результаты и, в частности, корреляции Пирсона (выборка 2 по 100 элементов).
Написал более-менее хитрый генератор корреляций (на базе ГСЧ), с проверенной достоверность до 0.45. Теперь же потребовалось увеличить достоверность выше 0.5 и вплоть до 0.7, и вот тут засада - не могу перешагнуть порог в 0.5 (напомню, выборка 2 по 100 элементов).
Кто-нибудь что-то подобное шаманил?
1 Cyberhawk
 
25.02.16
17:19
Это на 1С?
2 Garykom
 
гуру
25.02.16
17:22
А на какой версии?
3 Mikeware
 
25.02.16
17:23
вопрос о диссертации задают на форуме 1снегов....
не, я отстал от этого паравоза....
4 Garykom
 
гуру
25.02.16
17:25
(3) это скорее паравоз пути попутал
5 Garykom
 
гуру
25.02.16
17:26
(3) кста вопрос по дисеру это мелочи, фишка что просит помощи с подделкой результата каких то исследований или выборок
6 AquaKosh
 
25.02.16
17:27
(1) Я делал на 1С (проще/быстрее), но тут не особо принципиально на чём... Тут больше вопрос по нюансам математического алгоритма генерации последовательностей для Пирсона.

(2) На 8.2 (если я правильно понял вопрос про версию).

(3) :) Ну, многие же не просто 1С-ники, а что-то бОльшее. :)
7 AquaKosh
 
25.02.16
17:28
(5) :)))) Я умоляю, никто в школе/универе результаты в лабах не подгонял?
8 Garykom
 
гуру
25.02.16
17:29
(5)+ ладно генератором случайных числе не выходит, понятно

но можно же разобраться в простой формуле коэффициента корреляции этого Пирсона и тупо понять что это просто отклонения от средних значений???
9 Garykom
 
гуру
25.02.16
17:31
(7) учитывая что не выкладываем такие веселые просьбы?
10 AquaKosh
 
25.02.16
17:35
(8) Это всё понятно и грубо я всё и так сделал. А далее - дьявол в мелочах.
11 Карупян
 
25.02.16
17:36
Нужно чтобы чуть плотнее элементы были? или как?
Перед добавлением нового элемента считай результат. Если не устраивает не добавляй
12 Карупян
 
25.02.16
17:36
или заменяй самые неудобные элементы на получше после генерации
13 1Cancer
 
25.02.16
17:40
Не понял следующее
Коэффициент корреляции Пирсона характеризует существование линейной зависимости между двумя величинами, корреляция имеет знач от 0 до 1.
вот у тебя я так понимаю 2 числовых ряда например
1   2
2   4
3   5,9
4   8,1
5   10,02
6   12,31
и тд до 100
в моем ряде я привел коррел близкой к 1 очевидно.
ты написал гениратор корреляций, окей у тебя вылетела корреляция допустим
0,69
0,41
,088
и ты говоришь что с вероятностью 0,45 гипотиза h1 выполниться для рандомного ряда? с погрешностью 0.1 допустим, очевидно если у тебя генерации рядов и генерации корреляц по одному и тому же рандом генератору, гипотиза попадания среднего в оное будет 50 на 50, и никак не будет переваливать за 0.7, соответственно просто просто меняешь закон распределения либо под РЯД либо под корреляц, потом условием для гипотизы (она уже может быть и 0,3 и 0,7) берешь максимум, готово!
(или я не правильно понял тебя)
14 Garykom
 
гуру
25.02.16
17:47
(13) пример с девушками мне больше нравится https://habrahabr.ru/post/172043/
15 1Cancer
 
25.02.16
17:51
(14) ;D забавно,
п.с. ТЗ от ТС не исчерпывающее.
16 AquaKosh
 
25.02.16
18:00
(15) :) ТЗ, так ТЗ:

Есть выборка (100 чисел), полученная с реальных данных:
43;6;27;31;40;41;33;28;36;35;32;32;16;26;7;12;21;28;35;5;24;29;29;7;18;5;14;34;15;24;19;38;23;24;35;40;22;7;11;41;12;39;8;30;31;38;41;14;31;20;9;40;28;18;21;35;10;16;11;31;29;19;24;37;34;19;33;20;31;43;19;43;42;25;12;25;36;13;24;34;45;20;20;9;15;9;28;11;41;27;30;37;38;7;45;40;12;14;5;30

Задача: получить парный к этому ряд с условиями:
- в ряду числа в диапазоне 0-20;
- итоговый коэффицент корреляции в диапазоне: -0.6...-0.7;
17 Tateossian
 
25.02.16
18:03
(16) Мож СЛУ какую-нить хитрую нарисовать?
18 AquaKosh
 
25.02.16
18:06
В принципе, идеи (аля мозговой штурм) тоже приветствуются, т.к. какая-нибудь идейка может "выстрелить" в итоге (когда будет реализована в коде).
19 Garykom
 
гуру
25.02.16
18:07
(16) знакома https://ru.wikipedia.org/wiki/Линейная_интерполяция ?

1. сначала по своему ряду рисуешь "среднюю линию"
2. затем рисуешь другую линию с нужным "коэффициентом корреляции"
3. далее вокруг этой линии по ГСЧ разбрасываешь в неком отклонении значения
4. проверка и микроподгонка
20 DomovoiVShoke
 
25.02.16
18:08
(0)математика - подогнать, диссертация! Может пора поучить математику?
21 Михаил Козлов
 
25.02.16
18:13
Может так подойдет?
Первые 100 чисел - любые.
Дальше получаете числа 2-ого ряда по очереди (от 1 до 100).
На каждом шаге для очередного числа x получите неравенство (диапазон) из условия на коэфф. корреляции.
Выбираете из этого диапазона случайно.
(17) Вообще-то это система неравенств (ограничения на числа + ограничения на коэфф. корреляции), скорее всего нелинейных.
22 Garykom
 
гуру
25.02.16
18:20
Диссертацию что ли замутить... "Методы выявления фальсифицированных данных в диссертациях"
23 DomovoiVShoke
 
25.02.16
18:21
(0)(16)Вы второй ряд получали через ГСЧ?
24 Михаил Козлов
 
25.02.16
18:23
(22) И приметь к ней самой.
25 Михаил Козлов
 
25.02.16
18:24
(24) Виноват: применить.
26 Garykom
 
гуру
25.02.16
18:25
(24) это уже какие то рекурсивные методы
27 1Cancer
 
25.02.16
18:26
(16) ну это же изи, это просто регрессия, ряд который ты получил на графике просто ломанная кривая (график напоминает, график от прибора, что меряет сердце) (представь, что x =1,2,3 ..100) (y = твой ряд) берешь фигачишь ряд с диапазоном от 0 до 20, какие проблемы, ты то знаешь каким уравнением ломаная описывается твой первый ряд, а в уравнении соотв корреляция между х1 и х1* и будет той которая тебе нужна, можешь ее выбирать сам с точностью до 0,001 по таблице студента :D (кароч - Уравнение регрессии)
(уравн регр это тип пряма по МНК от твоего ряда, ты типо строишь такую же прямую (под тем же углом(коэф  b1) ноо пониже(b0 меньше) потому как диапазон у тебя чисел другой)
28 1Cancer
 
25.02.16
18:35
1    43    22,5
2    6    3,5
3    27    13,5
4    31    15,5
5    40    21
6    41    20,5
7    33    16,5
8    28    14
9    36    18
10    32    16


Уравнение множеств регрессии: y = ошибка + (3,7141681437965)+(2,3603443908445) *х2+(-4,5364649267595) *х3
корреляц между х1 и х2 =0,9969

    Коэффицент    Значимость    t-статистика    Значение t-крит
Параметр Уравнения А1 =    3,7142    2,8531    1,3018    1,8125
Параметр Уравнения А2 =    2,3603    1,0975    2,1506    1,8125
Параметр Уравнения А3 =    -4,5365    2,1591    2,1011    1,8125

Все коэфиценты принять значимыми с уровнем точности (0,1)
29 AquaKosh
 
25.02.16
18:36
(23) Грубо, да. Есть некоторые механизмы предсказания и анализа предыдущих значений, но это (использование ГСЧ) похоже тупик.
30 DomovoiVShoke
 
25.02.16
18:44
(29)Не хочется обижать, но у меня просто нет слов.
Вас просят решить, так сказать методу предложить, а вы ответ подгоняете. На досуге задайте себе вопрос "Зачем мне нужна диссертация, если я в данной области полный дуб?". Если я не ошибаюсь вам надо поучить численный анализ.
31 DomovoiVShoke
 
25.02.16
18:49
+(30)Самое банальное это составить систему неравенств и подобрать каким методом ее лучше решать - это решение в лоб. Возможно под данный тип задач уже есть некие более краткие решения.
32 DomovoiVShoke
 
25.02.16
18:51
+(32)Варианты подгона тут уже попредлагали. Никогда не понимал что люди будут говорить про подгоны, если заранее не дадут на лапу, их же не дураки проверяют.
33 AquaKosh
 
25.02.16
19:03
(29) Всё нормально. ГСЧ рассматривался как вариант "по-быстрому", чтобы подогнать часть "плохих" данных. По поводу "дураков и проверок": понятное дело, что бОльшая часть данных реальная, а копаться во тьме данных, чтобы перепроверить расчёты (соответствия на уровне микроданных) никто не будет.