Суровая статистика

Непосредственно по поводу письма alextron - да, я полностью согласен с описанным Вами видением ситуации - мы ищем стат.преимущество. Про предиктора почитаю, если он может отдать сырые данные в чем-то типа csv, то проанализировать его находки будет просто.

(статистику Возного я видел, кажется, давно - но тут мы сталкиваемся с Эллиотом, а его формализовать оч. сложно. Но я перечитаю. У меня где-то была еще какая-то буржуйская статистика в пдф с довольно забавными кривульками - но они тоже по Эллиоту)

Кое-чего забавного, впрочем, обнаруживается и простым зигзагом.

Т.е. главная сейчас мораль для меня - проверяем базовые вещи. Фибу, АБСД (с ним, кстати, уже интересней) и т.п. Потом на базовых вещах будем искать более сложные. Посему в первую очередь принимаются и проверяются идеи о том, чего бы базового поискать.

 

Из ZUP можно вывести много различных данных. Надо, для начала, понять, какие данные наиболее интетесно исследовать. Просто бабочки, как динамические структуры, исследовать непонятно каким образом.
Необходимо исследовать некие статические структуры. То есть, на рынке часто возникают определенные паттерны, которые отрабатываются с завидной точностью. Вот такие структуры необходимо выявлять и проводить по ним статисследования.
Для этого необходимы соответствующие постановки задач.

В ZUP сейчас реализованы многие известные алгоритмы. Реализованы "в лоб". К этим алгоритмам еще необходимо нам самим как-то приспособиться.

Здесь были различные пожелания по "приспосабливанию" этих алгоритмов. Но все реализовать физически невозможно. Сейчас наступил этап приспособления алгоритмов под себя. Статисследования как раз нам в этом сильно помогут.

-----

Смогу более активно принять в этом участие после 20 сентября.

 

Я уже писал ранее своё видение и замыслы (да , в ветке Алгоритмы выложил рабочий ЗЗ 2х уровневый, можно использовать для тестирования).

Если Вам поможет, кратко объясню идею поиска и исследований:
- Берем массив баров по валютной паре + таймфрейм.
- Загоняем в эл.таблицу.
- вычисляем значение по модулю (Хай - Лоу) = Дельта в пунктах
- Сортируем по Дельта по возрастающей.

- Затем смотрим по фибо числам от общего числа баров до каких значений достигает 27% баров до каких 50% и т..д.
По евре заметил, что качественный разрыв по пунктам начинается где-то с 30 мин и выше. Проявляется индивидуальность пары+таймфрейм.

По каждой валюте величина в пунктах разная для одинаковых таймфреймов. Но достаточной выборки еще не сделал.
В прикладном плане - поможет создать наборы параметров для ЗЗ конкретно под данную пару для убирания типового шума в данной серии баров.

Можно пробовать исследовать приращения от бара к бару , с учетом + - . Но к чему это приложить , пока не знаю, хотя есть интуитивное чувство, что это может помочь при работе советника в онлайне при принятии решения о входе в позицию.

 

В практическом плане интересно исследовать трендовые "зигзаги": зигзаг Алекса, згзаги Ensign, свинговый зигзаг. С различными параметрами на разных ТФ и для разных валютных пар. Интересует статистическое рапсределение длин лучей в пунктах (и в физических длинах). Это полезно. Зная текущую длину луча и % лучей с такой же длиной на имеющейся истории, можно прикинуть вероятность дальнейшего развития текущего луча.

 

Почему интересуют ииенно трендовые "зигзаги"? Как мне кажется, они наиболее правильно отражают структуру движения. Наиболее точно следуют за ценой, поэтому можно точнее определять % восстановления (или, что то же самое, выявлять "работу" фиб на рынке)...

 

Когда имеем инструмент, правильно отражающий структуру движения, можно через выявление статзакономерностей определить фазовые переходы. Поясню, что это такое. Фазовый переход - это момент, когда для правильного анализа ситуации необходимо переходить на другой таймфрейм. На спокойном рынке, например, утром перед открытием Европы наблюдаются колeбания рынка четко по фибам. Когда начинается большая волатильность, % восстановления на текущем ТФ уже перестают соответствовать фибам. Как вариант, необходимо переходить на ТФ выше, где гармония восстанавливается. И уже на этом ТФ выявлять "причины", вызвавшие увеличение волатильности. И искать последствия (цели) этих причин на этом ТФ. На предыдущем ТФ мы уже не сможем адекватно понимать происходящее.

 

Другой вариант. Фазовый переход (переход рынка в другую фазу) может вызвать перенос рынка на другой уровень. На новом уровне текущее движение продолжится, но будет сдвинуто на какое-то количество пунктов вверх или вниз. Пример такого развития событий. Цена ходит в канале. При пробитии канала цена начинает двигаться в таком же канале, прилегающем к первому, но на других уровнях.

 

Вариант для сбора статистики взглядом. %) Для работы необходим ZigZag_new_nen3.

 

День добрый! хочу поддержать эту интерстную тему.

Исследую статистику с помощью ZZ Алекса, вариант c отрисовкой нового луча после отката на N-пунктов. Тестировал разные валюты с разными значением N, средняя длина луча обычно равна 2*N.
Для поиска закономерностей ипользую систему с входом в точке подтверждения последнего луча и выходом по трейлинг-стопу с размером N, т.е. в точке появления следующего луча (вроде она известна как лучевая тактика). Тестирую в Excel - вижу, что если средняя длина луча равна 2*N то с рынка поиметь ничего не получается, вероятность разворота в каждой точке 50 на 50.
Выходит чтоб что-то поиметь нужно спрогнозировать длину следующего луча, причем достаточно знать будет он больше или меньше 2*N, отклонение от этого значения - это смещение МО.
Теперь пример:
Евродоллар, размерность ZZ 80 пунктов (т.е. N). На истории 01.01.2000 - 01.01.2006 1118 вершин, средняя длина луча 164.5 п. (даже влоб есть небольшое статприимущество если бы не спред)
А теперь проверяю зависит ли длина луча от дня недели образования его начала.
Понедельник -<b> 170 п.</b>
Вторник - 164 п.
Среда - 167 п.
Четверг - <b>155 п.</b>
Пятница - <b>170</b>

От времени зависимость еще более интересная, если исключить четверг а в остальные дни недели оставить лучи начавшиеся с 00 до 11 часов, то получим 380 лучей со средней длиной <b>179.3</b> т.е. МО 19 пунктов.
Файл во вложении.

Как думаете ув. участники форума, что это - дикая подгонка или проявление какой то закономерности.

 

<b>koy</b> никак не зависит. если уточнить, то для меня пятница важнее понедельника, а среда-четверг, важнее их обоих. но как это относится к статистике? да никак!

если есть интерес или затруднения с изучением волатильности, попробуй <b>ATR</b> (индикатор такой, из стандартной поставки в Метатрейдере), настрой его на количество например 4х часовых баров в одной неделе, находясь при этом на 4х часовых графиках, посмотри как выглядят пики на этом индикаторе, затем уменьшай период, например до половины недели. попробуй уловить какую-либо закономерность и периодичность, затем уменьши период до последнего периода между значимыми экстремумами, и заново посмотри есть ли устойчивая закономерность в показаниях среднего диапозона в индикаторе, кстати он замечателен тем, что вообще нет смысла собирать статистику какими-то глупыми методами, долго подбирая программы и выбирая алгоритмы - он ее отображает у тебя на экране сразу, по тому критерию и периодичности, который выбрать. для более тщательного выяснения усточивости периодичности, есть еще один визуальный инструмент в терминале - циклические линии, которые можно сразу же положить на поле индикатора, и разбить иллюзии об молчаливость фактов...

сразу дополню: все известные мне производные мувингов (это в том числе и осциляторы которые есть в терминале и вообще очень много чего, из числа индикаторов, наверное процентов 90-95, не меньше) так или иначе - это статистика вообще, кто-бы и что-бы при этом ни думал. именно для этого, и поэтому они и придуманы были когда-то, причем совсем не трейдерами, просто биржевики переняли этот опыт и методы у технарей, методы цифровой фильтрации входного сигнала большинством и не всегда правильно истолковываются, хотя в технике есть им применение и иное, да даже в музыке, и звукосинтезе к примеру, но это уже к теме не относится... и когда наконец-то ты сделаешь выводы - решай сам на что тратить время. оно нам даётся один раз и обратно не возвращается ни кем, т.е. компенсаций не будет, если оно потрачено впустую

познакомь с результатами своих исследований, когда придешь к каким-то личным выводам. интересно к каким в итоге выводам и придешь, если чесно

 

забыл сказать:

статистика по определению исследует и наследует информацию о том, <b>что было</b>, выявление закономерностей в прошлом никак не приближает нас к будущему, если критерии сбора ее заведомо ложны или неправильны. если собирать статистику, и этим ограничить собственные методы исследования рынка - очень быстро можно придти к выводам, что статистика никчёмная наука. это не так, причем далеко не так. и проблема тут в собирающем ее, по неправильным для себя критериям, и неверно выделеной для исследования проблеме, и поставленной задаче. для того, чтобы зарабатывать человеку больше хочется знать о том, <b>что будет</b>

моя мысль заключается в том, что если исследовать <u>только прошлое</u>, и не строить ничего в будущее - положительного, и гарантированного по точности и устойчивости результата - не добиться по определению. вот такие мысли, про статистику и ее поклонников...

 

<b>Vadimcha</b>
Твое мнение понятно, считаешь что подгонка или случайность и в будущем не поможет. Ок, принято. Результатами поделюсь .

Интересно узнать мнение других участников форума.

 

Хоу подгонка. И что такого. Важно зачем она нужна, и что она в себе содержит.
80 пп для евродоллара оптимальное (пока) соотношение исходя из активности валютной пары с 2004 года.
(по крайней мере для моего стиля торговли) Использую ZUP исключительно для определения ВОЗМОЖНОГО начала движения.
для трендовых тс, ну или почти трендовых, когда имеется ожидание начала тренда или мощного спекулятивного движения 80пп зигзага, опять же пока, наилучшим образом исключают краткосрочный шум. Сразу оговорюсь, что ложные входы и потери по ним и есть ожидание, которое компенсируется с лихвой выгребанием движения. Далее можно использовать трейлинг и пирамиды. кому как нравится.
Для фунтобакса использую например 100п зигзаг. тож. ничего.
Рынок изменчив, поэтому нужно меняться вместе с ним, ну разве это не подгонка.
А если глубже копнуть то активность пары евродоллар медленно падает, и не исключено, что в будущем году можно будет и 75 использовать. А йеновых уже как 3 года нарастает, равно как и золото-серебро. Небольшая корректировка-подгонка при пересчете 3-х годичной истории в сторону оптимизации на следующий год и так каждый год - вполне недурное решение, чтобы следовать динамике рынка. Бывают конечно мегавсплески, например как в этовм августе по йеновым, но это краткосрочно, да и как оказалось совсем не во вред, а только на пользу.

 

прошу прощения у всех - затеял тему и смылся. Теперь возвращаюсь вот. Накидали много интересных мыслей, за что всем спасибо.

Для разгона попробую прокомментировать <a href="http://onix-trade.net/forum/index.php?showtopic=30638&st=15#" target="_blank">постинг koy</a>. Я сейчас независимо эти его интересные выкладки попробую повторить и посмотрим, что там будет. И воспользуюсь этим поводом, чтобы проговорить и проиллюстрировать некоторые опять же базовые вещи, которые могут быть для кого-то очевидными, но, думаю, не для всех.

<b>О СРЕДНЕЙ ДЛИНЕ ЗИГЗАГА И О ФОРМЕ РАСПРЕДЕЛЕНИЯ</b>

Сначала - общий момент по поводу длины зигзага. Таки да, при случайном блуждании (т.е. абсолютно случайном поведении рынка) средняя длина зигзага должна быть 2N. Желающие могут вспомнить коэффициент Херста, при H>0.5 временной ряд персистентный ("трендовый"), при <0.5 -антиперсистентный ("контртрендовый"). На пауке в свое время народ довольно много копьев поломал об херста применительно к "крестикам-ноликам", а "элементарный зигзаг" (с единственным параметром "длина отката в пунктах") является некоторым аналогом ХО.

Т.е. если мы получаем МО зигзага, большую 2N - значит, мы нашли "неэффективность" рынка, и он склонен чуть меньше откатываться, чем полагается, тренды длиннее, "чем нужно". То же касается и формы распределения - если МО = 2N, но распределение стремное, имеет смысл копать глубже.



На рисунке - зигзаг фунта >= 20п, "идеальная ситуация". Выборка большая, поэтому длины складываются в гладкую кривую. Желтеньким отмечено МО = 0.004, что логично.

<b>РАЗНИЦА ПЕРСИСТЕНТНОСТИ РЫНКА В ЗАВИСИМОСТИ ОТ ДНЯ НЕДЕЛИ</b>

В этом разделе мы повторим выкладки koy для того же евродоллара с параметром зигзага=80. В отличие от данных koy (2000-05) у меня непосредственно под рукой есть котировки 2004-настоящее время. Это имеет определенные преимущества, посмотрим, как поведут себя выбросы, обнаруженные koy, на новом куске истории out-of-sample (т.е. насколько это все стационарно). Если обнаружим что-то исключительное, полезу на полку за данными 99-07 для более глубокого анализа.

Общее количество вершин - 487. выборка меньше, но посмотрим, что можно вытащить из нее. Средняя длина зигзага - 162, что практически равно 2*80. Пока все нейтрально.



Конечно, при меньшем количестве зигзагов картинка грубей, чем предыдущая. Дополнительных изысканий требует обнаруженное "проседание" в районе 150 пунктов - случайно ли оно, или закономерно.

Общее количество зигзагов, начинающихся в тот или иной день недели:



Видим, что понедельник самый "тихий" день, а среда и пятница - самые "частотные". Причем превышение фактически в полтора раза. Это находится в целом в согласии с общим мнением о том, что понедельник - день "вялый", а среда и пятница - более активны.

Теперь посчитаем МО для каждого дня недели. В скобках - данные koy

ПН: 158 (170)
ВТ: 162 (164)
СР: 165 (167)
ЧТ: 148 (155)
ПТ: 171 (170)

Итак, мы видим, что понедельник вместо выдающихся 170 упал ниже нормы, вторник остался средним, среда сохранилась чуть выше среднего, четверг увеличил отставание и пятница осталась выше среднего.

Таким образом, дела обстоят несколько лучше, чем ожидалось пессимистами - четверг и пятница сохранили свои особенности (хотя понедельник и выпал).

Теперь - ключевой момент - посмотрим на гистограммы для четверга и пятницы:



Итак, барабанная дробь - поздравляю всех читающих и сопереживающих - пятница на самом деле СИЛЬНО ОТЛИЧАЕТСЯ от четверга. Рынок пятницы БОЛЕЕ ПЕРСИСТЕНТЕН, чем рынок четверга. Эта закономерность, обнаруженная koy, сохранилась, несмотря на то, что мы рассматривали новый период времени. Пятница куда более богата на длинные безоткатные тренды > 200 пунктов. Кроме того, заслуживает внимания особая форма распределения пятницы, в частности, выплеск в районе 140 пунктов (обратим, кстати, внимание, что провал в районе 160, увиденный нами ранее на общей гистограмме, здесь тоже прослеживается)

На этом Шахерезада прекращает дозволенные речи, оставляя самый интригующий вопрос - можно ли на этом торговать - временно за кадром, до следующего сообщения.

Всем, кто дочитал, спасибо.

 

Если оттолкнутся от предположения, что средняя длина луча Зиг-зага при случайном блуждании близка к 2*N, можно проверить изменяют ли МО бабочки Гартли, т.е. нарушится ли равенство CD=2*N.

 

А самое интерестное, что эта закономерность существовавшая с 1999 г. (более ранних данных у меня нет), начисто исчезла осенью 2006 го.

 

я бы даже сказал, что по предварительным прикидкам пятницу последнего года унесло в антиперсистентность.. )))) (155 у меня получилось)

но это я завтра на свежую голову напишу, и прочих других гадостей тоже )). сегодня был день оптимистичного взгляда на вещи )).
(хыхы, вы интригу обломали, я-то пытался всех завлечь позитивом ))))

 

%)
эх... кто ж меня за язык то тянул))
но есть другие валюты, а еще можно придумать другие фильтры...

 

в этом посте - вторая формальная часть марлезонского балета с описанием "темных сторон" найденного смещенного МО, по возможности подробный разбор полетов для тех, кто заинтересовался темой. Рабочие моменты на тему бабочек и т.п. - в следующем посте.

итак,
<b>ПОДВОДНЫЕ КАМНИ ПРИ ТОРГОВЛЕ НАЙДЕННЫМ СЕТАПОМ</b>

ну, вроде бы можно вставать в момент подтверждения тренда в пятницу - по тренду, а в четверг - против тренда, и косить капусту. Однако ж:

<b>а) сетап исчез</b>

хе-хе, собственно, этого пункта уже достаточно ))). Как обнаружено koy, в последний год пятница благополучно вышла из диапазона ультраперсистентности, по моим прикидкам даже ушла в антиперсистентную область с матожиданием 155. Так что в последний год эта система начала бы сливать. Вообще, это непременная часть анализа - посмотреть стационарность на разных отрезках времени. К сожалению, тут есть дополнительная сложность - если мы размываем и так небогатую выборку на 10 временных диапазонов, на каждый диапазон остается слишком мало данных для каких-то выводов - сплошной шум.

<b>б) робастность сетапа</b>

Напрямую связана с первой темой. Хотя семь лет просуществовать - это уже неплохо, но, посмотрим, за счет чего пятница получает свою персистентность. Это в основном тренды >200 пунктов, в количестве десяти штук. За три года анализа. Т.е. сетап приносил бы безусловную прибыль три-пять раз в год, в остальное время болтаясь около нуля, или потихоньку сливая. Раз в два месяца - это, в общем, не идеал. Более того, такой небольшой размер выборки заставляет нас вспоминать слова "доверительная вероятность" и прочее унылое статбарахло. Т.е. статпреимущество есть, но оно колеблется на грани достоверности.

<b>в) фундаментальная обусловленность сетапа</b>

что мы обнаружили в этом сетапе с фундаментальной точки зрения? Раз в месяц в пятницу возникает большой безоткатный тренд длиной от 200 до 400 пунктов. Ничего не напоминает? Ну правильно, фармы )))). Отсюда вопрос - удастся ли проторговать на зигзаге, если этот зигзаг в реальности представляет собой огромный гэп вверх? )) Т.е. войти там, где задумано, просто не получится, поскольку нас проскользит наверх, и довольно сильно. МО выигрыша в реальной жизни может превратиться в пшик.

<b>г) параметры сетапа</b>

это в основном информационный пункт, для данного сетапа с учетом предыдущих пунктов он уже вряд ли пригодится - но все же. Не нужно забывать, что сетап реализует свое статпреимущество только в тех условиях, которые мы для него нашли. А именно - в пятницу выгодней вставать по "тренду с откатом <80 пунктов". Т.е. мы должны входить со стоплоссом 80, и тейком 80. В этом случае - да, положительных исходов точно будет больше.

А вот если мы хотим, допустим, стоп сделать поменьше, или трейлинговать после входа - то нужно дополнительно исследовать, не превратится ли наше статпреимущество в пшик. Может быть, эти пятничные тренды все усеяны откатами длиной 75?

<b>второй виток анализа</b>

Несмотря на найденные пакости, вдумчивый изыскатель пойдет по второму кругу. В частности, интересно было бы теперь своими глазами посмотреть на реальные котировки выигрышных пятниц. Возможно, там дело не в фармах. Возможно, тот 130-пунктовый скачок в пятницу тоже много обещает. Опять же - надо бы посмотреть внимательней на контртрендовый ЧЕТВЕРГ. И т.д. Я тоже по возможности посмотрю на эти зависимости, но уже в более рабочем порядке. Из этих двух постов получилась такая иллюстрированная "модель анализа", надеюсь, она кого-то на какие-то мысли подвигнет, или просто послужит таким чтивом "с картинками".

<b>ЗЫ ЕНД</b>

 

ммм... по части рабочих вопросов... В соседней ветке "Алгоритмы ЗЗ" сейчас идет разборка того, насколько "правильный-неправильный" зигзаг нарисовался, и это как раз связано с одной интересующей меня темой. Посему я щас эту тему вкину, а потом довесочком отдельным постом у меня будет кое-что как раз по МО у бабочек.

<b>ОЦЕНКА КАЧЕСТВА ЗИГЗАГА</b>

В идеале было бы, конечно, хорошо создать алгоритм "идеального зигзага", который обнаруживал бы "то, что нужно" сразу и навсегда. Я думаю, в той теме какие-то результаты в этой области будут (и мы ими воспользуемся))), а в этой теме все более по рабоче-крестьянски, стат.цифрами всего богатства человеческой интуиции не выразишь, поэтому предлагается более узкая постановка:

<b>выработать критерий оценки качества уже построенного зигзага.</b>

Тут наблюдаются два подхода - один мой, другой неправильный ))). Ну, то есть существует, <b>во-первых, Эллиот</b>. Эллиот с точки зрения статистики - чудище стоглавое, которое в нее не лезет. Если у кого-то есть мысли, как можно хотя бы одну лапку эллиота засунуть в гистограмму - излагайте, пожалуйста, я весь внимание. Т.е. в рамках нашей узкой поставновки, нужно формализованное умение делать такие выводы:

"вот здесь зигзаг на эллиота похож, а вот здесь он чухню какую-то порет"

И есть <b>второй подход</b>, совсем узкий - это, условно говоря, подход с точки зрения <b>точности</b>. "зигзаг хороший, если он точно отражает движение цены". Слова "точно отражает" - это, конечно, тоже лирика, но уже в более узком круге. Т.е. здесь мы уже не пытаемся втиснуть теорию, а просто смотрим - похож ли зигзаг на цену. Т.е. здесь уже нужно формализованно делать такие выводы:

"вот здесь зигзаг похож на цену, а вот здесь - опять же чухня"

Если касательно первого подхода с эллиотом у меня вообще никаких мыслей нет, и я их напряженно от вас ожидаю, то касательно второго - кое-чего есть, и я это впоследствии изложу - но тоже надеюсь на "мозговой штурм" заинтересованных лиц.

<b>ЗАЧЕМ НУЖНО ОЦЕНИВАТЬ ЗИГЗАГ</b>

Существует интуитивно очевидная мысль, что "правильный" зигзаг имеет <b>бОльшую предсказательную ценность</b>, чем зигзаг "неправильный". Это банально, но отсюда растет <b>третий подход</b> - который <b>построен на переворачивании</b> причин и следствий - "зигзаг хороший, если на нем хорошо видно то, что мы хотим увидеть". К примеру, если данный конкретный зигзаг с параметрами "100, 24, 32" вот только сейчас изобразил нам сначала импульс на 2.618, а потом коррекцию на 0.382 - есть вероятность, что он прекратит это делать не сразу, и можно воспользоваться именно им для дальнейшего предсказания цены. А плохим зигзагом, на котором фибо в последнее время не видно - пользоваться не нужно.

То есть, <b>решение в той или иной форме задачи о качестве зигзага позволит нам несколько снять напряженность задачи построения идеального зигзага</b>. Мы можем пользоваться пучком неидеальных зигзагов, выбирая из них наиболее подходящие к нашей задаче.

Разумеется, этими тремя подходами ситуация не исчерпывается, но исчерпывается моя мозговая деятельность. Засим приглашаю всех сочувствующих обсудить этот вопрос, обругать автора, предложить свое и т.п.