Нейросети.

Тема в разделе "Нейросети", создана пользователем лёксус, 2 авг 2009.

  1. pocketmike

    pocketmike Активный пользователь

    Лёксус, рад, что ты рядом. Я тут музу пытаюсь найти. В режиме мозгоштурма. Про веера думаю тож и думаю как эту веерную идею еще сильнее развить. Ща курну (пива нема) и если сил найду, то попробую сегодня кое-что сформулировать (начатое постом выше)

    Добавлю, что в Сержевых веерах есть мысль фиксить все параметры. Идея в том, чтобы создать поток и не дать ГА все перелохматить под текущую ситуацию. Пускай сетки напрягаются. Как-то так
     
  2. лёксус

    лёксус Активный пользователь

    Сегодня нырнул в оптимизатор МТ, проверить одну идею. Проверить не получилось, но обнаружил одну интересность.
    Когда стартанул отимизацию с несколькими включенными параметрами (помните, количество вложенных циклов = P-1, где Р количестов параметров), оптимизатор выдал цисло итераций 17400 и время работы 97 часов. Но это в настройках был отключён ГА. Тормознул оптимизацию, включил ГА. За 1 секунду МТ-шный ГА из 17400 оставил только 1280 итераций, ну и время сократилось до 6 часов. Сижу, тыкву чешу, непоняток 2:
    1. Как ихний ГА не гоняя тест сразу смог выкинуть столько отстойных (сливных) итераций. Т.е. из каждого коридора значений для каждого параметра он мгновенно выкинул те, которые приводят к сливу, соответственно, и циклы с такими параметрами гонять не надо. Что совершенно логично, но совершенно не понятно, как этот механизм работает. Потому что я понимаю так - чтобы какие-то особи застрелить, а какие-то спарить для улучшения породы, надо посмотреть, как эти особи работают.
    2. Зачем тогда остаются итерации, которые в оптимизаторе всё-таки надо гнать, если этот ГА всё равно умеет выкидывать кучу "неправильных" значений. Т.е. он же не правильные как-то определяет, почему сразу же и правильные не определить?

    Может быть, этот ГА заранее знает, как он будет окучивать итерации и что фактических значений останется именно столько. Т.е. какая-то предварительная математика присутствует, а прогон оптимизации всё равно нужен, потому что в течение его ГА и окучивает параметры уже фактически. В общем, сплошные сумерки с этим оптимизатором.

    2 Мих-сан.
    Понравились 2 идеи.
    1. Скользящее окно и нахождение новых паттернов.
    2. Забывание совсем старых паттернов.

    Если я правильно понял, то твоё скользящее окно будет типа той моей нейро сетки, которая меня толкнула переоптимизировать параметры (пример с магдой о двух картинках), когда стратежка начала сливать. Если да, то такой подход должен хорошо держать руку на пульсе. А пульс этот, как мы знаем со временем меняется. И совершенно понятно, что должны меняться и параметры, если система параметрическая или паттерны. И опять же совершенно разумно забывать об устревших паттернах, поскольку характер рынка поменялся и у руля уже новое поколение. И из этих соображений думается, что в каком-то месте ГА должен присутствовать.
     
  3. pocketmike

    pocketmike Активный пользователь

    Для чего опять куча пукв в моем посте нумер 560?
    Отвечу:
    1. Делюсь инфой для мозгоштурма
    2. Все это не тупой перепев хелпа, а уже продукция на выходе пищеварительного тракта

    Далее, в более свободной манере, с шутками-прибаутками и словами-паразитами, при участии падонкавскаго жаргона некоторые измышления.

    Часть 2, философическая.

    Вернусь к нашим музам и прочим животным.
    Я начинаю допетривать, че с ними случилось и почему некоторое разочарование и непонятки возникли.
    Мы (ну я то точно), в очередной раз воткнулись в иллюзию, "волшебство". И суть его не сложна. Когда начали говорить за паттерны, мы, впрочем как и щас, не имели о них точного представления. Но уж так чел устроен - халявы плиз, да побольше. И таблеток от жадности...
    Вот и нарисовалась в моске картина: ща мы эти паттерны разыщем, и вот тогда..., да - куршавель да прочие багамы - это минимум.
    Проведу лехкую аналогию. Кто-нибудь встречал в свободной продаже книжечку, типа "100500 способов и еще 5+1 техник гарантированно заработать миллион"? Гы. Надеюсь аналогия понятна. Нету этих паттернов, ни в "свободном" виде, ни даже в свободной продаже.
    А иллюзия то прет, пучит бедный моск - есть они, есть. Ща, ща мы тут Грааль-то и накопаем. Надо только подумать, поднапрячься маленько. Почем билеты на заграниццу?. Идет время, моск обрушается окончательно - хрен ра руль. Ключи "маленько" и "только". А с такими ключами хрен чего сделаешь.
    Про паттерновую тему слышал давно. Красива, что говорить. Логично вполне и универсально. Однако, как "это" может быть универсальным - Грааль чтоле опять? Одним махом семерых убивахом и чтоб не парицца.
    Едем дальше. В процессе обдумывания этих самых паттернов стремительным домкратом наскрозь пробивает мысль - нету, нету этих паттернов. Блин, вот же ж. А я уже своей сказал, обнадежил, про билеты... Она уже и кофточку новую прикупила - из последних денех, епрст. И ведь почему-то не пробивает вопрос о том, что хорошо-бы хоть немного представлять себе, что они такое. ПОтом понять, где их копнуть, как и с помощью чего их таки выцепить...
    ...
    В таком виде и по теме можно долго клаву мучить. Но надоело, а мож исписАлся уже. Коротко и по-моему: уже есть гипотеза, некоторая даже теория, некоторые методы и приемчики. Хватит грустить и балаболить - надо шлепать дальше. опытным путем доказано, что паттерны в наличии... Да, я понимаю, что это "не те" паттерны, которые смутно представлялись в т.н. "облаке вероятности" и это не та милая пушистая кошечка в темной комнате, а злобная и глюкавая и тупорылая сволочь. А альтернатива-то есть?
    Все, точно хватит. далее немного ближе к телу.

    Недостатки:
    1. Это "не те" паттерны
    2. Присутствуют все глюки, свойственные ТА и сетям
    3. Подбирать входы - колдовство сплошное, потому что думать надо и искать закономерности
    4. Ни один сигнал-учитель не будет идеальным

    Достоинтства:
    1. Не лагают по моим наблюдениям
    2. Вылавливаются таки
    3. Имеется некоторая адаптивность к поведению цены
    4. Есть мнение, что брокер играет против тебя и, как говорят, "меняет фильтры". А вот затрагивают ли эти фильтры паттерны, или все с ними попроще будет? Да, так на новых фильтрах и новые паттерны - вдруг это Знание, а не знание.
    5. Сигналы-учителя в голове устаканились - все полегче будет

    Еще до кучи:
    1. А надо-ли предиктовать учителя, если это конечно возможно
    2. А надо-ли предиктовать входы
    3. Собинать конструкты сетка-в-сетку
    ...
    счас спою, охренел уже

    утомилсо. все как-то так
     
  4. storm2005

    storm2005 Новичок

    Здравствуй, Покетмайк, Серж, Лёксус...
    Покетмайк, спасибо тебе за пост 560: ёмко и лаконично. Серьезный труд.

    Провожу параллели в Статистике 6.1.
    НС могут быть обучены для 4 типов задач:
    1)Регрессия
    2) Классификация
    3) Временные ряды
    4) Кластерный анализ

    Если работаем с временными рядами - ставим галочку в одноименной закладке.
    Lookback - окно минимум (скользящее окно, начинается с последнего значения временного ряда на n баров в прошлое)
    Lookahead - окно максимум (задача- прогноз на n баров в будущее)
    Actual - я так понимаю это фактические значения прогнозируемого параметра на n баров вперед (задача НС максимально приблизится к ним)
    Input - входные параметры (в статистике надо задавать - непрерывные (1, 1.1, 1.12, 2.33 например) или категориальные (0,1, да, нет и т.п.)
    Contrib - скорее всего контрибьюшн - подтверждение - это пороговое значение активации нейрона. Пришел сигнал, перемножился на вес, это все сравнивается с пороговым значением - выше порога - следовательно активация.

    Перед обучением выбираем переменную со значениями выборок - например столбец 1 - год.
    3 типа выборок - обучающая, контрольная, тестовая - по аналогии с НСДТ - оптимайзинг, пэйпер-трэйдинг, трэйдинг.

    "Вкраце, смысл в том, что эти архитектуры сетей хорошо работают с "цифровыми" что-ли, двоичными сигналами индикаторами. Т.е. по правилу "-1 до +1". По моим наблюдениям, по-крайней мере."
    Вот тут не понятно мне, в принципе, если это классификация, то логично, почему сетка любит категориальные данные, когда отличает паттерны от совокупности.

    Затерялся у меня один скрипт МТ4 - на основе НС сделан. Можно увидеть на нем окна Lookback и Lookahead, только настройки надо изменить. Сам по себе он г., но может кому-то будет интересно, сейчас загружу. Если совсем станет интересно - гугл - название - там есть видос его работы.

    Всем удачи! Я на 4 дня офф.
     

    Вложения:

  5. pocketmike

    pocketmike Активный пользователь

    Ну вот: высер мой немного таки удался. Ты снова с нами))
    Сегодня нырнул в оптимизатор МТ...
    Тут я пас, но знаю, что ГА - вел. и уж. ии тайна сия великая есьмь.

    2 Мих-сан.
    Понравились 2 идеи.
    1. Скользящее окно и нахождение новых паттернов.
    2. Забывание совсем старых паттернов.


    Если я правильно понял, то твоё скользящее окно будет типа той моей нейро сетки, которая меня толкнула переоптимизировать параметры (пример с магдой о двух картинках), когда стратежка начала сливать. Если да, то такой подход должен хорошо держать руку на пульсе. А пульс этот, как мы знаем со временем меняется. И совершенно понятно, что должны меняться и параметры, если система параметрическая или паттерны. И опять же совершенно разумно забывать об устревших паттернах, поскольку характер рынка поменялся и у руля уже новое поколение.
    Вот, вот, - ключики-то и поперли, в моем понимании.

    И из этих соображений думается, что в каком-то месте ГА должен присутствовать.
    Знаешь, я все больше и больше прихожу к выводу, что это та еще сволочь. Как и индюшок Лед, про кот. я распинался, если не хуже. Ибо скрытен и коварен. Потому и пытаюсь фиксить и ввожу понятие "поток". Слишком много мы ему позволяем: то-ли от лени, то-ли от надежды на чудо, то-ли от незнания "чего-то" о рынке, то-ли в совокупе.

    Добавлю: это все от дядек-тетек Вардов, натужного курения хелпов (спасибо вел. и уж. Чарикаре, ну и да, собственной мозговой активности.
     
  6. storm2005

    storm2005 Новичок

    К части 2, философической.
    Безусловно, то в чем говорится в этой ветке не есть панацея.
    Есть серьезные организации обладающие громадными ресурсами и им набрать команду спецов, которые напишут свою НСДТ и сделают все как положено - как два пальца...
    Т.о. если это возможно - то что останавливает этих товарищей к тому, чтобы их доход стремился к бесконечности? Совесть?
    С другой стороны, это однозначно работает, просто проблема в том, что имеет срок жизни. Не понимая, как сделать полноценную МТС своими руками - не сможешь сделать её вновь, поменять компоненты, адаптировать под новые условия.
    Так что надо учиться, учиться и еще раз учиться.
    Видимо действительно все должно строиться на основе ансамбля сетей, как сверхгибком механизме. Кроме того, я думаю, что любой результат - сигнал +1 -1 должен каким-то образом дополняться достоверностью.
    Ну, приведу пример такой: приходит пациент к врачу: а далее возможны 4 варианта:
    врач ставит диагноз, диагноз правильный
    врач ставит диагноз, диагноз неправильный
    врач ставит другой диагноз, другой диагноз правильный
    врач ставит другой диагноз, другой диагноз неправильный
    Отсюда имеем чувствительность и специфичность. Как нам узнать, какой процент наших сигналов действительно правильный, и в каком проценте мы не ошибаемся, когда не заключаем сделку.
    Так вот, продолжу.
    Представьте, что приходит тот же пациент к врачу и ему назначен 1 тест (например на сифилис, Гы), который имеет определенную чувствительность и специфичность.
    Возможно ли увеличить точность диагностики? Можно! Если провести 2 тест (уже с другими характеристикам). В сумме - плюс.
    У нас есть несколько предиктов. Каждый из них, окажет положительный эффект в стратегии, но каждый с разной точностью. Как им присвоить вес? Вероятно ответ кроется в ансамбле сетей.

    Теперь точно надо идти спать!
    Удачи всем!
     
  7. лёксус

    лёксус Активный пользователь

    Или в тривиальной статистике.

    Обнаружил у себя вот такой док. Удивился, однако. Мне за ненадобностью, но гляньте, может пригодится.
    Посмотреть вложение NoxaCSSARUS.doc

    А вот это про ГА. По-моему, полезное представление, хоть и элементарное.
    Посмотреть вложение Генетические алгоритмы.doc
    Посмотреть вложение NeuroProject - Что такое генетические алгоритмы.rar
     
  8. pocketmike

    pocketmike Активный пользователь

    Привет Сторм.

    Провожу параллели в Статистике 6.1...
    Имхо, забыл распознавание, для чего они собственно и делалить. Имхо, - это принцип, на кот. они пашут.

    Lookback - окно минимум (скользящее окно, начинается с последнего значения временного ряда на n баров в прошлое)
    Не минимум, а сколько нуна. В нсдт рулится ГА. Начинается с правого края графика и куда пожелаешь, в прошлое

    Lookahead - окно максимум (задача- прогноз на n баров в будущее)
    Почему мах.? Просто горизонт, да, на н баров в буд.

    Actual - я так понимаю это фактические значения прогнозируемого параметра на n баров вперед (задача НС максимально приблизится к ним)
    в нсдт - вход для училки.

    Input - входные параметры (в статистике надо задавать - непрерывные (1, 1.1, 1.12, 2.33 например) или категориальные (0,1, да, нет и т.п.)
    в нсдт - входы для индюков, кот. будет юзать сетка. По идее - все непрерывное. Про ситуевину с "пусто" я объяснял. Мы же на реале, а не в статике.

    Contrib - скорее всего контрибьюшн - подтверждение - это пороговое значение активации нейрона. Пришел сигнал, перемножился на вес, это все сравнивается с пороговым значением - выше порога - следовательно активация.

    не уверен, думаю, что все проще. Коэфф. учета "важности" конкретного входа. Никаких порогов. диапазон 0-100, например, с шагом, 0,01 например.

    Перед обучением выбираем переменную со значениями выборок - например столбец 1 - год.
    3 типа выборок - обучающая, контрольная, тестовая - по аналогии с НСДТ - оптимайзинг, пэйпер-трэйдинг, трэйдинг.

    Пиф-паф, слишком все усложняешь. Аналогия да.

    "Вкраце, смысл в том, что эти архитектуры сетей хорошо работают с "цифровыми" что-ли, двоичными сигналами индикаторами. Т.е. по правилу "-1 до +1". По моим наблюдениям, по-крайней мере."
    Вот тут не понятно мне, в принципе, если это классификация, то логично, почему сетка любит категориальные данные, когда отличает паттерны от совокупности.

    Експериментально проверил. Мое мнение. По сравнении турбопропа и ГРНН. Классификаторы - ПНН

    Пока
     
  9. pocketmike

    pocketmike Активный пользователь

    То Сторм.
    К части 2, философической.
    Безусловно, то в чем говорится в этой ветке не есть панацея.
    ура.

    Есть серьезные организации обладающие громадными ресурсами и им набрать команду спецов, которые напишут свою НСДТ и сделают все как положено - как два пальца...
    Т.о. если это возможно - то что останавливает этих товарищей к тому, чтобы их доход стремился к бесконечности? Совесть?

    Из области догадок: лень, косность, инертность. Возраст, традиции, уклад, привычки: сравни какой-нибудь сталелитейный завод (ужос наф) и гугл, фейсбук у всех на языке и в новостях. Совести в этом мире нет, ну почти. В нашем деле - тем более.

    С другой стороны, это однозначно работает, просто проблема в том, что имеет срок жизни.
    Да, и беда в том, что это не спрогнозируешь. И в том, что все короче и короче.

    Не понимая, как сделать полноценную МТС своими руками - не сможешь сделать её вновь, поменять компоненты, адаптировать под новые условия.
    Ну да.

    Так что надо учиться, учиться и еще раз учиться.
    Ну дык ктож мешает. Все тут за этим. Но можно учиться, а можно Учиться. Много факторов против: тупизм, незнание, лень, иллюзии..., а, забыл - халва

    Видимо действительно все должно строиться на основе ансамбля сетей, как сверхгибком механизме. Кроме того, я думаю, что любой результат - сигнал +1 -1 должен каким-то образом дополняться достоверностью.

    не панацея - метод. Сверхгибкость - Грааль.

    Сорь за краткость: мне не лениво, просто устал.

    Пока, см. подпись
     
  10. лёксус

    лёксус Активный пользователь

    Вот ещё еврика по истории полистал. Подумалось, что мешало бы войти в этих местах?
    Параметры магды остались от оптимизации. Но чудным образом везде подходят под веер Сержа.
    Смотрел на разных фреймах и разных исторических участках. А что, вся наша нейро хирургия не сможет срастить магду с веером, чтобы такая картинка всегда была перед глазами, в смысле сходимости цены, веера и магды?

    eur_h1.png
     
  11. pocketmike

    pocketmike Активный пользователь

    Добавим перца? Пришла тут гуано-мысль на сон грядущий: а ведь кто-то наверняка уже курил всю эту шмаль? И результат никогда нам не будет известен((

    Про ноксу - рисовальщики те еще. Но, и не буду врать - будет желание, еще раз пощупаю. Они еще тем мне не понтравились: "Купите. купите абсолютно уникльный и всегда неизменно достоверный индикатор под названием "Пиз...й БАЙ" и такой-же СЕЛЛ за, всего-лишь 199.99, скидка уже включена". И кто бы действительно ТАКОЙ индюк вообще продавал? Варды в этом плане честные ребята.
     
  12. лёксус

    лёксус Активный пользователь

    Картинку с входами видел?

    Вот ещё одна =) Баланс одного из замониторенных счетов (реал). К вопросу, можно ли зарабатывать на форексе?

    balance.png
     
  13. pocketmike

    pocketmike Активный пользователь

    ояибу - пиф-паф отстрелил мне остатки нейросетки. воистину ступени в рай

    Веер магда - все ндра. ддумаю
     
  14. SergL

    SergL Новичок

    Лёксус, по вееру + MACD - никакого волшебства - MACD и есть разница МАшек
     
  15. pocketmike

    pocketmike Активный пользователь

    Вот чего эта конкретная сетка больше любит - баить или селить?

    3-я картинка - снова к вопросу о подобии. Синяя к=100, зеленая к=10. Опережения 0, хотя в настройках 3 бара. Обратите внимание на правый нижний угол - значения индюшат.

    4-я картинка. Поменял сигнал. На предидущих были кроссы магды с 0. На этой: магда>0 и магда<0. И регулировка подобия паттенов обведена. Срубило всплеск с тренда, да? Фильтр?
     

    Вложения:

    • ln1.PNG
      ln1.PNG
      Размер файла:
      36,9 КБ
      Просмотров:
      3
    • ln2.PNG
      ln2.PNG
      Размер файла:
      30,3 КБ
      Просмотров:
      4
    • ln3.PNG
      ln3.PNG
      Размер файла:
      32,8 КБ
      Просмотров:
      4
    • ln4.PNG
      ln4.PNG
      Размер файла:
      31,8 КБ
      Просмотров:
      4
  16. storm2005

    storm2005 Новичок

    Lookback - окно минимум (скользящее окно, начинается с последнего значения временного ряда на n баров в прошлое)
    Не минимум, а сколько нуна. В нсдт рулится ГА. Начинается с правого края графика и куда пожелаешь, в прошлое

    Lookahead - окно максимум (задача- прогноз на n баров в будущее)
    Почему мах.? Просто горизонт, да, на н баров в буд.


    Минимум-максимум - это названия в Статистике в одной из закладок.
    Ясно, что прогноз на 10 лет вперед не сделаешь.
     
  17. лёксус

    лёксус Активный пользователь

    Серж, это и ежу понятно. Однако, волшебство всё-таки есть. Аналогичное волшебство припоминается с первого урока арифметики в первом классе.
    Училка написала на доске крупным шрифтом 1 + 1 = 2. Весь класс обалдел - ну нифига себе, правда что ли? =)

    А что касается веера и магды - я за ними наблюдаю какое-то время. Смотрел несколько вариантов вееров и магдов. И кое что (имхо) присутствует - на сколько бы разные параметры для веера и магды не выбирались, они часто совпадают (понятно, про какие совпадение речь?).
     
  18. pocketmike

    pocketmike Активный пользователь

    Ну почему-же не сделаешь)) Вопрос масштаба данных и кста на графике это офигенно видно. А точность в эт. случае понятие относительное Эт. сразу, чтобы не разводить дискуссию
     
  19. лёксус

    лёксус Активный пользователь

    2 Мих-сан. Ништяк сигнальчики. Нет ощущения, что сетка делает чего-то чаще. Нормально и покупает, и продает. Но если в будущем всё ж будут сомнения, то можно обратиться к тому пункту теории, который намекает, что 2 сетки с одним выходом лучше одной сетки с двумя. А так, я смотрю и нравится... =) То, что нек. сигналы как бы запаздывают совершенно не страшно. Во-первых, я убеждён, что без лосей никак не обойтись. А, во-вторых, из 8 входов 1 (максимум, 2) лосёвых - плёвое дело. У меня бывает и по три лося подряд. А после 1-2 входами отбиваются с +.
     
  20. pocketmike

    pocketmike Активный пользователь

    Я перфекционист - мне не очень. Возможно, что от недопонимания. Кста, есть ряд вопросов к тебе, это позже.
    Маненько огорошу, гыг: это сетка с ОДНИМ ВХОДОМ и 14 лагами от него. Говорю ж - шаманство

    Ну, ты проникаешься, вкуривается идейко? Я вот все втайне ожидаю, когда ты в НШ2 и МКЛ что-то в тему вывалишь)). Поучицца охото
     

Поделиться этой страницей