Разработчики <i>автоматических торговых систем</i> (АТС), которые используют нейросетевые технологии, сталкиваются с неудобством, названным в соседней ветке "проблемой черного ящика". Создаю эту тему, чтобы проработать методы оценки ТС вообще, и искусственных ТС в частности. Под <b>искусственными TC</b> (можно заменить на <b>синтетические</b>) подразумеваю такие системы, в которых используются оптимизированные на истории компоненты. Для начала предлагаю вспомнить основные показатели оценки, которыми пользуются практически все - от новичков до матёрых инвесторов - мат.ожидание выигрыша, фактор восстановления, прибыльность, коэффициент Шарпа, коэффициент Сортино и т.д. Каждый показатель должен быть подробно описан формулами, примерами, графиками, ... Дальше (можно и одновременно) хочется поднять тему <b>оптимизации на истории</b> - явной-неявной, ручной-автоматической, скрытой, навязчивой, патологической))), любых форм и масштабов. Определимся в терминах, пофлудим, придем к общему знаменателю, оформим результат в виде одного итогового поста, почистим флуд за собой и за пропавшими без вести)) В финале хочется выйти на <b>фитнесс-функции</b>, правила построения <b>комитетов</b> компонентов, оптимизацию этих самых правил,... Дальше пока не вижу пространства для планирования. Возможно, в процессе коллективной работы откроются mind'ы и станет понятным дальнейшее направление. Приветствуется активность тех, кто хочет детально разобраться в предметной области, но на данный момент находится в состоянии "да вроде все и так понятно". Собственный опыт показывает, что более глубокое изучение "и так понятного" открывает новые горизонты. Активность можно и нужно проявлять по-разному. )) Скажем, взять на себя конкретный показатель, прогуглить, отвикипедить, поднять замечательные учебники прошлых столетий и выдать на-гора компактный материал. Понятно, что сразу получишь десяток креативных, конструктивных и пустых замечаний, насмешек и ... (лучше без этого!) оскорблений. Слышал, так говорят: собака лает - караван идет. P.S. 1) Стартовый пост может разрастаться - добавятся прямые ссылки на интересные и полезные сообщения, со временем оформится подобие содержания, ... 2) NSDT, NS2, Матлабы, Маткады, Metatrader'ы или Excel'ы - годится все, главное - идея Ссылки: <span class='inv'><![CDATA[<noindex>]]></span><a href="http://www.onix-trade.net/forum/go.php?http://www.russian-trader.ru/forums/showthread.php?t=3617" rel="nofollow" target="_blank">Т. Правдюк: Введение в динамическую адаптацию</a><span class='inv'><![CDATA[</noindex>]]></span> <span class='inv'><![CDATA[<noindex>]]></span><a href="http://www.onix-trade.net/forum/go.php?http://www.russian-trader.ru/forums/showthread.php?t=3399" rel="nofollow" target="_blank">Т. Правдюк: Оценка торговых систем методами Монте-Карло</a><span class='inv'><![CDATA[</noindex>]]></span> <span class='inv'><![CDATA[<noindex>]]></span><a href="http://www.onix-trade.net/forum/go.php?http://my-trade.livejournal.com/238304.html" rel="nofollow" target="_blank">my_trade: Кстати всегда задумавался - как публиковать Equity...</a><span class='inv'><![CDATA[</noindex>]]></span> <span class='inv'><![CDATA[<noindex>]]></span><a href="http://www.onix-trade.net/forum/go.php?http://www.russian-trader.ru/articles/syst3.php" rel="nofollow" target="_blank">Системный трейдинг: оптимизация торговой системы. Часть 1</a><span class='inv'><![CDATA[</noindex>]]></span> <span class='inv'><![CDATA[<noindex>]]></span><a href="http://www.onix-trade.net/forum/go.php?http://www.russian-trader.ru/articles/syst4/" rel="nofollow" target="_blank">Системный трейдинг: оптимизация торговой системы. Часть 2</a><span class='inv'><![CDATA[</noindex>]]></span> <a href="http://www.onix-trade.net/forum/index.php?showtopic=84919&view=findpost&p=383654" target="_blank">НЕЙРОСЕТИ ДАВНО МЕРТВЫ</a> <span class='inv'><![CDATA[<noindex>]]></span><a href="http://www.onix-trade.net/forum/go.php?http://articles.mql4.com/ru/442" rel="nofollow" target="_blank">Математика в трейдинге. Оценка результатов торговых сделок</a><span class='inv'><![CDATA[</noindex>]]></span> <span class='inv'><![CDATA[<noindex>]]></span><a href="http://www.onix-trade.net/forum/go.php?http://habrahabr.ru/blogs/artificial_intelligence/84015/" rel="nofollow" target="_blank">Обзор методов эволюции нейронных сетей</a><span class='inv'><![CDATA[</noindex>]]></span> <span class='inv'><![CDATA[<noindex>]]></span><a href="http://www.onix-trade.net/forum/go.php?http://www.machinelearning.ru/wiki/index.php?title=%D0%9A%D1%80%D0%BE%D1%81%D1%81-%D0%B2%D0%B0%D0%BB%D0%B8%D0%B4%D0%B0%D1%86%D0%B8%D1%8F" rel="nofollow" target="_blank">Скользящий контроль (кросс-проверка, или кросс-валидация)</a><span class='inv'><![CDATA[</noindex>]]></span> <span class='inv'><![CDATA[<noindex>]]></span><a href="http://www.onix-trade.net/forum/go.php?http://www.basegroup.ru/glossary/definitions/boosting/" rel="nofollow" target="_blank">Бустинг (Boosting)</a><span class='inv'><![CDATA[</noindex>]]></span> <span class='inv'><![CDATA[<noindex>]]></span><a href="http://www.onix-trade.net/forum/go.php?http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%B3%D1%80%D1%83%D0%BF%D0%BF%D0%BE%D0%B2%D0%BE%D0%B3%D0%BE_%D1%83%D1%87%D1%91%D1%82%D0%B0_%D0%B0%D1%80%D0%B3%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2" rel="nofollow" target="_blank">Метод группового учета аргументов, МГУА (Group Method of Data Handling, GMDH)</a><span class='inv'><![CDATA[</noindex>]]></span> Допополнительно ключевые слова: Байес, условные вероятности, МГУА Прикреплено: PDF: О.Карпушев, К.Копыркин. Визуальный анализ поверхностей дохода Посмотреть вложение Konkop.pdf DjView: Роберт Пардо. Разработка, тестирование и оптимизация торговых систем Посмотреть вложение R.Pardo___Razrabotka_TS.djvu PDF: Александр Горчаков. Статистические аспекты построения и оптимизации механистических торговых систем Посмотреть вложение dokladag.pdf PDF: Гмурман В.Е. Руководство к решению задач по теории вероятностей и математической статистике { Читать и решать до просветления ! :bs: } Посмотреть вложение Gmurman.pdf Посмотреть вложение С. В. Булашев - Статистика для трейдеров - 2003.PDF
обязательно к прочтению <span class='inv'><![CDATA[<noindex>]]></span><a href="http://www.onix-trade.net/forum/go.php?http://forex.kbpauk.ru/showflat.php/Cat/0/Number/21720/an/0/page/0#Post21720" rel="nofollow" target="_blank">http://forex.kbpauk.ru/showflat.php/Cat/0/...age/0#Post21720</a><span class='inv'><![CDATA[</noindex>]]></span>
Представим Торговую систему (Т) как некий черный ящик, который преобразует входы Х=(x1,x2,...) в торговые сигналы S=(s1,s2,...). <div align="center"><b>T : X -> S</b></div> Моделируя поведение торговой системы Т на исторических данных H, мы получим набор статистических показателей Q=(q1,q2,...) <div align="center"><b>Q (H,T) = H x T = H x ( X -> S )</b></div> Обобщающая функция оценки поведения торговой системы на исторических данных <div align="center"><b>Fh (T) = f (Q1,Q2,...)</b></div> Функция оценки поведения торговой системы на Out of Sample данных ( H' ) - отражает инвестиционные требования <div align="center"><b>Fo (T) = f (Q') = f (H' x T)</b></div> В такой модели построения торговых систем основная задача сводится к выбору структуры, формы, методов построения, обучения и оптимизации T,X,S,H,Q,Fh,H',Q', чтобы максимально увеличить корреляцию между Fo() и Fh() ---------------------------------------------------------------------------------------------------------------------------------- В качестве примера поставим задачу: сгенерировать торговую стратегию Т, чтобы она удовлетворяла следующим инвестиционным требованиям Fo(T) : - максимально допустимая просадка - 20% от начального депозита - минимальная доходность - 50% от начального депозита в год - срок жизни 1 год Построим простую ТС, у которой на вход будут поступать x1=SМА(EURUSD, H1, a, PRICE_OPEN) и x2=SМА(EURUSD, H1, b, PRICE_OPEN), где а,b - это оптимизируемые параметры, причем a<<b, т.е. x1 - быстрый, х2 - медленный мувинги на выходе (s1) будем снимать объем и направление торговой позиции по EURUSD, которую необходимо установить при открытии часа, т.о. s1 может принимать значения -1.0 или +1.0 - это размер позиции (в лотах), s1>0 => длинная, s1<0 => короткая Стратегия (T) такова: если x1 > x2, то s1 = +1.0, если x1 < x2, то s1 = -1.0
Задача №152 (Гмурман В.Е.) Сколько надо произвести независимых испытаний с вероятностью появления события в каждом испытании, равной 0,4, чтобы наивероятнейшее число появлений события в этих испытаниях было равно 25? Задача №588 Партия изделий принимается, если вероятность того, что изделие окажется бракованным, не превышает 0,02. Среди случайно отобранных 480 изделий оказалось 12 дефектных. Можно ли принять партию? Задача №591 В результате длительных наблюдений установлено, что вероятность полного выздоровления больного, принимавшего лекарство А, равна 0,8. Новое лекарство В назначено 800 больным, причем 660 из них полностью выздоровели. Можно ли считать новое лекарство значимо эффективнее лекарства А на пятипроцентном уровне значимости?
Приветствую! ) Я так понял, что результат этого эксперимента будет публиковаться. Поэтому хочу присоединиться и решить поставленную задачу в <b>NeuroShell DayTrader Professional 5.6</b>. Из приведённого выше описания ясно, что сеть должна прогнозировать направление индикаторов <b>Simple Moving Average</b>, и если прогнозируемое значение быстрой <b>SMA</b> пересекает медленную <b>SMA</b>, то происходит вход в позицию <b>Long/Short </b>в зависимости от направления. Условие с пересечением всё же имеет отличие от того условия, что представлено выше. В условии выше, быстрая <b>SMA</b> должна быть больше либо меньше медленной <b>SMA</b>. Но я проведу эксперимент с пересечением. В <b>NSDT</b> нет параметра, в котором можно было бы указывать ориентацию на результат с <u>определённым</u> процентом максимально допустимой просадки и минимальной доходностью. Поэтому я буду использовать в качестве целевой функции <b>Minimize Max Drawdown</b> и <b>Maximize R-Squared</b>. <!--coloro:#2E8B57--><span style="color:#2E8B57"><!--/coloro--><i>"<b>Maximize R-Squared</b>. Эта функция максимизирует значение R2 между фактическим и предсказанным значением. R2 — это статистическая величина, обычно применяемая во множественном регрессионном анализе. Она сравнивает точность предсказания с точностью среднего значения по всем выборкам. При полном соответствии значение R2 равно 1. При хорошем приближении— близко к 1, при очень плохом стремится к 0. Если нейромодель предсказывает хуже, чем если бы для предсказания просто брать среднее значение выборки, R2 будет отрицательным. Не путайте R2 с r2. (r-squared), где r— коэффициент корреляции. Это две разные величины с разными формулами. Хотя в линейном регрессионном анализе эти величины имеют одинаковые значения, в нелинейных нейросетях это два разных понятия."</i><!--colorc--></span><!--/colorc--> Результат я предоставлю в пунктах, то есть система управления капиталом использоваться не будет. Также не будет использоваться <b>Stop Loss</b>. Тест буду проводить на данных <b>EURUSD</b> <b>2009</b> года. Теперь вопросы: 1. Какие будут использоваться периоды для оптимизации (обучения (<b>In Sample</b>)) и вне оптимизационной выборки (<b>Out of Sample</b>)? Я вижу есть некий "<i>срок жизни 1 год</i>". Что это? 2. Какие будут диапазоны параметров для оптимизации быстрой и медленной <b>SMA</b>? 3. Какое количество скрытых нейронов будет задействовано в нейроной сети? 4. Если в диапазон оптимизируемых параметров будут включены значения периодов <b>SMA</b> меньше 10, то будет ли использоваться фильтр для ограничения сделок по длительности, который измеряется в барах? Или будет ли использоваться, какой либо вообще фильтр для ограничения сделок, так как при мелких периодах <b>Simple Moving Average</b>, частота сделок будет очень высока. 5. Будет ли учитываться спред? Какой размер спреда? 6. Будут ли после оптимизации/тренировки проверяться на корректность сигналы на открытие позиций? То есть, не произошло ли в процессе оптимизации/тренировки так, что всё перевернулось "вверх дном" и длинная позиция открывается, когда быстрая <b>SMA</b> не выше, а ниже медленной <b>SMA</b>. То же самое и с короткими позициями. 7. На сколько баров в будущее будут выдавать свой прогноз нейронные сети? 1, 2, 3,...N баров? 8. Есть ли логическое обоснование тому, почему выбрана для эксперимента цена <b>Open</b>? Если это было сделано из-за того, что цена <b>Close</b> плавает в реал-тайм, то, например в <b>NSDT</b> этот нюанс учтён и открытие позиций осуществляется только по сформировавшимся свечам. Поэтому в тестировании торговых систем в <b>NSDT</b> можно использовать любые цены не опасаясь того, что тестирование пройдёт некорректно. 9. Какое будет принято решение, если с учётом всех требований в тестировании торговой стратегии оптимизатор не найдёт вариантов, которые должны соответствовать заранее установленным инвестиционным требованиям? То есть максимальная просадка, на выборке для оптимизации/обучения, будет больше 20%, а минимальная доходность меньше 50%. 10. Почему выбран инструмент <b>EURUSD</b> и таймфрейм <b>H1</b>? После того, как всё готово для тестирования, несложно и даже нужно провести тест по нескольким таймфреймам и инструментам. Для чистоты эксперимента предлагаю так и сделать.
Привет! Тот факт, что можно нарезать историю на куски Sample+OoS, провести обучение на Sample и получить результаты работы на OoS уже не вызывает никаких сомнений. Здесь я хочу поставить задачи более высокого порядка: - как оценить полученные результаты? получили склейку из OoS-ов, посмотрели на нее и что дальше? какие выводы можно сделать? на что можно расчитывать в будущем? оценку хочется дать в цифрах, а не впечатлениями - какое минимальное количество "нарезок" необходимо ? - можно ли как-то оценить вероятность того, что при первом же реал-применении ТС выдаст приемлемые результаты ? - как оценить вероятность того, что выбранный метод оптимизации в дальнейшем будет давать профит ? - как в цифрах оценить робастность, устойчивость, факты переоптимизации, ... Хочется начать построение ТС именно с таких точек зрения - определить все внешние параметры самой <b>технологии</b>, опираясь хоть на что-то. Математически вывести правила "отбросить такую ТС", "попробовать снизить кол-во адаптивных параметров", "понизить размерность пространства входов", "попробовать другой ММ", ... Подозреваю, что сей пост будет непонят - я сам с трудом понимаю о чем говорю )) Ничего удивительного - пока в голове каша, есть лишь редкие проблески Если бы понимал, что хочу получить, то уже бы сделал, а не занимался писаниной на форумах <b>tol64</b>, все твои вопросы (от №1 до №10) требуют внешнего ответа и основная задача состоит в том, чтобы грамотно ответить на них речь именно о том, чтобы научиться отвечать на них не интуитивно, а хоть как-то обосновывая свои решения
Я люблю делать так: если не понятно, что нужно сделать, что бы получить результат - нужно попытаться найти "главные" вопросы и уже из них с помощью логики и аналогий искать путь решения. Взять к примеру разработку устройства. Сначала ставится задача, затем, исходя из этого, требования к устройству, а далее проектируется само изделие с выбором компромиссных решений. Для себя в качестве "главных" вопросов выбрал деньги и время. К деньгам отношу начальный капитал и желаемую прибыль. Ко времени - количество "свободного" времени для торговли и для разработки системы. Уже из этих соображений выбираю тайм фрейм, стратегию, ММ и т.д.
Речь как раз об этом. Задача - создать устройство, которое будет выпускать детали под названием "Торговая система". Детали должны соответствовать заданным "условиям инвестора" и требовать как можно меньшей доработки напильником.
По идее можно считать, если система пережила разные периоды на рынке (приятные и неприятные для нее) и дала требуемую доходность, то она подходит. Если сравнивать несколько систем, почему бы не определять какая лучше по прибыли за один и тот же период с вычетом максимальной просадки в процентах. Конечная цель все равно ведь деньги, а не всякие коэффициенты. А коэффициенты нужны для сравнения систем, работающих на разных таймфреймах, парах и т.д.- то есть их нельзя сравнить в одинаковых условиях. Мне так кажется.
<div align="right"><i>--Доктор, у меня проблема - меня никто не замечает --Следующий!</i></div> <b>tol64</b>, у меня уже начинает складываться комплекс ))) При решении этой задачи а) мною не подразумевалось использование нейросетей вообще б) никакого прогнозирования я тоже не подразумевал в) в чем разница между "если быстрая SМА выше медленной, то стоим одним лотом в BUY, если быстрая SMA ниже медленной, то стоим одним лотом в SELL" и "быстрая <b>SMA</b> пересекает медленную <b>SMA</b>, то происходит вход в позицию <b>Long/Short </b>в зависимости от направления" ? :gq: <b>а</b> - это период быстрой МАшки, <b>b</b> - медленной Нарезаем историю, допустим, на 10 участков Оптимизируем <b>а</b> и <b>b</b> на каждом участке независимо от других: - какая целевая функция оптимизации - это пока непонятно, пусть будет так - не просесть более, чем на 20% от начального депо + max Equity; - алгоритм: для такой простой задачи подойдет полный перебор благо параметров всего 2, а диапазон значений каждого из них в пределах разумного с дискретностью 1 Получаем 10 пар значений (<b>a</b>, <b>b</b>) - это наилучшие решения на каждом из 10 Sampl'ов На каждой OoS (выборка, идущая непосредственно после участка оптимизации) прогоняем ТС с соответствующими параметрами (a,b) Склеиваем, получаем какую-то картинку Пусть, для примера, будет: четыре слива (остановили при 20% просадке), два раза не набрали +50% в перерасчете на среднегодовое и 4 раза профитно > 50% также в перерасчете на среднегодовой показатель. Т.о. в четырех случаях из 10 мы выполнили требования инвестора, а в шести - нет Могу ли я сказать, что <b>оптимизированная в 11ый раз</b> ТС: - с вероятностью 40% выполнит все "условия инвестора" - с вероятностью 40% достигнет просадки в 20% от стартового депозита и будет остановлена - с вероятностью 20% не остановится, но и не выйдет на требуемый уровень в +50% среднегодовых ? Интуитивно понятно, что если бы я провел не 10 экспериментов, а 100, то достоверность такого утверждения была бы выше. Где эта грань? Вопросы элементарные и, уверен, проработаны уже сто лет назад Плз, ткните пальцем где копать ? P.S. Вроде что-то похожее открывается по запросу "Математическая статистика" ))) Ключевые слова: доверительный интервал, функция Лапласа
Вот это уже хорошо. )) Это первый кирпичик, который должен быть заложен в фундамент оценки торговой стратегии. Это я не для тебя Алексей подчёркиваю, а для тех, кто только начал этот непростой путь. Ни о каких впечатлениях, конечно же, и речи быть не может. Все эти радостные впечатления и восхищения по первому положительному результату просто бред. В этой деятельности нужен только холодный взгляд и точные расчёты. А если есть цель управлять не только своими средствами, но и средствами инвесторов, то точные расчёты имеют важность высшего порядка. Сначала не смешной анекдот по этой теме (из книги – Тарп, Ван К. - Трейдинг - ваш путь к финансовой свободе): <i><b>- Чем могу служить Сэм?</b> - Знаешь, я нахожу результаты своей торговой системы не слишком хорошими. <b>- Что значит «не слишком хорошими»?</b> - Просто я ими недоволен. <b>- А какая торговая цель стояла перед тобой в этом году?</b> - Вообще-то у меня не было конкретной цели. <b>- А чего ты хочешь достичь за этот год на рынке?</b> - (После долгой паузы) Я бы хотел иметь возможность купить на заработанные таким образом деньги машину для своей жены. <b>- Хорошо. Я какую машину ты ей хочешь купить? Ролл Ройс? Мерседес? Лексус? Пикап?</b> - Американскую машину за 15 000$. <b>- Превосходно! А когда ты бы хотел её купить?</b> - В сентябре. Примерно через три месяца. <b>- Чудесно. Сколько денег у тебя сейчас на счёте?</b> - Около 10 000$. <b>- То есть ты хочешь заработать 150% прибыли всего за 3 месяца?</b> - Да, полагаю, что так. <b>- Надеюсь, что ты понимаешь, что 150% за три месяца - это все равно, что 1000% в год?!</b> - Вообще-то нет. <b>- А каким капиталом ты готов рискнуть, чтобы получить такой доход?</b> - Даже и не знаю, я как-то не задумывался об этом. <b>- Готов ли ты рискнуть 5000$ долларами?</b> - Пожалуй, что нет. Это слишком много. <b>- А двумя с половиной тысячами долларов? Это всего 25% от счёта.</b> - Нет. Этого тоже многовато. Наверное, 10% ещё можно. <b>- То есть, ты хочешь заработать 150% за 3 месяца, рискуя всего 10% процентами капитала?</b> - Выходит, что так. <b>- А ты знаешь хотя бы одну торговую систему, которая могла бы обеспечить соотношение доходность/риск 15 к 1?</b> - Нет. <b>- Ты знаешь, я тоже. Три к одному – это лучшее, чего можно достичь.</b></i> ------------------------- А теперь по теме прямым текстом (конкретно). Полученные результаты с участков Out of Sample, которые имеются в наличии после тестирования той или иной торговой системы можно оценить, только после того, как будут произведены дополнительные расчёты. Для этого систему нужно тестировать без учета, какой либо системы управления капиталом, чтобы получить чистый результат в пунктах. После этого, к сделкам можно применить любую систему управления капиталом без повторного тестирования. Просадка в пунктах ни о чём не говорит. Нужно знать, насколько бы опустился счёт в денежном эквиваленте и в процентах. Допустим, из твоего примера, максимальная просадка предпочтительна не более 20%, а доходность 50% процентов годовых. Вот от этого и нужно плясать. Так как в системе управления капиталом тоже есть параметры, которые можно настраивать, то нужно настроить систему таким образом, чтобы максимальная просадка была приблизительно 20%, а вот доходность уже, как получится исходя из предпочтительной максимальной просадки. Не всегда попадает так точно. Именно поэтому оптимизатор может и не найти по начальному требованию вообще ни одного результата. В таком случае разработчику эти параметры лучше реализовать таким образом, чтобы оптимизатор оставлял только те результаты для анализа, которые находятся в определённом предпочтительном диапазоне, от и до. Но лично я склоняюсь к тому, что сделки в пунктах намного удобнее анализировать после тестирования. Это более гибкий вариант анализа. И как показывает практика можно сэкономить намного больше времени. То есть система управления капиталом практически мгновенно показывает результат. А тестирование и оптимизация параметров в торговой системе происходит намного дольше. Есть множество программных пакетов для анализа сделок. Например, очень неплохие программы для анализа на мой первичный взгляд такие, как: 1. <span class='inv'><![CDATA[<noindex>]]></span><a href="http://www.onix-trade.net/forum/go.php?http://www.smartfolio.com/" rel="nofollow" target="_blank">http://www.smartfolio.com/</a><span class='inv'><![CDATA[</noindex>]]></span> 2. <span class='inv'><![CDATA[<noindex>]]></span><a href="http://www.onix-trade.net/forum/go.php?http://www.adaptrade.com/MSA/index.htm" rel="nofollow" target="_blank">http://www.adaptrade.com/MSA/index.htm</a><span class='inv'><![CDATA[</noindex>]]></span> 3. <span class='inv'><![CDATA[<noindex>]]></span><a href="http://www.onix-trade.net/forum/go.php?http://www.palisade.com/" rel="nofollow" target="_blank">http://www.palisade.com/</a><span class='inv'><![CDATA[</noindex>]]></span> Я пока не нашёл полные версии в свободном доступе, но trial версии можно скачать для ознакомления. Возможно, даже приобрету потом, если ещё будет в этом такая необходимость. Лично я реализовал тот минимальный необходимый набор в Excel. Есть некоторое неудобство, но оно терпимо. Теперь приведу пример того, как я анализирую и оцениваю полученный после тестирования результат. Сначала покажу результат (который я показывал уже в соседней ветке) своей торговой системы, в пунктах: <div align="center"><img src="http://www.easyfoto.ru/20110204022851947.png" border="0" class="linked-image" /></div> Если бы торговля шла всегда таким объёмом, когда <b>1 пункт = 1$</b>, то в деньгах доход составил бы 15 293$ независимо от того, какого размера капиталом бы мы обладали. То есть, если капитал в самом начале равен 100 000$, то доход бы составил за весь период (20.08.2007-11.10.10) около 15%. На рисунке ниже представлен результат, который я уже показывал в соседней ветке. В расчётах использовалась система управления капиталом - фиксированная пропорция. Результат выражен в денежном эквиваленте (белая кривая – левая шкала) и в процентах (зелёная кривая – правая шкала). Максимальная просадка показана в нижней части графика. Просадка в долларах (красная гистограмма) и просадка в процентах (синяя гистограмма). <div align="center"><img src="http://www.easyfoto.ru/20110204023214511.png" border="0" class="linked-image" /></div> В тестировании торговой системы участвовало 8 инструментов (валютных пар). Три из них были убраны из расчётов, так как на данном периоде они показали неудовлетворительный результат. Такой подход нельзя назвать подгонкой, так как одна и та же система не даст положительный результат на всех инструментах. На каких то инструментах она будет показывать результат лучше, на каких то хуже. Именно поэтому есть такое понятие, как собрать портфель из инструментов для определённой стратегии. Это первый уровень диверсификации. Чтобы было совсем уж всё правильно, то собирать портфель нужно из инструментов с разных рынков. Например, акции, товарные фьючерсы, валюты. <u>Чем больше период тестирования, тем выше вероятность того, что система и дальше будет работать на этих инструментах.</u> Я ставлю перед собой задачу принимать окончательное решение по результатам тестов за десять лет. Итого на представленном графике 5 инструментов, с которыми можно дальше проводить анализ вдоль и поперёк. На всех сделках показатели результатов получились такими: <div align="center"><img src="http://www.easyfoto.ru/20110204023506682.png" border="0" class="linked-image" /></div> Это основные показатели, на которые я обращаю внимание. Но самый главный показатель для меня <b>Relative Drawdown(%)</b>. Также меня интересует годовая доходность. Все остальные показатели были рассчитаны только для общей картины и по большей части для того, если инвестор будет интересоваться этими показателями. Сначала я настраиваю систему управления капиталом так, чтобы добиться желаемого результата на всём периоде. Если нужно получить максимальную просадку приблизительно 20%, то имеются параметры <b>Delta</b>, <b>Step Lot</b>, <b>Start Lot</b> изменяя которые можно добиться желаемого результата. И настройка системы управления капиталом тоже не является подгонкой. Настройка системы управления капиталом это: 1. Выбор уровня, ниже которого нельзя опускаться. 2. Выбор стиля торговли (от консервативного стиля до агрессивного стиля). 3. Выбор годовой доходности, которую хотелось бы получить (уровень жадности). Но никак не подгонка. Многие инвесторы, между прочим, готовы рисковать и большим процентом, чем 20% ради большей доходности. И система управления капиталом позволяет регулировать «уровень жадности». Параметры системы управления капиталом нужно в любом случае менять в зависимости от размера депозита. На представленном выше рисунке расчёт производился от 1000$ начального депозита. Настройки параметров при этом были: <b>Start Deposit</b> = 1000$ <b>Delta (p) </b> = 100 <b>Start Lot</b> = 0.01 <b>Step Lot</b> = 0.01 Это означает, что торговля будет начата объёмом 0.01 лота (<b>Start Lot</b>). При достижении прибыли в 100 пунктов (<b>Delta</b>) торгуемый лот будет повышен на 0.01 лота (<b>Step Lot</b>) и будет равен 0.02 лота и т.д. То есть торгуемый объём будет увеличиваться пропорционально депозиту и таким же образом снижаться во время просадок. После того, как была произведена общая настройка, нужно посмотреть, какую годовую доходность в процентах система показывает по результатам тестирования за каждый год тестируемого периода всегда из расчёта 1000$ начального депозита. У меня в Excel при изменении периода просадка пересчитывается автоматически. Смотрим доходность за 2008 год: <div align="center"><img src="http://www.easyfoto.ru/20110204024641096.png" border="0" class="linked-image" /></div> Доходность чуть больше 120%. Я на самом деле рассматриваю варианты, которые по результатам тестов показывают доходность не меньше 100% годовых. Максимальная просадка, выраженная в процентах (Relative Drawdown (%)) около 25%, что вполне допустимо исходя из начальных требований (20%). Идём дальше. Смотрим доходность за 2009 год: <div align="center"><img src="http://www.easyfoto.ru/20110204024839685.png" border="0" class="linked-image" /></div> Годовая доходность за 2009 год составила почти 450%. Максимальная просадка депозита около 15%. И 2010 год до октября. На тот момент был октябрь, поэтому не весь год. <div align="center"><img src="http://www.easyfoto.ru/20110204024936599.png" border="0" class="linked-image" /></div> Таким же образом проводится анализ и настройка системы управления капиталом для большего размера начального депозита. Рассмотрим пример, когда размер счёта составляет 100 000$ инвесторских средств. Если изменить в настройках только размер начального капитала, а все остальные настройки оставим без изменений, то получим такой результат: <div align="center"><img src="http://www.easyfoto.ru/20110204025216030.png" border="0" class="linked-image" /></div> Видно, что доходность на низком уровне. Всего лишь 70% за весь тестируемый период (около 3-ёх лет). Но и максимальная просадка всего лишь около 4%. Я в таких случаях увеличиваю риски. К примеру, поставим такие настройки для системы управления капиталом: <b>Start Deposit </b> = 100 000$ <b>Delta (p)</b> = 200 <b>Start Lot </b> = 1.0 <b>Step Lot</b> = 0.1 И вот какой получаем результат: <div align="center"><img src="http://www.easyfoto.ru/20110204025343389.png" border="0" class="linked-image" /></div> Приблизительно те же цифры доходности, но с учётом имеющихся средств. Посмотрим каждый год отдельно: <div align="center">2008 год.</div> <div align="center"><img src="http://www.easyfoto.ru/20110204025443368.png" border="0" class="linked-image" /></div> <div align="center">2009 год.</div> <div align="center"><img src="http://www.easyfoto.ru/20110204025543319.png" border="0" class="linked-image" /></div> <div align="center">2010 год.</div> <div align="center"><img src="http://www.easyfoto.ru/20110204025643467.png" border="0" class="linked-image" /></div> Вот таким образом, с помощью системы управления капиталом можно настроить торгуемый лот. Если средства на счёте увеличились на определённое количество единиц, то торгуемый лот тоже увеличился. Если средства уменьшились, то торгуемый лот тоже уменьшился. Возвращаясь к некоторым предыдущим вопросам… …можно уже конкретно дать ответ: «Посмотрев и проанализировав, таким образом, каждый год на тестируемой выборке уже можно сделать выводы, на что можно рассчитывать в будущем. Всё чётко и в цифрах». Нет понятия минимальное, когда дело касается тестирования. Какая стратегия или торговый стиль бы не использовались, чем больше будет проведено тестов, тем больше трейдер будет знать, на что можно рассчитывать и как это нужно рассчитывать. Количество периодов Out of Sample зависит от того, какой тестируется временной отрезок и какие были выбраны по длительности периоды для оптимизации/Out of Sample. Это ещё зависит от того, какое количество свечей используется в выборках для оптимизации/Out of Sample, что в свою очередь зависит от того, какой будет использоваться таймфрейм. Скажу так, тестировать нужно 10 последних лет и тогда картинка отражающая робастность торговой стратегии будет полной. Это всё один и тот же вопрос, так что можно их все склеить в один. Оценить можно только результатами тестов с учётом рисков, то есть, с применением к тестовым сделкам системы управления капиталом. Вот на это и можно рассчитывать. Других методов не существует, если только нет возможности воспользоваться машиной времени. Пройдя через тысячи тестов, я пришёл к выводу, что не резонно сосредотачиваться на поиске правила, которое бы отбрасывало ту или иную ТС и делало выбор, какую ТС лучше использовать на данный момент. Так как у любой ТС есть периоды, когда может произойти следующая ситуация: <div align="center"><img src="http://www.easyfoto.ru/20110204030258374.png" border="0" class="linked-image" /></div> То есть, на периоде оптимизации будет скудный результат, но, тем не менее, на периоде Out of Sample будет безубыток или не большая прибыль. То же самое и наоборот: <div align="center"><img src="http://www.easyfoto.ru/20110204030347381.jpg" border="0" class="linked-image" /></div> То есть, на периоде оптимизации хороший результат, а на периоде Out of Sample убыток. Чтобы ещё больше обезопасить себя от подобных ситуаций, кроме правил урезания убытков, системы управления капиталом и первого уровня диверсификации, нужно включить в торговлю второй уровень диверсификации. То есть нужно использовать портфель из торговых стратегий. Самое главное правильно рассчитать потом систему управления капиталом. Но это всё делается элементарно. Диапазон параметров для оптимизации, конечно же, должен быть в разумных пределах. Это учитывается сразу же, при создании ТС. То есть, не нужно допускать такого, когда на выборке для оптимизации может возникнуть ситуация, когда по условию из-за того, что оптимизатор выбрал самое большое значение для периода, например SMA, и была совершена одна сделка, которая успешно прошла по тренду и дала самый лучший результат. Выход из ситуации. Или уменьшить диапазон оптимизируемых параметров. Или увеличить выборку для оптимизации. Всё логично. Это что-то из разряда фантастики или астрофизики? ))) Попробовать можно хоть все, что есть. Их всего то, по пальцам можно пересчитать: • <b>Fixed Size</b> – Фиксированный объём в лотах. • <b>Fixed Dollar</b> – Фиксированный объём в долларах. • <b>Percent of Account</b> – Процент от депозита. • <b>Fixed Leverage</b> – Фиксированный рычаг. • <b>Fixed Fractional</b> – Фиксированная фракция. • <b>Kelly formula</b> – Формула Келли. • <b>Optimal f</b> – Оптимальный f. • <b>Secure f</b> – Безопасный f. • <b>Profit Risk</b> – Риск от прибыли. • <b>Volatility Risk</b> – Риск от волатильности. • <b>Fixed Ratio</b> – Фиксированная пропорция. • <b>Margin + Drawdown Sizing</b> – Маржа + Просадка. • <b>Fixed Dollar Amount per Unit</b> – Фиксированная сумма в долларах на единицу. • <b>Fixed Dollar Risk</b> – Фиксированный риск в долларах. Самый оптимальный вариант, на мой взгляд, фиксированная пропорция, поэтому им и пользуюсь. )) Ну почему же не понят. Я отлично понимаю, о чём ты говоришь. Сам проходил через это. )) Внешний ответ, а точнее внешние ответы я уже нашёл. Ниже я приведу список литературы, в которой я нашёл все ответы на свои вопросы. Я задавал эти вопросы с целью узнать, знаешь ли ты на них ответы. )) ----------------------------------- <b>Базовый курс - Термины:</b> 1. Английский для дилеров – Системы Рейтер. 2. Конспект лекций по Forex. 3. Курс лекций – Фьючерсы и опционы. 4. Словарь терминов. 5. Что такое валютный рынок Forex. 6. Что такое хеджирование. 7. Как играть и выигрывать на бирже. 8. 13 шагов к успешному инвестированию 9. Основы биржевой торговли. <b>Торговля акциями:</b> 1. Полное руководство по Daytrading High - Ken Wolff. 2. Европейский валютный союз и европейские рынки ценных бумаг. <b>Управление капиталом:</b> 1. Тысячи и немедленно - Секреты Управления Капиталом. 2. Метод Мартингейла. 3. Управление Капиталом Методом Мартингейла. 4. Биржевая игра - Сделай миллионы играя числами. Райан Джонс. 5. Ральф Винс. Математика управления капиталом. <b>Фундаментальный анализ:</b> 1. Азбука экономики. 2. Джордж Сорос. Алхимия финансов. 3. Джордж Сорос. Кризис мирового капитализма. 4. Джордж Сорос. Сорос о Соросе. 5. Фридрих А.Хайек - Частные деньги. 6. Как читать финансовую информацию. 7. Этика перераспределения. <b>Технический анализ:</b> 1. Технический анализ от А до Я. 2. Индикатор Ишимоку как основа торговой системы. 3. Практическое Применение Механической Системы Торговли - Волны Эллиота. 4. Код Эллиотта - Волновой анализ рынка Forex. 5. Исследование взаимосвязи теорий циклов и волн Эллиота в режиме компьютерного моделирования. 6. Т.Джозеф. Технический анализ с Advanced Get. 7. Билл Вильямс - Торговый Хаос. 8. Боллинджер о лентах Боллинджера. 9. Категоризация М и W-образных фигур по Мерриллу. 10. Виктор Сперандео. Trader Vic II - Принципы профессиональной спекуляции. 11. Д.ДиНаполи. Торговля с использованием уровней ДиНаполи. 12. Ларри Вильямс - Долгосрочные секреты краткосрочной торговли. 13. Линда Рашке. Биржевые секреты. 14. Грегори Л. Моррис - Японские свечи. 15. Стив Нисон - За гранью японских свечей. 16. Стив Нисон - Японские свечи графический анализ финансовых рынков. 17. Японские свечи. 18. Фейс Куртис - Путь черепах. 19. Уровни Фибоначчи. 20. Последовательность Фибоначчи - Приложения и стратегии для трейдеров. 21. Новые методы торговли по Фибоначчи. 22. Автоматизация Построения Линий Сопротивления и Поддержки. 23. Анализ канала. 24. Джон Дж. Мэрфи - Технический анализ фьючерсных рынков. 25. Томас Демарк - Технический анализ новая наука. <b>А также:</b> 1. Тарп, Ван К. - Трейдинг - ваш путь к финансовой свободе. 2. Воспоминания биржевого спекулянта. 3. К.Коннолли. Покупка и продажа волатильности. 4. Д.Катс.Д.Маккормик. Энциклопедия торговых стратегий. 5. Нейронные Сети и Финансовые Рынки - Д.-Э.Бэстенс, В.-М.Ван Ден Берг, Д.Вуд. 6. Барский - Нейронные сети. Распознавание, управление, принятие решений. 7. Пакет Metastock - Схемы, технические линии, индикаторы. 8. Диссертация - Управление портфелем ценных бумаг на основе D-оценок Руссмана и нейросетевого моделирования. 9. Проектирование торговых систем. 10. Роберт Пардо - Разработка, тестирование, оптимизация торговых систем для биржевого трейдера. 11. В.Жижилев - Оптимальные стратегии извлечения прибыли. ------------------------ Любая из этих книг есть в свободном доступе в интернете.
Приветствую, tol64! Если торгуешь на свои средства, то полезно "разделиться" на я-трейдер и я-инвестор. И каждую роль разыгрывать независимо от другой. Мне мои деньги не менее дороги, чем деньги инвестора, поэтому отношение равное Речь идет об обучении/оптимизации адаптивных параметров торговой системы на Sampl'ах и о тестировании на OoS'ах? На каждом Sampl'e проводим подбор параметров (оптимизируем), а на Out Of этого Sampl'a выполняем контрольный прогон (тестируем). Если так, то следует говорить об оптимизации прототипа торговой системы и о тестировании на OoS'ах разных конфигураций прототипов. В этом смысле на OoS'ах прогоняются разные торговые системы, общее у них - это единый прототип. Мы об одном и том же говорим? Тестирование - это "безобидный" процесс. А вот принятие каких-либо решений на основе тестирования - это уже оптимизация. Пытаюсь перевести твои слова на "свой" язык - проводим оптимизацию сигнальной подсистемы "вход-выход из позиции". Резонирует? Ключевой момент - "без повторного тестирования". К нему еще вернусь. При оптимизации сигнальной подсистемы можно оперировать только пунктами - у нас больше не за что зацепиться. Даже если мы прогнозируем направление форвард-свечи, то надежнее оценивать результаты не в "угаданных" штуках, а в сумме высот баров. Думаю, это очевидно, и углубляться не буду. При добавлении ММ - да, пункты нужно "взвешивать" (умножать на объем позиции с учетом текущего курса базовой единицы каждого инструмента к валюте депозита). Подбор целевой функции для оптимизатора - это вообще отдельная тема. Подозреваю, что ее вид может быть далек от "целевой функции инвестора". Здесь нужно учитывать количество сделок, перекосы в длинную/короткую сторону, штрафы (спреды, комиссии, свопы, проскальзывания,...), ну и, естественно - просадки, эквити,... Причем "важность" каждого "подталкивателя")) оценить сразу не представляется возможным - это творческий процесс. Согласен. В моих терминах это выглядит так - предпочтительно, чтобы найденные оптимизатором экстремумы были не острыми пиками, а пологими холмами. Это даст большую устойчивость всей системы. Вот здесь у меня начинает сносить крышу,)) поэтому остановлюсь на: - как оптимизатор будет выбирать наилучшее решение и не пользоваться (прямо или опосредованно) пунктами? - как система управления капиталом может "показать результат", если мы ее применяем см. выше "без повторного тестирования"? Каким образом мы ее применяем? - и дальше по тексту: -- Василий Иванович, сколько будет одна четвертая и 0.25? -- Вот нутром чувствую, Петька, что пол-литра, а доказать не могу Если мы использовали оптимизатор и получили OoS (склейку OoS'ов), то с этого момента то, что было OoS'ом таковым уже не является. Значит, отбрасывая торговые инструменты, применяя ММ после оптимизатора, уже нельзя пользоваться старой "нарезкой" - нужно переходить на абсолютно новый кусок истории. Причем, если отбросили неугодные пары и применили ММ за один такт, то можно использовать лишь один переход к новой выборке. Если поочередно (с тестированием после каждого действия), то новая выборка нужна после каждого "подглядывания". Да, каждое телодвижение вне зависимости от того компьютерный это оптимизатор или мозговой, требует перехода на абсолютно девственный участок истории. Иначе получается закладывание тротиловых шашек в фундамент здания при его постройке. Потом можно использовать самую крепкую арматуру и цемент М1000 - это уже не поможет, просто падать будет стройнее и элегантнее.))) Твои графики с пятью парами - это склейка тех же самых OoS'ов, которые использовались ранее? Возможно, ты все это понимаешь, но в тексте я не вижу никаких акцентов на эти моменты. С уважением P.S. Оптимизация сама по себе не страшна. Более того - это единственное, что можно использовать при тех.анализе. Все классики тех.анализа занимались именно этим - оптимизировали свои ТС на истории. Правда, без компьютеров. Имея в наличии гигагерцы и гигабайты, мы доводим процесс оптимизации до предельных оборотов. И здесь начинают вылазить все шероховатости теории.
Что касается этого пункта, то мы говорим об одном и том же. Почти. )) Ясное дело, что главная цель сохранить и приумножить имеющиеся средства, независимо от того, кому они принадлежат. Но для меня средства инвесторов на порядок выше стоят. То есть систему управления капиталом я буду настраивать из предпочтений инвестора (группы инвесторов). Но если буду торговать только своими средствами, то могу рассмотреть вариант с более высокими рисками ради более высокой прибыли. Работая с чужими средствами я буду уменьшать риски и подстраиваться под желания инвесторов. Есть инвесторы, которые тоже готовы рисковать большим процентом средств. Будет действовать индивидуальный подход. Моя система это позволяет. Да. Речь всегда идёт только о них. In Sample - это оптимизация параметров условий входов/выходов. Out of Sample - это результат сделок в пунктах. Нас интересует только результат с Out of Sample. Оптимизируя параметры на последних данных мы просто подстраиваем систему под текущее состояние рынка. Чарикара, например, интересуют только ближайшие последние данные. Не дальше двух-трёх дней для оптимизации. И переоптимизация параметров каждый день. Считаю, что в этом тоже есть смысл, так как учитывается дневная волатильность за последние дни. Обязательно попробую такие длительности периодов. Но сейчас отказался от них в силу огромных трудозатрат (человекодней(недель)). Я рассматриваю разные длительности периодов для In Sample/Out of Sample. Вплоть до таких, как: 4 года/1 год. Такие периоды больше подойдут для долгосрочных стратегий, которые тоже можно использовать в диверсификационном портфеле. Важно правильно настроить при этом систему управления капиталом. Если я правильно понял, то нет. Но уже почти. Мы нашли точки соприкосновения, но не можем пока их сомкнуть из-за того, что между ними лежит слой (слои) тонких различий. Не контачит. )) Сейчас повторю твои слова меняя при этом то, что мешает нам прийти к пониманию. "Если так, то следует говорить об оптимизации (<u><b>настройке</b></u>) прототипа торговой системы и о тестировании на OoS'ах разных конфигураций <b><u>условий для входа/выхода в/из позиции(-ий) Long/Short</u></b>. В этом смысле на OoS'ах прогоняются разные <u><b>условий для входа/выхода в/из позиции(-ий) Long/Short</b></u>, общее у них - это единый прототип". Если ты это имел ввиду, то да, мы говорим об одном и том же. Поиск и тестирование условий входов/выходов для меня скорее творческий процесс. В процессе тестирования тоже происходит оптимизация параметров (подстройка под текущее состояние рынка) перед каждым Out of Sample. Ну да, его можно назвать в прямом смысле безобидным на сегодняшний день. Но сначала это казалось мне не таким простым, как сейчас. А вот принятие решения на основе полученных результатов тестирования требует "холодных" и точных расчётов. Это можно назвать оптимизацией, но я предпочитаю называть это настройкой под консервативный или агрессивный стиль торговли. На 100%. )) Условия входов/выходов лучше называть подсистемой, чем системой. Это одна из подсистем в торговой системе. )) Форум же публичный. Это уточнение для тех, кто ещё не знает, что тестирование нужно проводить без применения системы управления капиталом. Пример. После тестирования условий входов/выходов мы имеем сделки в пунктах. В своём случае я выгружаю сделки из отчётов Out of Sample в книгу Excel, в которой уже забиты все формулы необходимые для настройки системы управления капиталом. Меняя параметры системы управления капиталом я тут же вижу, как меняется результат на графике. Есть множество программ, которые уже готовы для таких расчётов, я приводил ссылки выше. Я это реализовал в Excel с учётом своих требований. В твоём случае, с твоими мощностями и, если всё автоматизировать, можно провести и повторное тестирование с учётом системы управления капиталом. Но, если в серии форвард-тестов используется большое число периодов In Sample/Out of Sample, то это может занять довольно много времени. Например, смотрим на картинку ниже: <div align="center"><img src="http://www.easyfoto.ru/20110204175026280.png" border="0" class="linked-image" /></div> Пояснения к значениям на картинке: тест одной стратегии, на 32-ух инструментах. Допустим, на оптимизацию параметров уходит ровно одна минута. Если периоды In Sample/Out of Sample 8 недель/2 недели(W8 & W2), то при тестировании на 10 годах данных количество тестов составит 8320. И на это уйдёт приблизительно 138 часов 40 минут. Мощности, какие бы они ни были нужно тоже использовать эффективно. Зачем проводить повторно тестирование с учётом системы управления капиталом и ждать при этом столько времени, если к сделкам, которые уже есть в пунктах можно просто применить систему управления капиталом и результат мы получим почти мгновенно. Ну или в десятки (сотни) раз быстрее. И как всё это понимать (выделено зелёным)? Теперь тебе придётся доказать или хотя бы просто объяснить то, что ты написал. 1. Какой ещё старой "нарезкой" нельзя пользоваться и зачем нужно переходить на абсолютно новый кусок истории? 2. Что означает "можно использовать лишь один переход к новой выборке, после того, как из портфеля инструментов были отброшены те инструменты, которые показали неудовлетворительный результат, и к которым была применена система управления капиталом"? Я перевёл твои слова на финансовый лад, но смысл не понял. 3. Что означает "новая выборка нужна после каждого "подглядывания""? Какое ещё "подглядывание"? Что да?! ))) Что ты имеешь ввиду под телодвижением в первом предложении? ))) Ясное дело, что это некое действие, но важно, какое это действие. Подробный пример в студию! )) И чем подробнее он будет, тем лучше. )) Скажу да. Но на всякий случай хочу уточнить. Когда ранее и где? То, что я говорю, я не возможно понимаю, а точно. А в тексте одни сплошные акценты. А вот начинающие музыканты сбиваются со счёта и не замечают акценты (не попадают в акценты) особенно, если они ещё и синкопы. ))) Чтобы обозначить акценты нужно приводить примеры и расчёты, так как без них получается не музыка, а какофония (<i>муз.термин - сочетания звуков, производящие впечатление беспорядочного, хаотического их нагромождения</i>).
Да. Нейро сети. Ключевое слово сети. Вероятно. По сути нейро извилинам, предложу, что нефть упадет. Скоро. Так пунктов на 500. А может и более.
