Оценка торговой системы

Вопрос оценки торговой системы может возникнуть в следующих случаях:

  1. При передаче средств в доверительное управление, например при инвестировании в ПАММ-счета. Перед тем как выбрать управляющего трейдера необходимо ознакомиться с результатами работы его торговой системы.
  2. При разработке собственной торговой системы. Когда создаётся принципиально новый продукт, он естественно нуждается в тестировании и оценке.

Для тестирования разрабатываемых торговых систем (ТС) трейдеры часто используют стандартный тестер стратегий встроенный в торговый терминал МТ4. После прогона загруженной в него стратегии по заданному временному интервалу, тестер выдаёт сводную таблицу результатов тестирования. Вот пример такой таблицы:

Результаты тестирования в тестере стратегий МТ4

На основе этих данных можно провести вполне объективную оценку тестируемой торговой системы. Давайте рассмотрим основные критерии, по которым производится эта оценка. Часть из них приведена в таблице тестера, а другая часть вычисляется с использованием этих приведенных величин.

Чистая прибыль показывает, сколько в итоге заработала торговая система. Рассчитывается как общая прибыль по всем позициям, минус общий убыток по всем позициям. Хотя чистая прибыль это далеко не самый важный критерий в оценке торговой системы, начинать следует именно с него. Ведь если система практически не приносит никакой прибыли или даже работает в убыток, то оценка по всем остальным критериям просто не имеет никакого смысла.

Прибыльность хотя и кажется синонимом предыдущего критерия, тем не менее, представляет собой несколько иное значение. Прибыльностью называется отношение суммарной прибыли к суммарному убытку полученным при работе системы в заданном временном интервале. Этот параметр считается гораздо более важным, чем предыдущий и является одним из основных критериев в оценке эффективности ТС, поскольку он косвенно отображает один из важнейших факторов – устойчивость торговой системы. Как правило, в рабочих торговых системах значение прибыльности не меньше 2.

Всего сделок показывает общее количество сделок совершённое тестируемой системой в заданном временном интервале. Этот критерий важен, так как напрямую отражает объективность рассматриваемой ТС. Согласитесь, одно дело судить об эффективности ТС по результатам 5 заключенных сделок и совсем другое, по результатам 500 заключенных сделок.

Зависимость стандартной статистической ошибки от числа сделок

На приведённом графике отображена зависимость стандартной статистической ошибки от количества сделок тестируемой торговой системы. Как видите, процент ошибки очень велик при количестве сделок до 50. При увеличении количества сделок от 50 до 150 (в три раза) процент ошибок падает на 10% (с 20% до 10%). При увеличении количества сделок со 150 до 450 (ещё в три раза) процент ошибок падает всего на 4%. При ещё большем увеличении количества сделок процент ошибок остаётся практически неизменным.

Отсюда можно сделать вывод, что увеличение числа сделок свыше 450-500 штук не имеет никакого смысла.

Самая большая прибыльная сделка и самая большая убыточная сделка являются не столь важными критериями в оценке торговой системы. Однако их значения следует учитывать в плане того, чтобы они не исказили общих результатов оценки. Поясню, что я имею в виду. Представьте себе, что тестируемая система показывает размер чистой прибыли в 1000 долларов, при этом имеется самая большая прибыльная сделка размером в 800 долларов (т.е. размером сопоставимым с размером чистой прибыли). Средний размер прибыли остальных трёхсот сделок при этом колеблется в диапазоне 50-100 долларов. Естественно предположить, что результаты такого тестирования далеко не объективны, поскольку большая часть прибыли была получена в результате всего лишь одной сделки.

Многие специалисты в области разработки торговых систем рекомендуют для повышения результатов тестирования вообще исключать такого рода экстремальные сделки из рассматриваемой выборки.

Максимальная просадка показывает максимальное снижение кривой доходности до начала её восстановления.

Максимальная просадка на кривой доходности

Это один из основных критериев надёжности торговой системы. Чем меньше это значение, тем устойчивей и стабильнее тестируемая ТС. Значение максимальной просадки, полученное в процессе тестирования используется затем в качестве «аварийного маячка» при реальной торговле по данной ТС. Если в процессе использования торговой системы уровень просадки достигнет значения 1.2 – 1.3 от максимальной просадки в процессе тестирования, то торговля по системе приостанавливается.

Продолжительность максимальной просадки определяется как время требующееся для того чтобы кривая прибыли достигла уровня начала просадки. Величина этого параметра очень важна с точки зрения психологии трейдера. Далеко не каждый трейдер сможет пережить просадку длящуюся, например, в течение полугода, хотя для долгосрочных торговых систем такое значение может быть вполне приемлемым.

Исходя из размера максимальной просадки вычисляется минимальный размер депозита необходимого для торговли по тестируемой ТС. Логика этого расчёта проста и основана на том, что просадка может произойти сразу после старта торговли по данной системе. При этом должно оставаться достаточно средств для продолжения работы.

Расчёт минимального депозита производится по формуле:

Минимальный депозит = Максимальная просадка х Стоимомть пункта для минимального лота х k,

В данном случае k – коэффициент запаса (рекомендуемое его значение k=2…3).

Отдача на вложенный капитал вычисляется исходя из минимального депозита, рассчитанного в предыдущем пункте и чистой прибыли системы, по следующей формуле:

Отдача = (Чистая прибыль/Минимальный депозит) х 100%

Иными словами, отдача это процент доходности тестируемой ТС выраженный относительно минимального депозита.

Максимальное количество непрерывных выигрышей и максимальное количество непрерывных проигрышей является ещё одним критерием устойчивости тестируемой ТС. Вместе с предыдущим критерием (максимальной просадкой) они могут служить сигналом аварийной остановки торговли по тестируемой системе. Это означает, что если при реальном использовании данной ТС появится просадка, превышающая максимальное её значение, полученное при тестировании, или появится серия убыточных сделок большая чем при тестировании, то торговлю по системе следует немедленно прекращать.

Фактор восстановления вычисляется как отношение чистой прибыли к величине максимальной просадки. Этот критерий характеризует устойчивость системы, чем он выше, тем система устойчивей. Нормальным считается значение этого параметра выше трёх. Если величина фактора восстановления меньше двойки, то такая система крайне неустойчива и потому забраковывается.

Процент выигрышей показывает процент прибыльных сделок по отношению к общему количеству сделок. Является ещё одной величиной характеризующей устойчивость ТС. Здесь есть один нюанс. Например, в скальперской стратегии процент выигрышей может составлять величину больше 95%, но при этом средняя величина выигрыша 1-3 пункта, а средний проигрыш 10-20 пунктов (на порядок больше). Поэтому данный параметр следует рассматривать только в контексте с такими параметрами как средняя величина выигрыша и средняя величина проигрыша.

Отношение среднего выигрыша к среднему проигрышу также является важным параметром характеризующим устойчивость тестируемой системы. Чем больше это отношение, тем надёжнее и устойчивее рассматриваемая торговая система. Однако и этот параметр необходимо рассматривать с такой величиной как процент выигрышей. Ведь согласитесь, нелепо будет говорить об устойчивости торговой системы, у которой отношение среднего выигрыша к среднему проигрышу составляет 1.5 – 2, но при этом процент выигрышей равен всего 10%.

Матожидание выигрыша рассчитывается как средний выигрыш, умноженный на количество выигрышей, минус средний проигрыш, умноженный на количество проигрышей. Если матожидание выигрыша отрицательное, то система убыточная, если положительное, то прибыльная. Чем выше значение матожидания выигрыша, тем надёжнее тестируемая торговая система.

Визуальная оценка кривой доходности торговой системы

Если вы выбираете, например, ПАММ-счёт для инвестирования своих средств, то для начала можете провести визуальную оценку кривой доходности торговой системы трейдера. Эта информация, как правило, всегда предоставляется наряду с процентом доходности того или иного управляющего трейдера.

Кривая роста депозита (доходности) должна быть гладкой, без резких рывков в ту или иную сторону. Соедините прямой линией начальную и конечную точки кривой доходности и обратите внимание на то, что кривая должна отклоняться от этой прямой на приблизительно одинаковые расстояния. Это будет свидетельствовать о равномерной (устойчивой) работе системы.

Кривая доходности торговой системы

Обратите внимание на то, чтобы на кривой доходности не было больших провалов. Эти провалы свидетельствуют о том, что при каких-то определённых рыночных условиях рассматриваемая торговая система откровенно сливает.

Кроме этого многие недобросовестные управляющие трейдеры используют торговые системы, заранее обречённые на слив, основанные на методе Мартингейла. При использовании такого рода систем кривая доходности имеет следующий вид:

Как выглядит кривая доходности торговой системы использующей метод Мартингейла

Как видно из рисунка относительно плавный рост прерывается резкими выпадами вниз (это серии убыточных сделок) до тех пор, пока один из таких выпадов не съест весь торговый депозит. А это рано или поздно, но всегда происходит при достижении определённого числа в серии убыточных сделок.

Заключение

В принципе, приведённых выше критериев должно вполне хватить для полноценного анализа эффективности торговой системы. Впрочем, для тех, кто хочет, как говориться, копнуть ещё глубже, существует инструментарий математической статистики. Но об этом речь пойдёт в одной из следующих статей.

Добавить комментарий

Ваш e-mail не будет опубликован.