بک‌تست، هزینه و بیش‌برازش

قانون باید قبل از نتیجه کامل باشد

ورود، خروج، ابطال، اندازه، دارایی، تایم‌فریم و زمان اجرا باید تعریف شوند. عبارتی مانند «روند خوب» بدون معیار قابل بک‌تست نیست.

In-sample و Out-of-sample

بخشی از داده برای ساخت و بخشی دست‌نخورده برای ارزیابی نگه داشته می‌شود. تنظیم مکرر پس از دیدن داده آزمون، آن را دوباره آموزشی می‌کند.

خطاهای فنی

• نگاه به آینده و استفاده از close قبل از بسته‌شدن.
• Survivorship bias و حذف دارایی‌های ازرده‌خارج‌شده.
• نادیده گرفتن کارمزد، spread، funding و لغزش.
• بهینه‌سازی ده‌ها پارامتر روی یک دوره.

معیارها

بازده بدون Drawdown، تعداد نمونه، توزیع سود/زیان و پایداری دوره‌ها کافی نیست. نتیجه باید با Buy-and-hold یا خط پایه مناسب مقایسه شود.

تمرین

روش را روی سه رژیم روند، رنج و شوک جدا کن. پارامتر را 10 تا 20 درصد تغییر بده؛ اگر نتیجه فرو می‌ریزد، احتمال بیش‌برازش (Overfitting) بالاست.

عدم‌قطعیت نتیجه

یک میانگین سود بدون فاصله اطمینان و تعداد معامله قابل اتکا نیست. نتیجه را با bootstrap یا دست‌کم چند زیرنمونه زمانی بازسازی کن و بدترین افت متوالی را گزارش بده. اگر چند معامله بزرگ همه سود را ساخته‌اند، پایداری روش هنوز اثبات نشده است.