Publicación: Estrategia de ensamble con aprendizaje por refuerzo profundo para la gestión de portafolios en el mercado accionario colombiano: selección dinámica entre PPO, A2C y DDPG mediante la razón de Sharpe en ventanas móviles
| dc.contributor.advisor | Zuluaga Muñoz, William | |
| dc.contributor.author | Mercado Vargas, Luis Fernando | |
| dc.creator.id | 1107053810 | |
| dc.date.accessioned | 2026-11-19T16:41:38Z | |
| dc.date.issued | 2026-10-23 | |
| dc.description.abstract | Esta investigación evalúa el desempeño ajustado por riesgo de una estrategia de ensamble con aprendizaje por refuerzo profundo (DRL) para la gestión de portafolios en el mercado accionario colombiano. Se entrenan tres agentes actor-crítico (PPO, A2C y DDPG) en un entorno de simulación construido con Gymnasium y, mediante un esquema de ventanas móviles de entrenamiento, validación y prueba, se selecciona como agente activo aquel con mayor razón de Sharpe en la ventana de validación. La simulación incorpora costos de transacción proporcionales del 0,1 % y un mecanismo de control de riesgo basado en el índice de turbulencia financiera de Kritzman y Li (2010). El universo de inversión está conformado por 14 acciones del índice COLCAP con datos diarios entre 2015 y 2025, organizados en 29 ventanas. En el período de prueba fuera de muestra, el ensamble obtuvo una razón de Sharpe de 2,897 y un máximo drawdown de −12,3 %, frente a −0,053 y −46,7 % del COLCAP y 0,242 y −42,0 % de la estrategia de igual ponderación; las diferencias frente a ambos referentes son estadísticamente significativas (p < 0,001). DDPG fue seleccionado en 23 de las 29 ventanas, por lo que el ensamble no difiere significativamente de este agente. El desempeño se mantiene estable ante distintos niveles de costos de transacción. Los resultados deben interpretarse considerando el sesgo de supervivencia del universo de activos y los supuestos de las pruebas estadísticas empleadas. | spa |
| dc.description.abstract | This study evaluates the risk-adjusted performance of a deep reinforcement learning (DRL) ensemble strategy for portfolio management in the Colombian stock market. Three actor-critic agents (PPO, A2C and DDPG) are trained in a simulation environment built with Gymnasium and, through a rolling-window scheme of training, validation and testing, the agent with the highest Sharpe ratio in the validation window is selected as the active agent. The simulation includes proportional transaction costs of 0.1% and a risk-control mechanism based on the financial turbulence index of Kritzman and Li (2010). The investment universe comprises 14 COLCAP stocks with daily data from 2015 to 2025, organized into 29 windows. In the out-of-sample test period, the ensemble achieved a Sharpe ratio of 2.897 and a maximum drawdown of −12.3%, compared with −0.053 and −46.7% for the COLCAP index and 0.242 and −42.0% for the equally weighted strategy; differences against both benchmarks are statistically significant (p < 0.001). DDPG was selected in 23 of the 29 windows, so the ensemble does not differ significantly from this agent. Performance remains stable across different transaction cost levels. Results should be interpreted considering the survivorship bias of the asset universe and the assumptions of the statistical tests used. | eng |
| dc.description.degreelevel | Especialización | spa |
| dc.description.degreename | Especialista en Machine Learning | spa |
| dc.description.tableofcontents | Planteamiento del problema -- Objetivos -- Justificación -- Viabilidad del proyecto -- Marco institucional -- Marco teórico -- Hipótesis -- Variables -- Diseño metodológico -- Resultados preliminares de investigación -- Conclusiones preliminares -- Recomendaciones preliminares -- Contribuciones originales esperadas -- Cronograma -- Referencias | spa |
| dc.description.tableofcontents | Problem statement -- Objectives -- Justification -- Project feasibility -- Institutional framework -- Theoretical framework -- Hypotheses -- Variables -- Methodological design -- Preliminary research results -- Preliminary conclusions -- Preliminary recommendations -- Expected original contributions -- Schedule -- References | eng |
| dc.format | ||
| dc.format.extent | 42 páginas | |
| dc.format.medium | Recurso electrónico | spa |
| dc.format.mimetype | application/pdf | |
| dc.identifier.instname | instname:Universidad Ean | spa |
| dc.identifier.reponame | reponame:Repositorio Institucional Biblioteca Digital Minerva | spa |
| dc.identifier.repourl | repourl:https://repository.ean.edu.co/ | |
| dc.identifier.uri | https://hdl.handle.net/10882/19749 | |
| dc.language.iso | spa | |
| dc.publisher.faculty | Facultad de Ingeniería | spa |
| dc.publisher.program | Especialización en Machine Learning | spa |
| dc.relation.references | Bolsa de Valores de Colombia. (s.f.). Mercado de valores. https://www.bvc.com.co/mercado-de-valores?tab=leyes Congreso de la República de Colombia. (2005). Ley 964 de 2005. Por la cual se dictan normas generales y se señalan en ellas los objetivos y criterios a los cuales debe sujetarse el Gobierno Nacional para regular las actividades de manejo, aprovechamiento e inversión de recursos captados del público. https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=22412 Deng, Y., Feng, B., Kong, Y., Ren, Z., & Dai, Q. (2017). Deep direct reinforcement learning for financial signal representation and trading. IEEE Transactions on Neural Networks and Learning Systems, 28(3), 653–664. Jiang, Y., Olmo, J., & Atwi, M. (2024). Deep reinforcement learning for portfolio selection. Global Finance Journal, 62. https://www.sciencedirect.com/science/article/pii/S1044028324000887 Jiang, Z., Xu, D., & Liang, J. (2017). A deep reinforcement learning framework for the financial portfolio management problem. https://arxiv.org/abs/1706.10059 Kritzman, M., & Li, Y. (2010). Skulls, financial turbulence, and risk management. Financial Analysts Journal, 66(5). https://www.tandfonline.com/doi/abs/10.2469/faj.v66.n5.3 Lee, J., Kim, R., Yi, S.-W., & Kang, J. (2020). MAPS: Multi-agent reinforcement learning-based portfolio management system. https://www.ijcai.org/proceedings/2020/0623.pdf Lillicrap, T., Hunt, J., Pritzel, A., Heess, N., Erez, T., Tassa, Y., ... Wierstra, D. (2016). Continuous control with deep reinforcement learning. https://arxiv.org/pdf/1509.02971 Liu, X.-Y., Yang, H., Chen, Q., Zhang, R., Yang, L., Xiao, B., & Wang, C. D. (2020). FinRL: A deep reinforcement learning library for automated stock trading in quantitative finance. https://arxiv.org/pdf/2011.09607 Markowitz, H. (1952). Portfolio selection. The Journal of Finance, 7(1), 77–91. https://www.jstor.org/stable/2975974 Mejía Estrada, D. (2023). Aprendizaje reforzado profundo para la administración de portafolios de renta fija [Tesis de maestría, Universidad EAFIT]. https://repository.eafit.edu.co/entities/publication/5ebe26a7-431a-46b0-a4dc-c52059931f92 Mnih, V., Puigdoménech Badia, A., Mirza, M., Graves, A., Harley, T., Lillicrap, T., ... Kavukcuoglu, K. (2016). Asynchronous methods for deep reinforcement learning. International Conference on Machine Learning. https://arxiv.org/pdf/1602.01783 Obando Morales, S. (2022). Modelo de aprendizaje profundo reforzado aplicado al trading de Bitcoin [Tesis de maestría, Universidad EAFIT]. https://repository.eafit.edu.co/entities/publication/ffa13d31-433a-4189-baf6-41637d377e0c Presidencia de la República de Colombia. (2010). Decreto 2555 de 2010. Por el cual se recogen y reexpiden las normas en materia del sector financiero, asegurador y del mercado de valores y se dictan otras disposiciones. https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=40032 Presidencia de la República de Colombia. (2016). Decreto 1247 de 2016. Por el cual se sustituye el Título 7 del Libro 9 de la Parte 2 del Decreto 2555 de 2010 la administración de portafolios de terceros. https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php Presidencia de la República de Colombia. (2018). Decreto 661 de 2018. Por el cual se modifica el Decreto 2555 de 2010 en lo relacionado con la actividad de asesoría y se dictan otras disposiciones. https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=85921 Presidencia de la República de Colombia. (2024a). Decreto 0265 de 2024. https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=234890 Presidencia de la República de Colombia. (2024b). Decreto 1239 de 2024. Por el cual se modifica el Decreto 2555 de 2010 en lo relacionado con los diferentes instrumentos que contribuyen a la liquidez del mercado de valores y se dictan otras disposiciones. https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=253417 Quintero González, C. (2024). Aprendizaje reforzado en pair-trading: Aplicación para una estrategia pair-trading. ODEON. https://revistas.uexternado.edu.co/index.php/odeon/article/view/10070 Schulman, J., Wolski, F., Radford, A., & Klimov, O. (2017). Proximal policy optimization algorithms. https://arxiv.org/pdf/1707.06347 Sharpe, W. F. (1994). The Sharpe ratio. The Journal of Portfolio Management, 21(1). https://www.pm-research.com/content/iijpormgmt/21/1/49 Sutton, R. S., & Barto, A. G. (2018). Reinforcement learning: An introduction. MIT Press. https://mitpress.mit.edu/9780262039246/reinforcement-learning/ Yang, H., Liu, X.-Y., Zhong, S., & Walid, A. (2020). Deep reinforcement learning for automated stock trading: An ensemble strategy. https://openfin.engineering.columbia.edu/sites/openfin.engineering.columbia.edu/files/content/publications/ensemble.pdf | |
| dc.rights.accessrights | info:eu-repo/semantics/openAccess | |
| dc.rights.coar | http://purl.org/coar/access_right/c_abf2 | |
| dc.rights.creativecommons | Atribución-NoComercial-SinDerivadas 2.5 Colombia | |
| dc.rights.license | Atribución-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0) | |
| dc.rights.local | Abierto (Texto Completo) | spa |
| dc.rights.uri | https://creativecommons.org/licenses/by-nc-sa/4.0/ | |
| dc.subject.lemb | Mercado de valores | spa |
| dc.subject.lemb | Mercado de capitales | spa |
| dc.subject.lemb | Administración de riesgos | spa |
| dc.subject.lemb | Aprendizaje por refuerzo | spa |
| dc.subject.proposal | Deep reinforcement learning | eng |
| dc.subject.proposal | Aprendizaje por refuerzo profundo | spa |
| dc.title | Estrategia de ensamble con aprendizaje por refuerzo profundo para la gestión de portafolios en el mercado accionario colombiano: selección dinámica entre PPO, A2C y DDPG mediante la razón de Sharpe en ventanas móviles | spa |
| dc.title | A Deep Reinforcement Learning Ensemble Strategy for Portfolio Management in the Colombian Stock Market: Dynamic Selection Among PPO, A2C, and DDPG Based on Rolling-Window Sharpe Ratios | eng |
| dc.type | Trabajo de grado - Especialización | spa |
| dc.type.coar | http://purl.org/coar/resource_type/c_7a1f | |
| dc.type.coarversion | http://purl.org/coar/version/c_ab4af688f83e57aa | |
| dc.type.content | Text | |
| dc.type.driver | info:eu-repo/semantics/bachelorThesis | |
| dc.type.other | Trabajo de grado - Especialización | |
| dc.type.redcol | http://purl.org/redcol/resource_type/TP | |
| dc.type.version | info:eu-repo/semantics/acceptedVersion | |
| dspace.entity.type | Publication | |
| person.affiliation.name | Especialización en Machine Learning | |
| relation.isDirectorOfPublication | 1d48810e-72f8-4617-8336-32a4050260bd | |
| relation.isDirectorOfPublication | 1d48810e-72f8-4617-8336-32a4050260bd | |
| relation.isDirectorOfPublication.latestForDiscovery | 1d48810e-72f8-4617-8336-32a4050260bd | |
| relation.isReviewerOfPublication | 1d48810e-72f8-4617-8336-32a4050260bd |
Archivos
Bloque original
Bloque de licencias
1 - 1 de 1
Cargando...
- Nombre:
- license.txt
- Tamaño:
- 1.92 KB
- Formato:
- Item-specific license agreed upon to submission
- Descripción:
