Publicación:
Estrategia de ensamble con aprendizaje por refuerzo profundo para la gestión de portafolios en el mercado accionario colombiano: selección dinámica entre PPO, A2C y DDPG mediante la razón de Sharpe en ventanas móviles

dc.contributor.advisorZuluaga Muñoz, William
dc.contributor.authorMercado Vargas, Luis Fernando
dc.creator.id1107053810
dc.date.accessioned2026-11-19T16:41:38Z
dc.date.issued2026-10-23
dc.description.abstractEsta investigación evalúa el desempeño ajustado por riesgo de una estrategia de ensamble con aprendizaje por refuerzo profundo (DRL) para la gestión de portafolios en el mercado accionario colombiano. Se entrenan tres agentes actor-crítico (PPO, A2C y DDPG) en un entorno de simulación construido con Gymnasium y, mediante un esquema de ventanas móviles de entrenamiento, validación y prueba, se selecciona como agente activo aquel con mayor razón de Sharpe en la ventana de validación. La simulación incorpora costos de transacción proporcionales del 0,1 % y un mecanismo de control de riesgo basado en el índice de turbulencia financiera de Kritzman y Li (2010). El universo de inversión está conformado por 14 acciones del índice COLCAP con datos diarios entre 2015 y 2025, organizados en 29 ventanas. En el período de prueba fuera de muestra, el ensamble obtuvo una razón de Sharpe de 2,897 y un máximo drawdown de −12,3 %, frente a −0,053 y −46,7 % del COLCAP y 0,242 y −42,0 % de la estrategia de igual ponderación; las diferencias frente a ambos referentes son estadísticamente significativas (p < 0,001). DDPG fue seleccionado en 23 de las 29 ventanas, por lo que el ensamble no difiere significativamente de este agente. El desempeño se mantiene estable ante distintos niveles de costos de transacción. Los resultados deben interpretarse considerando el sesgo de supervivencia del universo de activos y los supuestos de las pruebas estadísticas empleadas.spa
dc.description.abstractThis study evaluates the risk-adjusted performance of a deep reinforcement learning (DRL) ensemble strategy for portfolio management in the Colombian stock market. Three actor-critic agents (PPO, A2C and DDPG) are trained in a simulation environment built with Gymnasium and, through a rolling-window scheme of training, validation and testing, the agent with the highest Sharpe ratio in the validation window is selected as the active agent. The simulation includes proportional transaction costs of 0.1% and a risk-control mechanism based on the financial turbulence index of Kritzman and Li (2010). The investment universe comprises 14 COLCAP stocks with daily data from 2015 to 2025, organized into 29 windows. In the out-of-sample test period, the ensemble achieved a Sharpe ratio of 2.897 and a maximum drawdown of −12.3%, compared with −0.053 and −46.7% for the COLCAP index and 0.242 and −42.0% for the equally weighted strategy; differences against both benchmarks are statistically significant (p < 0.001). DDPG was selected in 23 of the 29 windows, so the ensemble does not differ significantly from this agent. Performance remains stable across different transaction cost levels. Results should be interpreted considering the survivorship bias of the asset universe and the assumptions of the statistical tests used.eng
dc.description.degreelevelEspecializaciónspa
dc.description.degreenameEspecialista en Machine Learningspa
dc.description.tableofcontentsPlanteamiento del problema -- Objetivos -- Justificación -- Viabilidad del proyecto -- Marco institucional -- Marco teórico -- Hipótesis -- Variables -- Diseño metodológico -- Resultados preliminares de investigación -- Conclusiones preliminares -- Recomendaciones preliminares -- Contribuciones originales esperadas -- Cronograma -- Referenciasspa
dc.description.tableofcontentsProblem statement -- Objectives -- Justification -- Project feasibility -- Institutional framework -- Theoretical framework -- Hypotheses -- Variables -- Methodological design -- Preliminary research results -- Preliminary conclusions -- Preliminary recommendations -- Expected original contributions -- Schedule -- Referenceseng
dc.formatpdf
dc.format.extent42 páginas
dc.format.mediumRecurso electrónicospa
dc.format.mimetypeapplication/pdf
dc.identifier.instnameinstname:Universidad Eanspa
dc.identifier.reponamereponame:Repositorio Institucional Biblioteca Digital Minervaspa
dc.identifier.repourlrepourl:https://repository.ean.edu.co/
dc.identifier.urihttps://hdl.handle.net/10882/19749
dc.language.isospa
dc.publisher.facultyFacultad de Ingenieríaspa
dc.publisher.programEspecialización en Machine Learningspa
dc.relation.referencesBolsa de Valores de Colombia. (s.f.). Mercado de valores. https://www.bvc.com.co/mercado-de-valores?tab=leyes Congreso de la República de Colombia. (2005). Ley 964 de 2005. Por la cual se dictan normas generales y se señalan en ellas los objetivos y criterios a los cuales debe sujetarse el Gobierno Nacional para regular las actividades de manejo, aprovechamiento e inversión de recursos captados del público. https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=22412 Deng, Y., Feng, B., Kong, Y., Ren, Z., & Dai, Q. (2017). Deep direct reinforcement learning for financial signal representation and trading. IEEE Transactions on Neural Networks and Learning Systems, 28(3), 653–664. Jiang, Y., Olmo, J., & Atwi, M. (2024). Deep reinforcement learning for portfolio selection. Global Finance Journal, 62. https://www.sciencedirect.com/science/article/pii/S1044028324000887 Jiang, Z., Xu, D., & Liang, J. (2017). A deep reinforcement learning framework for the financial portfolio management problem. https://arxiv.org/abs/1706.10059 Kritzman, M., & Li, Y. (2010). Skulls, financial turbulence, and risk management. Financial Analysts Journal, 66(5). https://www.tandfonline.com/doi/abs/10.2469/faj.v66.n5.3 Lee, J., Kim, R., Yi, S.-W., & Kang, J. (2020). MAPS: Multi-agent reinforcement learning-based portfolio management system. https://www.ijcai.org/proceedings/2020/0623.pdf Lillicrap, T., Hunt, J., Pritzel, A., Heess, N., Erez, T., Tassa, Y., ... Wierstra, D. (2016). Continuous control with deep reinforcement learning. https://arxiv.org/pdf/1509.02971 Liu, X.-Y., Yang, H., Chen, Q., Zhang, R., Yang, L., Xiao, B., & Wang, C. D. (2020). FinRL: A deep reinforcement learning library for automated stock trading in quantitative finance. https://arxiv.org/pdf/2011.09607 Markowitz, H. (1952). Portfolio selection. The Journal of Finance, 7(1), 77–91. https://www.jstor.org/stable/2975974 Mejía Estrada, D. (2023). Aprendizaje reforzado profundo para la administración de portafolios de renta fija [Tesis de maestría, Universidad EAFIT]. https://repository.eafit.edu.co/entities/publication/5ebe26a7-431a-46b0-a4dc-c52059931f92 Mnih, V., Puigdoménech Badia, A., Mirza, M., Graves, A., Harley, T., Lillicrap, T., ... Kavukcuoglu, K. (2016). Asynchronous methods for deep reinforcement learning. International Conference on Machine Learning. https://arxiv.org/pdf/1602.01783 Obando Morales, S. (2022). Modelo de aprendizaje profundo reforzado aplicado al trading de Bitcoin [Tesis de maestría, Universidad EAFIT]. https://repository.eafit.edu.co/entities/publication/ffa13d31-433a-4189-baf6-41637d377e0c Presidencia de la República de Colombia. (2010). Decreto 2555 de 2010. Por el cual se recogen y reexpiden las normas en materia del sector financiero, asegurador y del mercado de valores y se dictan otras disposiciones. https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=40032 Presidencia de la República de Colombia. (2016). Decreto 1247 de 2016. Por el cual se sustituye el Título 7 del Libro 9 de la Parte 2 del Decreto 2555 de 2010 la administración de portafolios de terceros. https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php Presidencia de la República de Colombia. (2018). Decreto 661 de 2018. Por el cual se modifica el Decreto 2555 de 2010 en lo relacionado con la actividad de asesoría y se dictan otras disposiciones. https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=85921 Presidencia de la República de Colombia. (2024a). Decreto 0265 de 2024. https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=234890 Presidencia de la República de Colombia. (2024b). Decreto 1239 de 2024. Por el cual se modifica el Decreto 2555 de 2010 en lo relacionado con los diferentes instrumentos que contribuyen a la liquidez del mercado de valores y se dictan otras disposiciones. https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=253417 Quintero González, C. (2024). Aprendizaje reforzado en pair-trading: Aplicación para una estrategia pair-trading. ODEON. https://revistas.uexternado.edu.co/index.php/odeon/article/view/10070 Schulman, J., Wolski, F., Radford, A., & Klimov, O. (2017). Proximal policy optimization algorithms. https://arxiv.org/pdf/1707.06347 Sharpe, W. F. (1994). The Sharpe ratio. The Journal of Portfolio Management, 21(1). https://www.pm-research.com/content/iijpormgmt/21/1/49 Sutton, R. S., & Barto, A. G. (2018). Reinforcement learning: An introduction. MIT Press. https://mitpress.mit.edu/9780262039246/reinforcement-learning/ Yang, H., Liu, X.-Y., Zhong, S., & Walid, A. (2020). Deep reinforcement learning for automated stock trading: An ensemble strategy. https://openfin.engineering.columbia.edu/sites/openfin.engineering.columbia.edu/files/content/publications/ensemble.pdf
dc.rights.accessrightsinfo:eu-repo/semantics/openAccess
dc.rights.coarhttp://purl.org/coar/access_right/c_abf2
dc.rights.creativecommonsAtribución-NoComercial-SinDerivadas 2.5 Colombia
dc.rights.licenseAtribución-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0)
dc.rights.localAbierto (Texto Completo)spa
dc.rights.urihttps://creativecommons.org/licenses/by-nc-sa/4.0/
dc.subject.lembMercado de valoresspa
dc.subject.lembMercado de capitalesspa
dc.subject.lembAdministración de riesgosspa
dc.subject.lembAprendizaje por refuerzospa
dc.subject.proposalDeep reinforcement learningeng
dc.subject.proposalAprendizaje por refuerzo profundospa
dc.titleEstrategia de ensamble con aprendizaje por refuerzo profundo para la gestión de portafolios en el mercado accionario colombiano: selección dinámica entre PPO, A2C y DDPG mediante la razón de Sharpe en ventanas móvilesspa
dc.titleA Deep Reinforcement Learning Ensemble Strategy for Portfolio Management in the Colombian Stock Market: Dynamic Selection Among PPO, A2C, and DDPG Based on Rolling-Window Sharpe Ratioseng
dc.typeTrabajo de grado - Especializaciónspa
dc.type.coarhttp://purl.org/coar/resource_type/c_7a1f
dc.type.coarversionhttp://purl.org/coar/version/c_ab4af688f83e57aa
dc.type.contentText
dc.type.driverinfo:eu-repo/semantics/bachelorThesis
dc.type.otherTrabajo de grado - Especialización
dc.type.redcolhttp://purl.org/redcol/resource_type/TP
dc.type.versioninfo:eu-repo/semantics/acceptedVersion
dspace.entity.typePublication
person.affiliation.nameEspecialización en Machine Learning
relation.isDirectorOfPublication1d48810e-72f8-4617-8336-32a4050260bd
relation.isDirectorOfPublication1d48810e-72f8-4617-8336-32a4050260bd
relation.isDirectorOfPublication.latestForDiscovery1d48810e-72f8-4617-8336-32a4050260bd
relation.isReviewerOfPublication1d48810e-72f8-4617-8336-32a4050260bd

Archivos

Bloque original

Mostrando 1 - 2 de 2
Cargando...
Miniatura
Nombre:
MercadoLuis2026.pdf
Tamaño:
2.59 MB
Formato:
Adobe Portable Document Format
Descripción:
Tesis de Especialiación
Cargando...
Miniatura
Nombre:
MercadoLuis2026Anexo.pdf
Tamaño:
226.61 KB
Formato:
Adobe Portable Document Format
Descripción:
Autorización Publicación

Bloque de licencias

Mostrando 1 - 1 de 1
Cargando...
Miniatura
Nombre:
license.txt
Tamaño:
1.92 KB
Formato:
Item-specific license agreed upon to submission
Descripción: