2026-09-19T17:24:07Zhttps://repository.universidadean.edu.co/server/oai/request

oai:repository.universidadean.edu.co:10882/193642026-07-17T14:14:40Zcom_10882_83com_10882_48col_10882_1439

Evaluación comparativa de agentes de inteligencia artificial en la resolución de vulnerabilidades de seguridad en entornos de integración continua Benchmarking artificial intelligence agents in resolving security vulnerabilities in continuous integration environments Ferreira, Gonzalo Daniel Rodríguez López, Andrea Valentina Casallas Bonilla, Paula Alejandra León Velásquez, Elizabeth Figueroa Hernandez, Diana Paola Chéry Leal, Marie José Inteligencia artificial Arquitectura de software dirigida por modelos Desarrollo de software Seguridad informática Protección de datos Detección de anomalías (Seguridad informática) Agentes autónomos Modelos de lenguaje extensos Integración continua Despliegue continuo Reparación automatizada de software Ciberseguridad Esta investigación evaluó la viabilidad de integrar Agentes Autónomos basados en Modelos de Lenguaje Extensos (LLMs) como apoyo en arquitecturas de software complejas. El objetivo principal fue superar la evaluación tradicional basada en generación de código aislado, midiendo la capacidad de la Inteligencia Artificial moderna para mitigar vulnerabilidades reales sin introducir regresiones funcionales que afecten el ciclo de Integración Continua y Despliegue Continuo (CI/CD). La metodología empleó la aplicación web OWASP Juice Shop como entorno vulnerable, interconectado y de alta complejidad, comparando el desempeño de tres modelos de vanguardia disponibles en GitHub Copilot: Gemini 3.1 Pro, Claude Opus 4.6 y GPT-5.4. Los resultados evidenciaron una eficacia del 100 % en la tarea aislada de corrección de una vulnerabilidad de inyección SQL, sin generación de regresiones funcionales en los escenarios verificados. Ante la subsecuente petición de una auditoría masiva, los modelos evidenciaron conciencia contextual al activar filtros éticos reconociendo el repositorio, estableciendo marcadores no antes vistos en competencia contextual de los modelos de lenguaje de generaciones anteriores. Se concluye que los agentes evaluados han superado la asistencia en tareas puntuales y muestran potencial para apoyar procesos de mantenimiento, ciberseguridad y validación en entornos de software complejos. No obstante, su adopción en flujos CI/CD requiere mecanismos rigurosos de trazabilidad, validación automatizada y control de cambios, especialmente por la posible contaminación de datos de entrenamiento asociada al uso de repositorios públicos. This research evaluated the feasibility of integrating Autonomous Agents based on Large Language Models (LLMs) as support in complex software architectures. The main objective was to move beyond traditional evaluation based on isolated code generation, measuring the ability of modern Artificial Intelligence to mitigate real vulnerabilities without introducing functional regressions that affect the Continuous Integration and Continuous Deployment (CI/CD) cycle. The methodology used the OWASP Juice Shop web application as a vulnerable, interconnected, and highly complex environment, comparing the performance of three state-of-the-art models available in GitHub Copilot: Gemini 3.1 Pro, Claude Opus 4.6, and GPT-5.4. The results showed 100% effectiveness in the isolated task of correcting a SQL injection vulnerability, with no functional regressions generated in the verified scenarios. When faced with the subsequent request for a large-scale audit, the models demonstrated contextual awareness by activating ethical filters upon recognizing the repository, establishing previously unseen benchmarks in contextual competence compared with earlier generations of language models. It is concluded that the evaluated agents have moved beyond assistance with isolated tasks and show potential to support maintenance, cybersecurity, and validation processes in complex software environments. However, their adoption in CI/CD workflows requires rigorous mechanisms for traceability, automated validation, and change control, especially due to the possible contamination of training data associated with the use of public repositories. Ingeniero de Sistemas Pregrado 2026-07-10T22:14:06Z 2026-06-13 Trabajo de grado - Pregrado Trabajo de grado - Pregrado http://purl.org/coar/resource_type/c_7a1f info:eu-repo/semantics/bachelorThesis info:eu-repo/semantics/acceptedVersion Text http://purl.org/redcol/resource_type/TP https://hdl.handle.net/10882/19364 BDM-FIS instname:Universidad Ean reponame:Repositorio Institucional Biblioteca Digital Minerva https://repository.ean.edu.co/ spa Arena Intelligence, inc. (n.d.). LMArena FAQ. LMArena. Retrieved October 4, 2025, from https://lmarena.ai Bhatt, M., Chennabasappa, S., Li, Y., Nikolaidis, C., Song, D., Wan, S., Ahmad, F., Aschermann, C., Chen, Y., Kapil, D., Molnar, D., Whitman, S., & Saxe, J. (2024). CyberSecEval 2: A Wide-Ranging Cybersecurity Evaluation Suite for Large Language Models (arXiv:2404.13161). arXiv. https://doi.org/10.48550/arXiv.2404.13161 Bubeck, S., Chandrasekaran, V., Eldan, R., Gehrke, J., Horvitz, E., Kamar, E., Lee, P., Lee, Y. T., Li, Y., Lundberg, S., Nori, H., Palangi, H., Ribeiro, M. T., & Zhang, Y. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4 (arXiv:2303.12712). arXiv. https://doi.org/10.48550/arXiv.2303.12712 Dániel, G. (n.d.). ESTUDIO CUALITATIVO Y CUANTITATIVO DEL RENDIMIENTO DE LLMs EN LA RESOLUCIÓN TEXTUAL DE PROBLEMAS DE PROGRAMACIÓN. Fitero-Dominguez, D., Garcia-Lopez, E., Garcia-Cabot, A., & Martinez-Herraiz, J.-J. (2024, January 8). Enhanced Automated Code Vulnerability Repair using Large Language Models. arXiv.org. https://doi.org/10.1016/j.engappai.2024.109291 Haque, Md. A. (2025). LLMs: A game-changer for software engineers? BenchCouncil Transactions on Benchmarks, Standards and Evaluations, 5(1), 100204. https://doi.org/10.1016/j.tbench.2025.100204 Introduction | CyberSecEval 4. (n.d.). Retrieved April 14, 2026, from https://meta-llama.github.io/PurpleLlama/CyberSecEval/docs/intro Jimenez, C. E., Yang, J., Wettig, A., Yao, S., Pei, K., Press, O., & Narasimhan, K. (2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (arXiv:2310.06770). arXiv. https://doi.org/10.48550/arXiv.2310.06770 Kimminich, B. (2021). OWASP Juice Shop | OWASP Foundation. https://owasp.org/www-project-juice-shop/ Li, B., Wu, W., Tang, Z., Shi, L., Yang, J., Li, J., Yao, S., Qian, C., Hui, B., Zhang, Q., Yu, Z., Du, H., Yang, P., Lin, D., Peng, C., & Chen, K. (2024). Prompting Large Language Models to Tackle the Full Software Development Lifecycle: A Case Study (arXiv:2403.08604). arXiv. https://doi.org/10.48550/arXiv.2403.08604 OWASP Juice Shop | OWASP Foundation. (n.d.). Retrieved April 6, 2026, from https://owasp.org/www-project-juice-shop/ Peng, S., Kalliamvakou, E., Cihon, P., & Demirer, M. (2023). The Impact of AI on Developer Productivity: Evidence from GitHub Copilot (arXiv:2302.06590). arXiv. https://doi.org/10.48550/arXiv.2302.06590 Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2023). Attention Is All You Need (arXiv:1706.03762). arXiv. https://doi.org/10.48550/arXiv.1706.03762 Wang, X., Li, B., Song, Y., Xu, F. F., Tang, X., Zhuge, M., Pan, J., Song, Y., Li, B., Singh, J., Tran, H. H., Li, F., Ma, R., Zheng, M., Qian, B., Shao, Y., Muennighoff, N., Zhang, Y., Hui, B., … Neubig, G. (2025). OpenHands: An Open Platform for AI Software Developers as Generalist Agents (arXiv:2407.16741). arXiv. https://doi.org/10.48550/arXiv.2407.16741 Xia, C. S., Wei, Y., & Zhang, L. (2022, October 25). Practical Program Repair in the Era of Large Pre-trained Language Models. arXiv.org. https://doi.org/10.1109/ICSE48619.2023.00129 Yang, J., Jimenez, C. E., Wettig, A., Lieret, K., Yao, S., Narasimhan, K., & Press, O. (2024). SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering (arXiv:2405.15793). arXiv. https://doi.org/10.48550/arXiv.2405.15793 Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., & Cao, Y. (2023). ReAct: Synergizing Reasoning and Acting in Language Models (arXiv:2210.03629). arXiv. https://doi.org/10.48550/arXiv.2210.03629 Atribución-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0) https://creativecommons.org/licenses/by-nc-sa/4.0/ info:eu-repo/semantics/openAccess Abierto (Texto Completo) Atribución-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0) http://purl.org/coar/access_right/c_abf2 pdf 31 páginas Recurso electrónico application/pdf application/pdf application/pdf Ingeniería de Sistemas Facultad de Ingeniería