REVISTA DE INGENIERIA DYNA

Palabras clave:

natural language processing, feature engineering, tf-idf, dimensionality reduction, principal component analysis, supervised learning, text mining, classification performance, data balancing, smote, multiclass classification, model comparison

Tipo de artículo:

COLABORACION/COLLABORATION DAMR

Sección:

COLABORACIONES / COLLABORATIONS

Este artículo presenta un estudio comparativo controlado de algoritmos tradicionales de aprendizaje automático para la clasificación temática de textos, centrado en el impacto de las estrategias de preprocesamiento y el desequilibrio de clases sobre el rendimiento de los modelos bajo diferentes condiciones de datos. Se consideraron dos escenarios experimentales: el conjunto de datos Women’s Clothing E-Commerce Reviews, caracterizado por una distribución de clases altamente desequilibrada, y el conjunto de datos AG News, utilizado como conjunto de referencia equilibrado.
La etapa de preprocesamiento incluyó limpieza de texto, eliminación de palabras vacías, tokenización, lematización, vectorización TF-IDF, balanceo de clases y reducción de dimensionalidad. Se evaluaron seis modelos: Naive Bayes, Random Forest, Support Vector Machine, Regresión Logística, K-Nearest Neighbors y K-Means como línea base no supervisada.
Los resultados muestran que Random Forest obtuvo el mejor desempeño en el conjunto de datos Clothing desequilibrado, alcanzando una exactitud de 0.763, una puntuación F1 de 0.777 y un MCC de 0.739. En contraste, K-Nearest Neighbors obtuvo los mejores resultados en el conjunto de datos equilibrado AG News, con una exactitud y puntuación F1 de 0.927. Naive Bayes mostró limitaciones al trabajar con representaciones textuales dispersas y ambiguas.
La principal contribución de este trabajo es un análisis experimental sistemático que destaca cómo las decisiones de preprocesamiento, la dispersión de características y la distribución de clases influyen en el comportamiento de los modelos tradicionales de aprendizaje automático en tareas de clasificación de textos. Estos hallazgos proporcionan información útil para la selección y evaluación de modelos bajo diferentes escenarios de datos.

Palabras clave: Clasificación de texto; Preprocesamiento de texto; Aprendizaje automático; Análisis de texto; Desequilibrio de clases