En el aprendizaje automático, el aprendizaje multitarea (MTL) ha surgido como un poderoso paradigma que permite el entrenamiento simultáneo de múltiples algoritmos interrelacionados. Al explotar las conexiones inherentes entre tareas, MTL facilita la adquisición de una representación compartida, mejorando potencialmente la generalización de un modelo. MTL ha tenido un éxito generalizado en diversos ámbitos, como la biomedicina, la visión por computadora, el procesamiento del lenguaje natural y la ingeniería de Internet. Sin embargo, incorporar tipos mixtos de tareas, como regresión y clasificación, en un marco MTL unificado plantea desafíos importantes. Uno de los principales obstáculos es la desalineación de las rutas de regularización, que cuantifica el principio de selección de características entre las tareas de regresión y clasificación, lo que lleva a una selección de características sesgada y un rendimiento subóptimo.
Esta desalineación surge debido a las magnitudes divergentes de las pérdidas asociadas con diferentes tipos de tareas. Como se ilustra en la Figura 1, cuando se varía el parámetro de regularización λ, los subconjuntos de características seleccionadas para las tareas de regresión y clasificación pueden diferir sustancialmente, lo que lleva a una selección conjunta sesgada de características. Por ejemplo, en la figura, cuando λ = 0,8, se seleccionan siete características para las tareas de regresión, mientras que ninguna para las tareas de clasificación.
Para afrontar este desafío, investigadores de la Universidad de Heidelberg han introducido MTLComb, un novedoso algoritmo MTL diseñado para abordar los desafíos de la selección conjunta de características en tareas mixtas de regresión y clasificación. En esencia, MTLComb emplea un esquema de ponderación de pérdidas demostrable que determina analíticamente las ponderaciones óptimas para equilibrar las tareas de regresión y clasificación, mitigando la selección de características que de otro modo estaría sesgada.
La intuición que subyace a MTLComb es engañosamente simple. Considere una pérdida de mínimos cuadrados de un problema de regresión ponderada por αmín.w α||Y – Xw||22donde la solución es w = α(Xt X)-1 Xt Y. Esto implica que la magnitud de w se puede ajustar mediante α, lo que lleva a una ruta de regularización móvil. Al extender esta intuición a múltiples tipos de pérdidas, MTLComb permite encontrar pesos óptimos para diferentes pérdidas, alineando los principios de selección de características.
Los investigadores demostraron en la Propuesta 1 que los pesos constantes utilizados en MTLComb son óptimos. La formulación de MTLComb se muestra en la ecuación (1):
mín.W. 2 × Z(W) + 0,5 × R(W) + λ||W||2,1 + α||WG||22 + β||W||22 (1)
donde Z(W) es la pérdida logit para ajustarse a las tareas de clasificación y R(W) es la pérdida de mínimos cuadrados para ajustarse a las tareas de regresión. El término ||W||2,1 es un término de penalización escaso para promover la selección conjunta de funciones, ||WG||22 es el término regularizado por la media para promover la selección de características con coeficientes de tareas cruzadas similares, y ||W||22 tiene como objetivo seleccionar características correlacionadas y estabilizar soluciones numéricas.
Los investigadores adoptaron el descenso acelerado del gradiente proximal método para resolver la función objetivo en la ecuación (1), que presenta una complejidad algorítmica de última generación de O (1/k ^ 2). Determinar con precisión la secuencia de λ (un espectro de niveles de escasez) es crucial para capturar la mayor probabilidad y al mismo tiempo evitar exploraciones innecesarias. Inspirado por el algoritmo glmnetlos investigadores estimaron la secuencia λ a partir de los datos en tres pasos: estimando el λ más grande (lam_max) que conduce a coeficientes casi cero, calculando el λ más pequeño usando lam_max e interpolando toda la secuencia en la escala logarítmica.
La proposición 1 demuestra que se puede determinar un lam_max consistente para tareas de clasificación y regresión ponderando las pérdidas de regresión y clasificación, como se muestra en la formulación (1).
Para la evaluación, los investigadores realizaron un análisis de simulación integral para comparar varios enfoques en el contexto de tareas mixtas de regresión y clasificación. Los resultados, ilustrados en la Figura 2, muestran el rendimiento de predicción superior y la precisión de selección de características conjuntas de MTLComb, especialmente en entornos de alta dimensión.
En el análisis de datos reales, se aplicó MTLComb a dos estudios de casos biomédicos: sepsis y esquizofrenia. Para la predicción de la sepsis, MTLComb exhibió un rendimiento de predicción competitivo, una mayor estabilidad del modelo, una mayor reproducibilidad de la selección de marcadores y una mayor interpretabilidad biológica en comparación con otros métodos. Las características seleccionadas, como SAPS II, puntuación total SOFA, λ promedio SIRS y puntuación cardiovascular SOFA, se alinean con la comprensión actual de los factores de riesgo de sepsis y la disfunción orgánica.
En el análisis de la esquizofrenia, MTLComb capturó con éxito marcadores genéticos homogéneos predictivos tanto de la edad como del diagnóstico, validados en una cohorte independiente. Las vías identificadas, incluida la actividad de los canales dependientes de voltaje, la transmisión sináptica química y la señalización transináptica, se han asociado previamente con la esquizofrenia y el envejecimiento, potencialmente debido a su relevancia para la plasticidad sináptica.
Si bien MTLComb ha demostrado resultados prometedores, es importante reconocer sus limitaciones. Como enfoque de regularización basado en el modelo lineal, MTLComb puede tener mejoras limitadas en escenarios de baja dimensión. Además, aunque MTLComb armoniza el principio de selección de características de diferentes tipos de tareas, pueden persistir diferencias en la magnitud de los coeficientes, lo que requiere más investigación y posibles mejoras. El trabajo futuro puede ampliar MTLComb incorporando tipos adicionales de pérdidas, ampliando su alcance de aplicación. Por ejemplo, agregar un modelo de regresión de Poisson en el análisis de sepsis podría respaldar la predicción de datos de recuento, como la duración de la estancia en la UCI.
En conclusión, MTLComb representa un avance significativo en el aprendizaje multitarea. Permite el aprendizaje conjunto de tareas de regresión y clasificación y facilita la selección conjunta imparcial de características a través de un esquema de ponderación de pérdidas demostrable. Sus posibles aplicaciones abarcan varios campos, como el análisis de comorbilidad y la predicción simultánea de múltiples resultados clínicos de diversos tipos. Al abordar los desafíos de incorporar tipos de tareas mixtas en un marco MTL unificado, MTLComb abre nuevas vías para aprovechar las sinergias entre tareas relacionadas, mejorar la generalización del modelo y desbloquear conocimientos novedosos a partir de conjuntos de datos heterogéneos.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 42k+ ML
Vineet Kumar es pasante de consultoría en MarktechPost. Actualmente está cursando su licenciatura en el Instituto Indio de Tecnología (IIT), Kanpur. Es un entusiasta del aprendizaje automático. Le apasiona la investigación y los últimos avances en Deep Learning, Computer Vision y campos relacionados.