1ge044psss1f0 Jmweo4kew.png

Errores comunes con buenas y malas respuestas

#1 Saltar directamente al modelo

Algunos candidatos pasan directamente al algoritmo de aprendizaje automático que usarían para resolver el problema, sin articular primero la aplicación empresarial, el objetivo de la solución y las métricas de éxito.

Mala respuesta: «Para la detección de fraude, utilizaré una red neuronal profunda porque es poderosa».

Buena respuesta: “¿Se utilizará esta solución para la detección de fraude en tiempo real en cada uso de la tarjeta? Esto significa que necesitamos un modelo rápido y eficiente. Permítanme identificar todos los datos que puedo utilizar para este modelo. Primero, tengo metadatos de transacciones como el monto, la ubicación y la hora de la transacción. También tengo los datos de transacciones anteriores de esta tarjeta: puedo buscar con hasta 30 días de anticipación para reducir la cantidad de datos que necesito analizar en tiempo real, o puedo calcular previamente características categóricas/binarias derivadas del historial de transacciones, como ‘is_transaction_30_days’, ‘most_frequent_transaction_location_30days’, etc. Inicialmente, usaré la regresión logística para establecer una línea de base antes de considerar modelos más complejos como redes neuronales profundas, si es necesario».

#2 Mantener el nivel demasiado alto

No solo desea ofrecer una estrategia repetitiva, sino también incluir ejemplos específicos en cada paso que sean relevantes para el problema comercial determinado.

Mala respuesta: «Haré un análisis de datos exploratorio, eliminaré valores atípicos y construiré un modelo para predecir la participación del usuario».

Buena respuesta: “Analizaré los datos históricos de los usuarios, incluidas las visitas a la página, las tasas de clics y el tiempo pasado en el sitio. Analizaré las características categóricas, como categoría de producto y marca, y las eliminaré si faltan más del 75 % de los valores. Pero sería cauteloso en este paso ya que la ausencia de algunas funciones también puede resultar muy informativa a veces. Un modelo de regresión logística puede servir como punto de partida, seguido de modelos más complejos como Random Forest, si es necesario”.

#3 Sólo resolviendo el caso feliz

No es difícil reconocer una falta de experiencia en la industria si el candidato solo habla sobre los datos y la estrategia de modelado sin discutir los problemas de calidad de los datos u otros matices que se observan en los datos y aplicaciones del mundo real.

Mala respuesta: «Entrenaré un clasificador utilizando clics anteriores en elementos de usuario para una consulta de búsqueda determinada para predecir los clics en anuncios».

Buena respuesta: “Los clics anteriores en elementos del usuario para la consulta pueden tener inherentemente un sesgo de posición, ya que es más probable que se haga clic en los elementos que se muestran en posiciones más altas en los resultados de búsqueda. Corregiré este sesgo de posición utilizando la propensión ponderada inversa estimando la probabilidad de clic en cada posición (la propensión) y luego ponderando todas las etiquetas con ella».

#4 Empezando por los modelos más complejos

Quiere mostrar un sesgo para la acción mediante el uso de modelos livianos, fáciles de desarrollar, menos costosos y que requieren más tiempo, e introduciendo complejidad según sea necesario.

Mala respuesta: «Utilizaré una arquitectura de aprendizaje profundo con codificador dual de última generación para el sistema de recomendación».

Buena respuesta: “Comenzaré con un enfoque de filtrado colaborativo simple para establecer una línea de base. Una vez que comprendamos su rendimiento, podemos introducir complejidad con factorización matricial o modelos de aprendizaje profundo, como un codificador dual, si los resultados iniciales indican la necesidad”.

#5 No pivotar cuando se lanzan bolas curvas

El entrevistador puede interrumpir su estrategia y hacer preguntas de seguimiento o proponer escenarios alternativos para comprender la profundidad de su comprensión de las diferentes técnicas. Debería poder cambiar su estrategia a medida que introduzcan nuevos desafíos o variaciones.

Mala respuesta: «Si no tenemos acceso a la información de identificación personal del usuario, no podemos construir un modelo personalizado».

Buena respuesta: “Para los usuarios que optan por no participar (o no participar) en compartir su PII o datos de interacciones pasadas, podemos tratarlos como usuarios iniciales en frío y mostrarles recomendaciones basadas en popularidad. También podemos incluir una sesión en línea RNN para adaptar las recomendaciones en función de su actividad durante la sesión”.

Calibración de respuesta según nivel

A medida que aumenta el nivel del trabajo, también aumenta la expectativa de amplitud y profundidad en la respuesta. Esto se explica mejor mediante una pregunta de ejemplo. Supongamos que le piden que diseñe un sistema de detección de fraude para una plataforma de pagos en línea.

Nivel de entrada (0 a 2 años de experiencia relevante en la industria)

Para este nivel, el candidato debe centrarse en datos (características, técnicas de preprocesamiento), modelo (modelo de referencia simple, modelo más avanzado, función de pérdida, método de optimización) y métricas de evaluación (métricas fuera de línea, diseño de experimentos A/B). Un buen flujo sería:

  1. Identifique características y preprocesamiento: por ejemplo, monto de la transacción, ubicación, hora del día y otras características categóricas que representan el historial de pagos.
  2. Modelo de referencia y modelo avanzado: por ejemplo, un modelo de regresión logística como referencia, considere árboles potenciados por gradiente para la próxima versión.
  3. Métricas de evaluación: por ejemplo, precisión, recuperación, puntuación F1.

Experiencia de nivel medio (3 a 6 años de experiencia relevante en la industria)

Para este nivel, el candidato debe centrarse en el problema empresarial y los matices en la implementación de modelos en producción. Un buen flujo sería:

  1. Requisitos comerciales: por ejemplo, equilibrio entre recuperación y precisión, ya que queremos reducir la cantidad de fraude manteniendo baja la tasa de falsos positivos para una mejor experiencia de usuario; Destacar la necesidad de modelos interpretables.
  2. Matices de los datos: por ejemplo, el número de transacciones fraudulentas es mucho menor que el de transacciones no fraudulentas; se puede abordar el desequilibrio de clases utilizando técnicas como SMOTE.
  3. Compensaciones del modelo: por ejemplo, un modelo de referencia basado en heurísticas, seguido de una regresión logística, seguido de modelos basados ​​en árboles, ya que son más fáciles de interpretar que la regresión logística que utiliza transformaciones de características no lineales difíciles de interpretar.
  4. Hable sobre los matices de la implementación: por ejemplo, el procesamiento de transacciones en tiempo real y la cadencia de actualización del modelo para adaptarse a los patrones de fraude en evolución.

Experiencia de nivel senior/personal/director (más de 6 años)

Para este nivel, se espera que el candidato utilice su experiencia de varios años para pensar críticamente en el ecosistema más amplio, identificar los desafíos centrales en este espacio y resaltar cómo los diferentes subsistemas de ML pueden unirse para resolver el problema más amplio. Aborde desafíos como el procesamiento de datos en tiempo real y garantice la solidez del modelo contra ataques adversarios. Proponer un enfoque de múltiples capas: sistemas basados ​​en reglas para señalización inmediata y modelos de aprendizaje profundo para el reconocimiento de patrones. Incluir circuitos de retroalimentación y esquemas de seguimiento para garantizar que el modelo se adapte a nuevas formas de fraude. Además, demuestre que está actualizado con las últimas tendencias de la industria cuando corresponda (por ejemplo, uso de GPU, aprendizaje de representación, aprendizaje por refuerzo, computación de vanguardia, aprendizaje automático federado, creación de modelos sin datos PII, equidad y sesgo en aprendizaje automático, etc.).