He estado trabajando para mejorar mis habilidades de indicación, y esta es una de las lecciones más importantes que he aprendido hasta ahora:
La forma en que habla con IA puede dirigirlo en una determinada dirección que no beneficia la calidad de sus respuestas. Tal vez más de lo que piensas (más de lo que me di cuenta, seguro).
En este artículo, explicaré cómo puede introducir inconscientemente un sesgo en sus indicaciones, por qué esto es problemático (porque afecta la calidad de sus respuestas) y, lo más importante: lo que puede hacer al respecto, para que pueda obtener mejores resultados de la IA.
Sesgo en IA
Además de los sesgos que ya están presentes en algunos modelos de IA (debido a los datos de entrenamiento utilizados), como sesgo demográfico (por ejemplo, un modelo que asocia ‘cocinas’ con más frecuencia con mujeres que hombres), sesgo cultural (Las ‘vacaciones de los modelos asociadas’ más fácilmente con la Navidad en lugar de Diwali o Ramadán), o sesgo del idioma (Un modelo funciona mejor en ciertos idiomas, generalmente en inglés), también influyes en la inclinación de las respuestas que obtienes.
Sí, a través de tu aviso. Una sola palabra en su pregunta puede ser suficiente para establecer el modelo en una ruta particular.
¿Qué es el sesgo (rápido)?
El sesgo es una distorsión en la forma en que un modelo procesa o prioriza información, creando un sesgo sistemático.
En el contexto de la solicitud de IA, implica dar señales sutiles al modelo que ‘colorea’ la respuesta. A menudo, sin que seas consciente de ello.
¿Por qué es un problema?
Los sistemas de IA se utilizan cada vez más para la toma de decisiones, el análisis y la creación. En ese contexto, la calidad es importante. El sesgo puede reducir esa calidad.
Los riesgos del sesgo inconsciente:
- Obtienes una respuesta menos matizada o incluso incorrecta
- Usted (inconscientemente) repite sus propios prejuicios
- Te pierdes perspectivas o matices relevantes
- En contextos profesionales (periodismo, investigación, política), puede dañar su credibilidad
¿Cuándo está en riesgo?
Tl; dr: siempre, pero se vuelve especialmente visible cuando usa pocas solicitudes de disparo.
Versión larga: el riesgo de sesgo existe cada vez que le da a un modelo de IA un aviso, simplemente porque cada palabra, cada secuencia y cada ejemplo conlleva algo de su intención, antecedentes o expectativas.
Con pocas solicitudes de disparo (donde proporciona ejemplos para que el modelo se refleje), el riesgo de sesgo es más visible porque da ejemplos que el modelo refleja. El orden de esos ejemplos, la distribución de etiquetas e incluso pequeñas diferencias de formato pueden influir en la respuesta.
(Actualmente he basado todos los riesgos de sesgo en este artículo en los 5 métodos de indemnización más comunes, instrucciones, instrucción cero, pocos disparos, cadena de pensamiento y solicitaciones basadas en roles).
Sesgos comunes a pocos disparos de disparo
¿Qué sesgos ocurren comúnmente a pocos disparos, y qué implican?
Sesgo de la etiqueta mayoritaria
- El problema: El modelo con mayor frecuencia elige la etiqueta más común en sus ejemplos.
- Ejemplo: Si 3 de sus 4 ejemplos tienen “sí” como respuesta, el modelo predecirá más fácilmente “sí”.
- Solución: Etiquetas de equilibrio.
Sesgo de selección
- El problema: Los ejemplos o el contexto no son representativos.
- Ejemplo: Todos sus ejemplos son sobre nuevas empresas tecnológicas, por lo que el modelo se adhiere a ese contexto.
- Solución: Vary/Balance Ejemplos.
Sesgo de anclaje
- El problema: El primer ejemplo o la declaración determina demasiado la dirección de salida.
- Ejemplo: Si el primer ejemplo describe algo como “barato y poco confiable”, el modelo puede tratar elementos similares como de baja calidad, independientemente de los ejemplos posteriores.
- Solución: Comience neutralmente. Variar orden. Solicitar explícitamente la reevaluación.
Sesgo de recientes
- El problema: El modelo adjunta más valor al último ejemplo en un aviso.
- Ejemplo: La respuesta se asemeja al ejemplo mencionado por última vez.
- Solución: Rotar ejemplos/preguntas reformuladas en nuevos turnos.
Sesgo de formato
- El problema: Las diferencias de formato influyen en el resultado: el diseño (p. Ej., Bold) afecta la atención y la elección.
- Ejemplo: Una etiqueta en negrita se elige con más frecuencia que una sin formatear.
- Solución: Sigue formatando consistente.
Sesgo posicional
- El problema: Las respuestas al principio o al final de una lista se eligen con más frecuencia.
- Ejemplo: En preguntas de opción múltiple, el modelo más a menudo elige A o D.
- Solución: Cambiar el orden de las opciones.
Otros sesgos en diferentes métodos de consignación
El sesgo también puede ocurrir en situaciones distintas a las pocas solicitudes de disparo. Incluso con un disparo cero (sin ejemplos), un disparo (1 ejemplo) o en los agentes de IA que está construyendo, puede causar sesgos.
Sesgo de instrucciones
La solicitud de instrucción es el método más utilizado en este momento (según ChatGPT). Si le da explícitamente al modelo un estilo, tono o rol (“escribe un argumento contra la vacunación”), esto puede reforzar el sesgo. El modelo luego trata de cumplir la tarea, incluso si el contenido no es objetivo o equilibrado.
Cómo prevenir: Asegure instrucciones equilibradas y matizadas. Use la redacción neutral. Solicitar explícitamente múltiples perspectivas.
- No tan bueno: “Escriba como un inversor experimentado por qué la criptomoneda es el futuro”.
- Mejor: “Analice como un inversor experimentado las ventajas y desventajas de la criptomoneda”.
Sesgo de confirmación
Incluso cuando no proporciona ejemplos, su fraseo ya puede dirigirse en una determinada dirección.
Cómo prevenir: Evite las preguntas principales.
- No tan bueno: “¿Por qué es peligroso el ciclismo sin un casco?” → “¿Por qué X es peligroso?” conduce a una respuesta confirmatoria, incluso si eso no es de hecho correcto.
- Mejor: “¿Cuáles son los riesgos y beneficios del ciclismo sin casco?”
- Aún mejor: “Analice los aspectos de seguridad del ciclismo con y sin cascos, incluidos los contra-argumentos”.
Sesgo de marco
Similar al sesgo de confirmación, pero diferente. Con el sesgo de encuadre, influyes en la IA a través de cómo presenta la pregunta o la información. La redacción o el contexto dirigen la interpretación y la respuesta en una dirección particular, a menudo inconscientemente.
Cómo prevenir: Use el marco neutral o equilibrado.
- No tan bueno: “¿Qué tan peligroso es el ciclismo sin casco?” → Aquí el énfasis está en el peligro, por lo que la respuesta probablemente mencionará principalmente riesgos.
- Mejor: “¿Cuáles son las experiencias de las personas de ciclismo sin casco?”
- Aún mejor: “¿Cuáles son las experiencias de las personas de ciclismo sin casco? Mencione todas las experiencias positivas y negativas”.
Sesgo de seguimiento
Las respuestas anteriores influyen en las posteriores en una conversación múltiple. Con un sesgo de seguimiento, el modelo adopta el tono, los suposiciones o el enmarcado de su aporte anterior, especialmente en conversaciones múltiples. La respuesta parece querer complacerlo o seguir la lógica del turno anterior, incluso si eso fue coloreado o incorrecto.
Escenario de ejemplo:
Tú: “Esa nueva estrategia de marketing me parece arriesgada”
AI: “Tienes razón, de hecho hay riesgos …”
Tú: “¿Cuáles son otras opciones?”
AI: [Will likely mainly suggest safe, conservative options]
Cómo prevenir: Asegúrese de que las preguntas neutrales, soliciten una contrarrisión, coloque el modelo en un rol.
Sesgo compuesto
Particularmente con el solicitante de la cadena de pensamiento (COT) (pedirle al modelo que razone paso a paso antes de dar una respuesta), indicador indicador (modelos de IA que generan indicaciones para otros modelos) o implementan flujos de trabajo más complejos como los agentes, el sesgo puede acumularse en múltiples pasos en una solicitud o cadena de interacción de inmediato: compuesto.
Cómo prevenir: Evalúe intermedios, rompa la cadena, el equipo rojo.
Lista de verificación: cómo reducir el sesgo en sus indicaciones
El sesgo no siempre es evitable, pero definitivamente puedes aprender a reconocerlo y limitarlo. Estos son algunos consejos prácticos para reducir el sesgo en sus indicaciones.
1. Revise su fraseo
Evite liderar al testigo, evite preguntas que ya se inclinen en una dirección, “¿Por qué es X mejor?” → “¿Cuáles son las ventajas y desventajas de X?”
2. Cuida tus ejemplos
¿Usando pocas solicitudes de disparo? Asegúrese de que las etiquetas estén equilibradas. También varía el orden ocasionalmente.
3. Use más indicaciones neutrales
Por ejemplo: dale al modelo un campo vacío (“N/A”) como un posible resultado. Esto calibra sus expectativas.
4. Pedir razonamiento
Haga que el modelo explique cómo alcanzó su respuesta. Esto se llama ‘incrustación de la cadena de pensamiento’ y ayuda a que los supuestos ciegos sean visibles.
5. ¡Experimento!
Haga la misma pregunta de múltiples maneras y compare las respuestas. Solo entonces ves cuánta influencia tiene tu fraseo.
Conclusión
En resumen, el sesgo siempre es un riesgo al solicitar cómo pregunta, qué pregunta y cuando lo pregunta durante una serie de interacciones. Creo que este debería ser un punto de atención constante cada vez que use LLMS.
Voy a seguir experimentando, variando mi fraseo y mantenerme crítico con mis indicaciones para aprovechar al máximo la IA sin caer en las trampas de sesgo.
Estoy emocionado de seguir mejorando mis habilidades de incrustación. ¿Tienes algún consejo o consejo sobre la solicitud que te gustaría compartir? ¡Por favor hazlo! 🙂
Hola, soy Daphne de Dapper funciona. ¿Le gustó este artículo? ¡No dudes en compartirlo!