En algunas conversaciones interesantes recientemente sobre el diseño de herramientas basadas en LLM para usuarios finales, y una de las preguntas importantes sobre el diseño de productos que esto plantea es “¿qué sabe la gente sobre la IA?” Esto es importante porque, como le dirá cualquier diseñador de producto, es necesario comprender al usuario para poder crear con éxito algo que pueda usar. Imagínese si estuviera creando un sitio web y asumiera que todos los visitantes hablarían mandarín con fluidez, por lo que escribiera el sitio en ese idioma, pero luego resultara que todos sus usuarios hablaban español. Es así, porque si bien su sitio puede ser sorprendente, lo ha construido con una suposición fatalmente errónea y, como resultado, ha hecho que sea mucho menos probable que tenga éxito.
Entonces, cuando creamos herramientas basadas en LLM para los usuarios, tenemos que dar un paso atrás y observar cómo esos usuarios conciben los LLM. Por ejemplo:
Es posible que no sepan realmente nada sobre cómo funcionan los LLM. Es posible que no se den cuenta de que existen LLM que respaldan las herramientas que ya utilizan. Es posible que tengan expectativas poco realistas sobre las capacidades de un LLM, debido a sus experiencias con agentes con características muy sólidas. Es posible que tengan una sensación de desconfianza u hostilidad hacia la tecnología de LLM. Es posible que tengan distintos niveles de confianza en lo que dice un LLM en función de experiencias pasadas particulares. Es posible que esperen resultados deterministas incluso aunque los LLM no los proporcionen.
La investigación de usuarios es una parte espectacularmente importante del diseño de productos, y creo que es un verdadero error omitir ese paso cuando estamos creando herramientas basadas en LLM. No podemos asumir que sabemos cómo nuestra audiencia particular ha experimentado los LLM en el pasado y, en particular, no podemos asumir que nuestras propias experiencias sean representativas de las de ellos.
Perfiles de usuario
Afortunadamente, hay algunas buenas investigaciones sobre este tema que nos ayudan a guiarnos. Algunos arquetipos de las perspectivas de los usuarios se pueden encontrar en el Marco de Cuatro Personas desarrollado por Cassandra Jones-VanMieghem, Amanda Papandreou y Levi Dolan en la Facultad de Medicina de la Universidad de Indiana.
Proponen (en el contexto de la medicina, pero creo que tiene posibilidad de generalización) estas cuatro categorías:
Usuario inconsciente (No sé/No me importa)
Un usuario que realmente no piensa en la IA y no la ve relevante para su vida entraría en esta categoría. Naturalmente, tendrían un conocimiento limitado de la tecnología subyacente y no tendrían mucha curiosidad por saber más.
Usuario evitativo (la IA es peligrosa)
Este usuario tiene una perspectiva general negativa sobre la IA y llegaría a la solución con gran escepticismo y desconfianza. Para este usuario, cualquier oferta de producto de IA podría tener un efecto muy perjudicial en la relación con la marca.
Entusiasta de la IA (la IA siempre es beneficiosa)
Este usuario tiene grandes expectativas para la IA: está entusiasmado con la IA, pero sus expectativas pueden no ser realistas. Los usuarios que esperan que la IA se haga cargo de todo el trabajo pesado o que sea capaz de responder cualquier pregunta con perfecta precisión podrían encajar aquí.
Usuario de IA informado (empoderado)
Este usuario tiene una perspectiva realista y probablemente tenga un nivel generalmente alto de alfabetización informacional. Pueden utilizar una estrategia de “confiar pero verificar” en la que las citas y la evidencia de las afirmaciones de un LLM sean importantes para ellos. Como indican los autores, este usuario sólo recurre a la IA cuando es útil para una tarea en particular.
Sobre la base de este marco, yo diría que los puntos de vista excesivamente optimistas y excesivamente pesimistas a menudo se basan en alguna deficiencia de conocimiento sobre la tecnología, pero no representan el mismo tipo de usuario en absoluto. La combinación del nivel de información y el sentimiento (tanto la fuerza como la naturaleza cualitativa) crea el perfil del usuario. Mi interpretación es un poco diferente de lo que sugieren los autores, que es que los entusiastas están bien informados, porque en realidad diría que las expectativas poco realistas sobre las capacidades de la IA a menudo se basan en una falta de conocimiento o un consumo desequilibrado de información.
Esto nos da mucho en qué pensar cuando se trata de diseñar nuevas soluciones LLM. A veces, los desarrolladores de productos pueden caer en la trampa de asumir que el nivel de información es el único eje y olvidar que el sentimiento social acerca de esta tecnología varía ampliamente y puede tener la misma influencia en cómo un usuario recibe y experimenta estos productos.
Por qué sucede esto
Vale la pena pensar un poco en las razones de este amplio espectro de perfiles de usuario, y de sentimiento en particular. Muchas otras tecnologías que utilizamos habitualmente no inspiran tanta polarización. Los LLM y otras IA generativas son relativamente nuevos para nosotros, por lo que ciertamente es parte del problema, pero hay aspectos cualitativos de la IA generativa que son particularmente distintivos y pueden tener un impacto en la forma en que responden las personas.
Pinski y Benlian tienen un trabajo interesante sobre este tema y señalan que las características clave de la IA generativa pueden alterar la forma en que los investigadores de la interacción persona-computadora esperan que funcionen estas relaciones; recomiendo encarecidamente leer su artículo.
No determinismo
A medida que la computación se ha convertido en parte de nuestra vida diaria durante las últimas décadas, hemos podido confiar en cierta reproducibilidad. Cuando haces clic en una tecla o presionas un botón, la respuesta de la computadora será la misma cada vez, más o menos. Esto imparte una sensación de confiabilidad, donde sabemos que si aprendemos los patrones correctos para lograr nuestros objetivos, podemos confiar en que esos patrones serán consistentes. La IA generativa rompe este contrato debido a la naturaleza no determinista de los resultados. El profano promedio que utiliza tecnología tiene poca experiencia con el concepto de que la misma pulsación de tecla o solicitud devuelva resultados inesperados y siempre diferentes, y esto, comprensiblemente, rompe la confianza que de otro modo podría tener. El no determinismo se debe a una muy buena razón, por supuesto, y una vez que se comprende la tecnología, esta es simplemente otra característica de la tecnología con la que trabajar, pero en una etapa menos informada podría ser problemático.
Misterio
En realidad, esta es solo otra palabra para “caja negra”. La naturaleza de las redes neuronales que subyacen a gran parte de la IA generativa es que incluso aquellos de nosotros que trabajamos directamente con la tecnología no tenemos la capacidad de explicar completamente por qué un modelo “hace lo que hace”. No podemos consolidar y explicar la ponderación de cada neurona en cada capa de la red, porque es simplemente demasiado compleja y tiene demasiadas variables. Por supuesto, existen muchas soluciones de IA útiles y explicables que pueden ayudarnos a comprender las palancas que están teniendo un impacto en una sola predicción, pero una explicación más amplia del funcionamiento de estas tecnologías simplemente no es realista. Esto significa que tenemos que aceptar cierto nivel de incognoscibilidad, lo cual, tanto para los científicos como para los legos curiosos, puede ser muy difícil de aceptar.
Autonomía
El creciente impulso para hacer que la IA generativa forme parte de agentes semiautónomos parece estar impulsándonos a hacer que estas herramientas funcionen con cada vez menos supervisión y menos control por parte de los usuarios humanos. En algunos casos, esto puede resultar bastante útil, pero también puede generar ansiedad. Dado lo que ya sabemos acerca de que estas herramientas no son deterministas y no explicables a gran escala, la autonomía puede parecer peligrosa. Si no siempre sabemos qué hará el modelo y no entendemos completamente por qué hace lo que hace, se podría perdonar a algunos usuarios por decir que no parece una tecnología segura que permita operar sin supervisión. Trabajamos constantemente en el desarrollo de estrategias de evaluación y prueba para tratar de prevenir comportamientos no deseados, pero una cierta cantidad de riesgo es inevitable, como ocurre con cualquier tecnología probabilística. Por el contrario, parte de la autonomía de la IA generativa puede crear situaciones en las que los usuarios no reconocen en absoluto la participación de la IA en una tarea determinada. Puede funcionar silenciosamente entre bastidores y el usuario podría no ser consciente de su presencia. Esto es parte de un área de preocupación mucho más amplia en la que la producción de IA se vuelve indistinguible del material creado orgánicamente por humanos.
Qué significa esto para el producto
Por supuesto, esto no significa que la creación de productos y herramientas que involucren IA generativa sea imposible. Significa, como suelo decir, que debemos analizar detenidamente si la IA generativa es una buena opción para el problema o la tarea que tenemos por delante, y asegurarnos de haber considerado los riesgos y las posibles recompensas. Este es siempre el primer paso: asegúrese de que la IA sea la opción correcta y de que esté dispuesto a aceptar los riesgos que conlleva su uso.
Después de eso, esto es lo que recomiendo a los diseñadores de productos:
Realice una investigación rigurosa de los usuarios. Descubra cuáles son las distribuciones de los perfiles de usuario descritos anteriormente en su base de usuarios y planifique cómo el producto que está construyendo se adaptará a ellos. Si tiene una porción significativa de usuarios de Evitación, planifique una estrategia informativa para facilitar el camino para la adopción y considere implementar las cosas lentamente para evitar un shock para la base de usuarios. Por otro lado, si tiene muchos usuarios entusiastas, asegúrese de tener claros los límites de la funcionalidad que proporcionará su herramienta, para no tener una reacción del tipo “su IA apesta”. Si la gente espera resultados mágicos de la IA generativa y usted no puede proporcionarlos, porque existen importantes limitaciones funcionales y de seguridad que debe respetar, entonces esto será un problema para su experiencia de usuario. Construya para sus usuarios: esto puede parecer obvio, pero esencialmente lo que estoy diciendo es que su investigación de usuarios debe influir profundamente no solo en la apariencia de su producto de IA generativa, sino también en su construcción y funcionalidad reales. Debe abordar las tareas de ingeniería con una visión basada en evidencia de lo que este producto debe ser capaz de hacer y las diferentes formas en que sus usuarios pueden abordarlo. Priorizar la educación. Como ya mencioné, será importante educar a sus usuarios sobre cualquier solución que estén brindando, independientemente de si son positivas o negativas. A veces asumimos que las personas “simplemente lo entenderán” y podemos omitir este paso, pero es un error. Debe establecer expectativas de manera realista y responder de manera preventiva las preguntas que puedan surgir de una audiencia escéptica para garantizar una experiencia de usuario positiva. No lo fuerces. Últimamente estamos descubriendo que los productos de software que hemos utilizado felizmente en el pasado agregan funcionalidad de IA generativa y la hacen obligatoria. He escrito antes sobre cómo las fuerzas del mercado y los patrones de la industria de la IA están haciendo que esto suceda, pero eso no lo hace menos dañino. Debe estar preparado para que algún grupo de usuarios, por pequeño que sea, quiera negarse a utilizar una herramienta de IA generativa. Esto puede deberse a un sentimiento crítico, a una regulación de seguridad o simplemente a una falta de interés, pero respetar esto es la opción correcta para preservar y proteger el buen nombre de su organización y la relación con ese usuario. Si su solución es útil, vale la pena, está bien probada y bien comunicada, es posible que pueda aumentar la adopción de la herramienta con el tiempo, pero imponerla a las personas no ayudará.
Conclusión
A fin de cuentas, muchas de estas lecciones son buenos consejos para todo tipo de trabajos de diseño de productos técnicos. Sin embargo, quiero enfatizar cuánto cambia la IA generativa en la forma en que los usuarios interactúan con la tecnología y el cambio significativo que representa para nuestras expectativas. Como resultado, es más importante que nunca que observemos muy de cerca al usuario y su punto de partida, antes de lanzar productos como este al mundo. Como muchas organizaciones y empresas están aprendiendo por las malas, un nuevo producto es una oportunidad de causar una impresión, pero esa impresión puede ser tan terrible como buena. Sus oportunidades para impresionar son importantes, pero también lo son sus oportunidades de arruinar su relación con los usuarios, aplastar su confianza en usted y prepararse para un trabajo serio de control de daños por hacer. Así que ¡sé cuidadoso y concienzudo al principio! ¡Buena suerte!
Lea más de mi trabajo en www.stephaniekirmer.com.
Lectura adicional
https://scholarworks.indianapolis.iu.edu/items/4a9b51db-c34f-49e1-901e-76be1ca5eb2d
https://www.sciencedirect.com/science/article/pii/S2949882124000227
https://www.nature.com/articles/s41746-022-00737-z
https://www.researchgate.net/profile/Muhammad-Ashraf-Faheem/publication/386330933_Building_Trust_with_Generative_AI_Chatbots_Exploring_Explainability_Priv acy_and_User_Acceptance/links/674d7838a7fbc259f1a5c5b9/Building-Trust-with-Generative-AI-Chatbots-Exploring-Explainability-Privacy-and-User-Acceptance.pdf
https://www.tandfonline.com/doi/full/10.1080/10447318.2024.2401249#d1e231
https://www.stephaniekirmer.com/writing/canwesavetheaieconomy