Los semiconductores son esenciales para alimentar diversos dispositivos electrónicos e impulsar el desarrollo en las industrias de telecomunicaciones, automoción, atención sanitaria, energías renovables e IoT. En la fabricación y el diseño de semiconductores, las dos fases principales, FEOL y BEOL, presentan desafíos únicos. Los LLM están capacitados en grandes cantidades de datos de texto utilizando técnicas de aprendizaje autosupervisadas que pueden capturar un rico conocimiento del dominio. Los LLM también pueden ayudar en tareas como la verificación de reglas de diseño, la generación de diseños y la exploración espacial en Circuito integrado (CI) diseño. Los LLM permiten la generación de nuevos diseños que cumplen con las restricciones especificadas y se optimizan para las métricas de rendimiento deseadas, aprendiendo de grandes diseños de circuitos integrados y conjuntos de datos de reglas de diseño. Sin embargo, la mayoría de los modelos son generales y no poseen conocimientos específicos dentro de la industria de los semiconductores. Esto refleja problemas únicos, como la física y la química complejas de los dispositivos y procesos semiconductores.
Actualmente, los LLM son modelos de propósito general que, a pesar de su potencia, necesitan conocimientos más especializados para tareas específicas de la industria de los semiconductores. La inteligencia artificial (IA) mejoró la fabricación de semiconductores al mejorar la optimización de máscaras y la detección de puntos críticos mediante el aprendizaje automático, el aprendizaje por refuerzo profundo y conjuntos de datos como LithoBench. En la industria de los semiconductores, los modelos de lenguaje grande (LLM) de dominios específicos, como ChipGPT y ChatEDA, superaron a los modelos generales en tareas como generación de código, depuración y asistencia de chatbot. Los LLM también evaluaron tareas de generación de lenguaje natural, utilizando comentarios de expertos para mejorar los puntos de referencia y abordar desafíos en evaluaciones complejas de dominios específicos.
Para integrar el poder de los LLM en la industria de semiconductores, investigadores de Aitomatic Inc., FPT Software AI Center y Tokyo Electron Ltd. llevó a cabo una investigación detallada y propuso semikongel primer LLM específico de la industria para el dominio de los semiconductores que proporciona una base para desarrollar modelos propietarios personalizados. SemiKong 1.0 se centra en construir un modelo fundamental con una comprensión de nivel experto de los problemas de grabado. Este enfoque implica entrenar modelos con datos completos específicos del dominio. El proceso de formación se dividió en dos etapas: preformación y puesta a punto.
Hay muy pocos conjuntos de datos de alta calidad para el dominio de los semiconductores. Para abordar esto, surgió un conjunto de datos a gran escala basado en texto centrado en conceptos de semiconductores y problemas de grabado, incluidos datos de capacitación previa de libros técnicos, artículos y patentes, junto con datos de instrucciones con 50.000 preguntas. Herramientas como GPT-4o-mini manejaron el formateo, mientras que GPT-4o generó y respondió algunas preguntas. El modelo SemiKong se entrenó en tres pasos. En primer lugar, se le capacitó previamente utilizando los puntos de control Llama3 para aprender sobre la industria de los semiconductores. Luego, pasó por un ajuste supervisado para mejorar su capacidad para manejar tareas como responder preguntas y razonar. Finalmente, el modelo se ajustó con cuantificación para prepararlo para su uso en el mundo real, adquiriendo un conocimiento más profundo sobre la fabricación de semiconductores a lo largo del camino. Los investigadores utilizaron 8 GPU NVIDIA A100 de 80 GB para entrenar para obtener un mejor rendimiento y velocidad de entrenamiento.
La evaluación del modelo SemiKong implicó comparar su desempeño según varios criterios, incluidos claridad y franqueza (C&D), practicidad y usabilidad inmediata (PIU), eficiencia y brevedad (E&B), flujo lógico y coherencia (LFC), experto a experto. Comunicación (CEE) y Uso de Ejemplos y Especificidad (UES). Los experimentos demostraron que el ajuste por sí solo no mejoraba significativamente el rendimiento, ya que el conocimiento de un dominio específico era crucial. Cuando el preentrenamiento se combinó con un ajuste fino, el rendimiento mejoró. Los modelos más grandes con parámetros 70B superaron a los más pequeños, y el modelo SemiKong 70B sobresalió en todos los criterios.
En resumen, el método propuesto proporcionó una solución sólida para integrar la tecnología LLM con la industria de los semiconductores y logró un gran rendimiento. Funcionó mejor que el modelo básico de código abierto. Sin embargo, SemiKong se encuentra en su fase inicial y aún queda mucho trabajo por hacer. ¡Este trabajo de integración de la última tecnología LLM en fabricación puede actuar como base para futuras investigaciones en el dominio de los semiconductores y cambiarlo para siempre!
Verificar el papel y Página de GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.
[FREE AI VIRTUAL CONFERENCE] SmallCon: Conferencia virtual gratuita sobre GenAI con Meta, Mistral, Salesforce, Harvey AI y más. Únase a nosotros el 11 de diciembre en este evento virtual gratuito para aprender lo que se necesita para construir a lo grande con modelos pequeños de pioneros de la IA como Meta, Mistral AI, Salesforce, Harvey AI, Upstage, Nubank, Nvidia, Hugging Face y más.
Divyesh es pasante de consultoría en Marktechpost. Está cursando un BTech en Ingeniería Agrícola y Alimentaria en el Instituto Indio de Tecnología de Kharagpur. Es un entusiasta de la ciencia de datos y el aprendizaje automático que quiere integrar estas tecnologías líderes en el ámbito agrícola y resolver desafíos.