En un tweet reciente del fundador de Dataquest.io, Vik Paruchuri publicó recientemente el lanzamiento de un conjunto de herramientas de OCR de documentos multilingüe. Surya. El marco puede detectar eficientemente bboxes a nivel de línea y saltos de columna en documentos, imágenes escaneadas o presentaciones. Los modelos de detección de texto existentes como Tesseract funcionan a nivel de palabra o carácter, mientras que esta IA de código abierto funciona a nivel de línea. El mayor desafío al crear un modelo de detección de líneas de texto es la falta de disponibilidad de conjuntos de datos cien por cien correctos con anotaciones a nivel de línea.
Surya es un modelo de codificador-decodificador que utiliza una imagen del documento como entrada y produce una imagen con cuadros dibujados alrededor de los cuadros de líneas en la imagen de entrada original. Las capas iniciales del decodificador contienen SegFormer, un transformador para la segmentación semántica, mientras que la capa convolucional 2D con capas de normalización por lotes constituye el final de la red del decodificador. Antes de utilizar la imagen o el PDF, las páginas se dividen en segmentos hasta la dimensión máxima de la imagen y se someten a varios preprocesamientos.
Para la evaluación del modelo de la precisión de las bboxes, los investigadores utilizaron precisión y recuperación en el área de cobertura en lugar de la métrica tradicional de IoU (intersección sobre unión). La precisión calcula qué tan bien las bbox predichas cubren las bbox reales y la recuperación calcula qué tan bien las bbox reales cubren las bbox predichas. Surya se compara con Tesseract, los experimentos sugirieron que la precisión de Surya es mucho mayor que la de Tesseract, y la recuperación de Tesseract es ligeramente mayor que la de Surya, pero en general Surya supera a Tesseract. Otra ventaja de Surya sobre el modelo Tesseract es que puede funcionar tanto en CPU como en GPU y es mucho más rápido que Tesseract.
Surya, que lleva el nombre del dios hindú del sol, ha trabajado con éxito en varios idiomas y se espera que funcione en casi todos los idiomas. La limitación de este modelo es que no funciona con fotografías u otras imágenes, ya que está especializado en documentos. Los experimentos también muestran que no funciona bien con imágenes que parecen anuncios. A pesar de esta limitación, el modelo sigue siendo de gran utilidad y puede ampliarse aún más a la detección de texto, tablas y gráficos.
Pragati Jhunjhunwala es pasante de consultoría en MarktechPost. Actualmente está cursando su B.Tech en el Instituto Indio de Tecnología (IIT), Kharagpur. Es una entusiasta de la tecnología y tiene un gran interés en el alcance del software y las aplicaciones de ciencia de datos. Siempre está leyendo sobre los avances en diferentes campos de la IA y el ML.