Mostrar el registro sencillo del ítem

Computational Model for Sign Language Recognition in a Colombian Context

Modelo computacional para reconocimiento de lenguaje de señas en un contexto colombiano

dc.creatorOrtiz-Farfán, Nelson
dc.creatorCamargo-Mendoza, Jorge E.
dc.date2020-05-15
dc.identifierhttps://revistas.itm.edu.co/index.php/tecnologicas/article/view/1585
dc.identifier10.22430/22565337.1585
dc.descriptionThis document presents the implementation of a Colombian sign language recognition software for deaf people. For this purpose, Machine Learning will be used as the basis of the specific system. Today there is no public repository of images or video that contains these signs or the information necessary to achieve this goal, being one of the main obstacles to undertake the task. For this reason, the construction of a repository was started. Despite the time constraints of the participants, five people carried out the signs in front of a video camera, from which the images that would make up the repository were obtained.Once this was done, the images were used as training data for an optimal computer model that can predict the meaning of a new image presented. We evaluated the performance of the method using classification measures and comparing different models. The measurement known as Accuracy was an important factor in measuring the different models obtained and thus choosing the one most suitable. Results show that it is possible to provide new tools to deaf people to improve communication with others who do not know sign language. Once the best models have been chosen, they are tested with new images, similar to those in the training, where it can be seen that the best model achieves a success rate of around 68 % of the 22 classes used in the system.en-US
dc.descriptionEste documento presenta la implementación de un software de reconocimiento de lenguaje de señas colombiano para personas sordas. Para este propósito, el Aprendizaje de Máquina será usado como base del sistema específico. Hoy en día no existe un repositorio público de imágenes o video que contenga estas señas ni la información necesaria para alcanzar esta meta, siendo uno de los principales impedimentos para iniciar la tarea. Por esta razón, se comenzó con la construcción de un repositorio. Pese a las dificultades de tiempo de los participantes, cinco personas realizaron las señas ante una cámara de video, de donde se obtuvieron las imágenes que compondrían el repositorio. Una vez hecho esto, las imágenes se usaron como datos de entrenamiento de un modelo computacional óptimo que puede predecir el significado de una nueva imagen presentada. Evaluamos el rendimiento del método utilizando medidas de clasificación y comparando diferentes modelos. La medición conocida como Accuracy fue un factor importante para medir los diferentes modelos obtenidos y así elegir el más adecuado. Los resultados muestran que es posible proporcionar nuevas herramientas a las personas sordas para mejorar la comunicación con otras personas que no conocen el lenguaje de señas. Una vez que se han elegido los mejores modelos, se prueban con nuevas imágenes, similares a las del entrenamiento, donde se puede ver que el mejor modelo logra una tasa de éxito de alrededor del 68 % de las 22 clases utilizadas en el sistema.es-ES
dc.formatapplication/pdf
dc.formattext/xml
dc.formattext/html
dc.languagespa
dc.publisherInstituto Tecnológico Metropolitano (ITM)en-US
dc.relationhttps://revistas.itm.edu.co/index.php/tecnologicas/article/view/1585/1637
dc.relationhttps://revistas.itm.edu.co/index.php/tecnologicas/article/view/1585/1672
dc.relationhttps://revistas.itm.edu.co/index.php/tecnologicas/article/view/1585/1727
dc.relation/*ref*/L. M. Rojas-Rojas, N. Arboleda-Toro, y L. J. Pinzón-Jaime, “Caracterización de población con discapacidad visual, auditiva, de habla y motora para su vinculación a programas de pregrado a distancia de una universidad de Colombia”, Rev. Electrónica Educ., vol. 22, no. 1, pp. 1-28, Jan. 2018. https://doi.org/10.15359/ree.22-1.6
dc.relation/*ref*/Y. M. Cortés Bello, A. G. Barreto Muñoz, “Variación sociolingüística en la lengua de señas colombiana: observaciones sobre el vocabulario deportivo, en el marco de la planificación lingüística” Forma y Función, vol. 26, no. 2 pp. 149-170. Disponible en: http://www.scielo.org.co/pdf/fyf/v26n2/v26n2a07.pdf
dc.relation/*ref*/Centro de relevo Colombia, Ministerio de Tecnologías de la Información y las Comunicaciones “Servicio de Interpretación en línea SIEL” (s/f). Disponible en: https://centroderelevo.gov.co/632/w3-propertyvalue-15254.html
dc.relation/*ref*/Centro de relevo Colombia, “Instructivo para la implementación de los servicios de centro de relevo,” (s/f) Google Docs. [En línea]. Disponible en: https://drive.google.com/file/d/1swrQp_skuDd_fBbVHI0Vu7EWwp4C9UZp/view
dc.relation/*ref*/H. Ziady, CNN Business “Google's AI system can beat doctors at detecting breast cancer,” Jan. 2020. Accedido: 07-mar-2020. Disponible en: https://edition.cnn.com/2020/01/02/tech/google-health-breast-cancer/index.html
dc.relation/*ref*/G. Eryiğit, et al. “Building the first comprehensive machine-readable Turkish sign language resource: methods, challenges and solutions”, Lang Resources & Evaluation. Vol. 54. pp. 97–121, Apr. 2019. http://doi.org/10.1007/s10579-019-09465-5
dc.relation/*ref*/R.E.O. Costa, et al. “Towards an open platform for machine translation of spoken languages into sign languages”. Machine Translation, vol. 33, pp. 315–348, Aug. 2019. https://doi.org/10.1007/s10590-019-09238-5
dc.relation/*ref*/V. Kumar Vivek, y S. Srivastava, “Toward Machine Translation Linguistic Issues of Indian Sign Language”. En: Agrawal S., Devi A., Wason R., Bansal P. (eds) Speech and Language Processing for Human-Machine Communications. Advances in Intelligent Systems and Computing, vol. 664. Springer, Singapore. https://doi.org/10.1007/978-981-10-6626-9_14
dc.relation/*ref*/L. Quesada, G. López, y L. Guerrero, “Automatic recognition of the American sign language fingerspelling alphabet to assist people living with speech or hearing impairments”, J. Ambient Intell. Humaniz. Comput., vol. 8, no. 4, pp. 625-635, Mar. 2017. https://doi.org/10.1007/s12652-017-0475-7
dc.relation/*ref*/J. L. Raheja, A. Mishra, y A. Chaudhary, «Indian sign language recognition using SVM», Pattern Recognit. Image Anal., vol. 26, no. 2, pp. 434-441, Jun. 2016.https://doi.org/10.1134/S1054661816020164
dc.relation/*ref*/D. C. García Cortes, “Reconocimiento de Gestos de Manos como Mecanismo de Interacción Humano – Computador” (Tesis de Maestría), Facultad de Ingeniería, Universidad Nacional de Colombia, 2014. Disponible en: http://bdigital.unal.edu.co/46239/1/300497.2014.pdf
dc.relation/*ref*/P. Nakjai y T. Katanyukul, “Hand Sign Recognition for Thai Finger Spelling: An Application of Convolution Neural Network”, J. Signal Process. Syst., vol. 91, no. 2, pp. 131-146, Apr. 2018. https://doi.org/10.1007/s11265-018-1375-6
dc.relation/*ref*/F. Ronchetti, “Reconocimiento de gestos dinámicos y su aplicación al lenguaje de señas”, (Tesis Doctoral), Facultad de Informática, Universidad Nacional de la Plata, Argentina, 2017. Disponible en: http://sedici.unlp.edu.ar/handle/10915/59330
dc.relation/*ref*/O. Koller, H. Ney and R. Bowden, "Deep Hand: How to Train a CNN on 1 Million Hand Images When Your Data is Continuous and Weakly Labelled," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, 2016, pp. 3793-3802. http://dx.doi.org/10.1109/CVPR.2016.412
dc.relation/*ref*/M. Mustafa. “A Study on Arabic Sign Language Recognition for Differently Abled Using Advanced Machine Learning Classifiers”. Journal of Ambient Intelligence and Humanized Computing, Mar. 2020. https://doi.org/10.1007/s12652-020-01790-w
dc.relation/*ref*/S. K. Mishra, S. Sinha, S. Sinha, y S. Bilgaiyan, “Recognition of Hand Gestures and Conversion of Voice for Betterment of Deaf and Mute People,” en International Conference on Advances in Computing and Data Sciences, Singapure, 2019, pp. 46–57. https://doi.org/10.1007/978-981-13-9942-8_5
dc.relation/*ref*/P. M. Ferreira, J. S. Cardoso, y A. Rebelo, “On the role of multimodal learning in the recognition of sign language,” Multimed. Tools Appl., vol. 78, no. 8, pp. 10035–10056, Sep. 2018. https://doi.org/10.1007/s11042-018-6565-5
dc.relation/*ref*/Md. Sanzidul Islam, S. S. Sharmin Mousumi, AKM. S. Azad Rabby, y S. Akhter Hossain. “A Simple and Mighty Arrowhead Detection Technique of Bangla Sign Language Characters with CNN”. En Recent Trends in Image Processing and Pattern Recognition, Singapore, 2019. https://doi.org/10.1007/978-981-13-9181-1_38
dc.relation/*ref*/Kaggle Inc “Sign Language MNIST Drop-In Replacement for MNIST for Hand Gesture Recognition Tasks version 1”, 2019. Accedido: 15-abr-2019.Disponible en: https://www.kaggle.com/datamunge/sign-language-mnist
dc.relation/*ref*/Instituto Nacional para sordos, Insor educativo “Léxico de uso cotidiano” Accedido: 20-oct-2019. Disponible en: http://educativo.insor.gov.co/diccionario/diccionario-cotidiano/
dc.relation/*ref*/J. Brownlee “A Gentle Introduction to k-fold Cross-Validation” Machine Learning Mastery Pty, 2018. Accedido: 19-sep-2019. Disponible en: https://machinelearningmastery.com/k-fold-cross-validation/
dc.relation/*ref*/A. Schelstraete, “4 Principios para validar cualquier prototipo,” Medium, Accedido: 11-Abr-2019. Disponible en: https://medium.com/@ashera/4-principios-para-validar-cualquier-prototipo-b3329ef7ab32
dc.relation/*ref*/M. Timney, “Building Better Products through Prototype Validation”, InVisionApp Inc. 2015. Disponible en: https://www.invisionapp.com/inside-design/building-better-products-through-prototype-validation/
dc.rightsCopyright (c) 2020 TecnoLógicasen-US
dc.rightshttp://creativecommons.org/licenses/by-nc-sa/4.0en-US
dc.sourceTecnoLógicas; Vol. 23 No. 48 (2020); 197-232en-US
dc.sourceTecnoLógicas; Vol. 23 Núm. 48 (2020); 197-232es-ES
dc.source2256-5337
dc.source0123-7799
dc.subjectDeaf peopleen-US
dc.subjectMachine Learningen-US
dc.subjectcomputational modelen-US
dc.subjectsign languageen-US
dc.subjectPersonas sordases-ES
dc.subjectAprendizaje de Maquinaes-ES
dc.subjectmodelo computacionales-ES
dc.subjectlenguaje de señases-ES
dc.titleComputational Model for Sign Language Recognition in a Colombian Contexten-US
dc.titleModelo computacional para reconocimiento de lenguaje de señas en un contexto colombianoes-ES
dc.typeinfo:eu-repo/semantics/article
dc.typeinfo:eu-repo/semantics/publishedVersion
dc.typeResearch Papersen-US
dc.typeArtículos de investigaciónes-ES


Ficheros en el ítem

FicherosTamañoFormatoVer

No hay ficheros asociados a este ítem.

Este ítem aparece en la(s) siguiente(s) colección(ones)

Mostrar el registro sencillo del ítem