El presentador señaló hacia adelante e hizo un gesto de elogio. Las palabras "Hola" se reflejaron rápidamente en la interfaz "adaptada a mano" de la aplicación. Lo que capta las señales electromiográficas de los movimientos de la mano es un brazalete negro en el brazo del anfitrión, que parece una pulsera para correr.
“Hand Voice” es un producto especializado para personas con afasia y se espera que se lance a finales de mayo de este año. Puede resultar difícil para la gente común imaginar el significado de este producto: el lenguaje de señas es un puente para que las personas con afasia se comuniquen entre sí, pero para la gente común es más difícil que todos los idiomas extranjeros, y la "voz de la mano" será un puente de comunicación fluido y silencioso.
Huang, fundador de Handseng y cofundador de Handseng, es estudiante de la Universidad de Beihang en 2012. Son mejores amigos en el mismo dormitorio. Dos chicas enérgicas empezaron a hacer algo para las personas con afasia en 2015.
En un evento, Wang Nana conoció a Zhang Quan, un paciente afásico que se graduó en la Escuela de Educación Especial de la Universidad Unión de Beijing, y se convirtió en un buen amigo. Como Wang Nana no sabe el lenguaje de señas, estos dos verdaderos amigos se llevan más como internautas e incluso se comunican en WeChat cuando se encuentran.
De vuelta en el dormitorio, Wang Nana contó la historia de Zhang Kuhn. Desde entonces, han conocido a más personas con afasia y han encontrado cada vez más difícil la comunicación. "A veces siento que los estoy lastimando cuando hablo. Cuando conversamos alegremente, me pregunto si los he ignorado e incluso me culpo a mí mismo", dijo Wang Nana.
Dos chicas de buen corazón siempre han creído que Zhang Quan es el afortunado entre los pacientes afásicos, que no sólo puede ir a la escuela, sino también trabajar. Más personas con afasia han sido marginadas por la comunicación. Suponen que el jefe no puede escuchar la reunión y no puede comunicarse con la tienda. ¿Cómo pueden otros aceptarlos? "Xinwen Lianbo" cuenta con interpretación simultánea en lengua de signos, pero sin subtítulos para otros programas en vivo, las personas con afasia nunca podrán disfrutarlo.
Después de consultar en Internet, las cifras las hicieron aún más asombrosas: el número de pacientes afásicos (incluidas personas con problemas de audición, pacientes con accidentes cerebrovasculares, pacientes con parálisis cerebral y pacientes con ELA) en China alcanzó los 70 millones. representa el 5% de la población total, lo cual es un número enorme.
Los dos recordaron el proyecto de reconocimiento de imágenes cuando participaron en el "Feng Rubei" (Feng Rubei es un concurso de trabajos de investigación académica para estudiantes de Beihang). En aquel momento, este proyecto ganó el primer premio. Quizás esta tecnología pueda utilizarse para ayudar a los pacientes con afasia. Wang Nana recordó: "Sentimos que habíamos descubierto una necesidad que nadie había descubierto. Queríamos ser los primeros en darnos cuenta de esta necesidad y también queríamos que nuestro conocimiento fuera valioso".
Así que ellos comenzó Investigó la viabilidad de la traducción del lenguaje de señas, comenzó a revisar documentos, hacer experimentos, escribir códigos y comenzó a actuar con el primer premio de Feng Rubei de 50.000 yuanes como capital inicial. Se rechazó el reconocimiento de imágenes porque no se podía llevar la cámara en todo momento; se rechazaron los guantes porque eran demasiado llamativos y finalmente se determinó un método para capturar señales electromiográficas a través de un brazalete. Debido a que los relojes inteligentes son cada vez más comunes, usar un brazalete puede no parecer fuera de lo común para las personas con afasia.
El producto se repite una y otra vez para proteger la dignidad de los pacientes con afasia. Huang Shuang recuerda que realizaron la actividad “Experimentar la afasia por un día”. En las tiendas de conveniencia, debido a que necesitan saber el precio al momento de pagar, los pacientes con afasia solo pueden comunicarse con el empleado de la tienda a través de sus teléfonos móviles. Las personas que han estado esperando en la fila durante mucho tiempo comienzan a apresurarse con impaciencia. "Si los demás supieran que soy afásico, podrían entenderlo, pero si no lo supieran, se quejarían. Cuanto más se quejaban, más ansiosa me ponía. Algunas personas con afasia no quieren que los demás las llamen "sordas". ," pero escribirán " Dragon Man".
Después de determinar la dirección de la investigación y el desarrollo, la clave es ingresar y depurar datos continuamente para garantizar la precisión de la traducción del lenguaje de señas. Para probar la confiabilidad del modelo, inicialmente solo dos personas registraron datos de lenguaje de señas y continuaron realizando movimientos durante todo el día.
Huang Shuang bromeó: "¡Después de practicar, tus brazos se convertirán en brazos de unicornio!"
"Cuando realmente los ayudes, sabrán que es por su propio bien y serán muy cooperativos, Wang". Nana dijo que para garantizar la diversidad de datos y hacerlos realmente agradables para los pacientes con afasia, posteriormente se pusieron en contacto con el Instituto de Ingeniería para Sordos de la Universidad de Ciencia y Tecnología de Tianjin para cooperar en la recopilación de datos y el desarrollo de circuito cerrado de brazos inteligentes. También llegó a la intención de cooperar con la Federación de Personas Discapacitadas del Distrito de Chaoyang de Beijing, brindando consultas y orientación sobre servicios de productos de sonido manual. Zhang Quan también se convirtió en consultor de este equipo.
Hoy en día, la "Lengua de Signos" abarca 200 movimientos de lengua de signos. Para garantizar la precisión, se registraron 65.438.000 personas en cada acción. Después de tener su propia base de datos de gestos, el equipo también construyó una red neuronal BP de 7 capas (una red de avance de múltiples capas entrenada por el algoritmo de retropropagación de errores, que es uno de los modelos de redes neuronales más utilizados actualmente) para entrenar la velocidad de los datos. . La tasa de precisión del reconocimiento actual ha alcanzado el 95%.
Hasta agosto del año pasado, solo había dos personas en el equipo, Wang Nana y Huang Shuang, y luego otros se fueron uniendo gradualmente. No tienen oficina y sus reuniones son todas "guerra de guerrillas". Se han requisado cafés, restaurantes y aulas, y la investigación y el desarrollo se realizan en sus propios laboratorios. Pero Wang Nana dijo: "Nunca pensamos en rendirnos por una cosa". día." Más tarde, algunos miembros del equipo renunciaron debido a que se fueron al extranjero. Wang Nana continuó estudiando en la Universidad de Aeronáutica y Astronáutica de Beijing y Huang Shuang fue a la Universidad de Tsinghua. Las mejores estudiantes, dos mujeres, no renunciaron a su equipo para continuar con sus estudios y continuaron atrayendo talentos para desarrollar productos.
Es raro ver un equipo técnico emprendedor liderado por una chica, y las dos también han experimentado roces. Al principio, Huang Shuang esperaría a que ambas partes se calmaran y regresaría al dormitorio para comunicarse si tenían opiniones diferentes. Wang Nana le dijo que la comunicación en equipo se trata de cosas, no de personas, y que debemos estar abiertos unos a otros. Ahora, dos personas pueden tener un debate a vida o muerte sobre una misma cosa, y tras llegar a un acuerdo, también pueden salir a comer y beber de la mano. Hay otros técnicos en el equipo. Cuando todos se quedan despiertos hasta tarde escribiendo código, las dos chicas ocasionalmente se convierten en "alentadoras de programadores" y animan juntas al equipo.
Las dos niñas, que nacieron en 1994 y 1995 respectivamente, dijeron con una sonrisa: "Tal vez sea porque aún no hemos entrado en la sociedad y no tenemos la preocupación de comprar una casa". y la presión de la sociedad. Tiene valor para la sociedad y realmente puede ayudar a algunas personas, y si tenemos tiempo, ¡hagámoslo!”
Tienen muchas ideas para el futuro. El "ajuste manual" puede realizar la función de chat cara a cara y conversación a largo plazo. En el futuro, se podrán introducir la enseñanza de la lengua de signos, las letras en lengua de signos y los bucles cerrados de brazaletes inteligentes para resolver diversos problemas, como la falta de profesores de lengua de signos. Además, esta tecnología de inteligencia artificial se puede aplicar a otros aspectos cuando sean maduros, como enseñar a los niños pianistas a tocar el piano con mayor precisión.