Palabras clave: Funciones multimedia de imagen y audio
Aplicación de la tecnología multimedia
Resumen: La tecnología de comunicación multimedia es el campo de la ciencia y la tecnología más dinámico y de más rápido crecimiento En el mundo actual, la tecnología de la información de alta tecnología siempre ha afectado el ritmo del desarrollo económico mundial y el progreso científico y tecnológico, y ha cambiado los estilos de vida y la calidad de vida de los seres humanos. La comunicación multimedia es la comunicación entre información de varios medios. Es un medio para transmitir y recibir información multimedia y descargarla a través de varias redes de comunicación existentes. Cubre casi todos los campos en el campo de la tecnología de la información, incluido el procesamiento y la aplicación integral de datos, audio y video. tecnología, cuya clave es la transmisión eficiente y el procesamiento interactivo de información multimedia
Palabras clave: imagen característica de audio multimedia
Cita
Con el rápido desarrollo de la ciencia Y la tecnología, los datos multimedia como imágenes y vídeos se han convertido gradualmente en la principal forma de medio de información en el campo del procesamiento de información. La comunicación multimedia es una tecnología clave en la construcción de las autopistas de la información. Es producto de la penetración mutua y el desarrollo de la multimedia, las comunicaciones, las computadoras y las redes. Mejorará en gran medida la eficiencia laboral de las personas, cambiará la educación, el entretenimiento y otros estilos de vida de las personas, y es la forma básica de comunicación de las personas en el siglo XXI.
El primer capítulo es una breve introducción a la tecnología de la comunicación multimedia.
Conceptos básicos y características de la comunicación multimedia
Conceptos básicos de 1.1
Los medios son el medio de representación y transmisión de información, y es un concepto importante. ITU-T I.374 recomienda dividir los medios en cinco categorías: medios sensoriales, medios de rendimiento, medios de visualización, medios de almacenamiento y medios de transmisión.
Los datos multimedia se refieren al portador de diversos estilos de información, como texto, gráficos, imágenes, sonidos y otros datos. Sus características incluyen principalmente los siguientes puntos:
(1) Hay muchos tipos de datos multimedia (en su mayoría datos no estructurados), y los medios de diferentes fuentes tienen formas y formatos completamente diferentes;
(2) La cantidad de datos multimedia es enorme;
(3) Los datos multimedia tienen características de tiempo y conceptos de versión. Por ejemplo, en un sistema de vídeo bajo demanda, se debe considerar la sincronización horaria entre y dentro de los medios.
Se puede ver que los datos multimedia son diferentes de los valores y caracteres numéricos tradicionales, por lo que su estructura de almacenamiento y método de acceso también son especiales, y su estructura de datos y modelo de datos también son diferentes. En este caso surgió un nuevo sistema de base de datos: un sistema de base de datos multimedia.
La base de datos multimedia es un sistema de base de datos que puede realizar eficazmente las funciones de almacenamiento, lectura y recuperación de datos multimedia. Sus características principales son:
(1) Hereda algunas ventajas de las bases de datos tradicionales, como independencia de datos, consultas avanzadas utilizando lenguaje de consulta de bases de datos, control de desarrollo, tecnología tolerante a fallas, etc.
(2) Los datos con relaciones espaciotemporales se pueden sincronizar y gestionar.
Sin embargo, en la actualidad, no hemos alcanzado una comprensión completa de las funciones y métodos de implementación de las bases de datos multimedia, por lo que han surgido varias formas de bases de datos multimedia, con diferentes métodos de implementación. Desde la perspectiva de su desarrollo general, los modelos de datos de bases de datos multimedia se pueden dividir en tres categorías: modelo de datos relacionales, modelo de datos orientado a objetos y modelo de datos hipermedia.
Las funciones de los sistemas de gestión de bases de datos multimedia (DBMS) basados en diferentes modelos de datos también son muy diferentes. Por lo general, los DBMS multimedia basados en el modelo de datos relacionales pueden acceder a datos multimedia. Las relaciones semánticas, las relaciones temporales y las relaciones espaciales entre objetos de datos multimedia no se procesan, por lo que esta parte del trabajo se deja a la aplicación.
Los modelos de datos orientados a objetos y los tipos de datos hipermedia pueden admitir el procesamiento de relaciones semánticas, relaciones temporales y relaciones espaciales entre objetos de datos multimedia. Son muy abstractos, pero la implementación de DBMS es relativamente compleja.
Otra palabra muy utilizada en los sistemas de comunicación multimedia es "hipermedia". La palabra "notas" aparece a menudo en publicaciones y puede utilizar "notas" para buscar un párrafo de texto o un artículo relacionado con él. Este enlace de una "nota" a un texto o artículo se llama marcación de hipervínculo. Del mismo modo, un hipervínculo también puede vincular varios medios diferentes, cuyo conjunto se denomina "hipermedios".
1.2 Características de la comunicación multimedia
El desarrollo de la tecnología de la comunicación multimedia ha roto el patrón tradicional del sistema de comunicación de un solo medio y un solo servicio de telecomunicaciones, lo que refleja una tendencia de comunicación de alto nivel, que Es el anhelo de la gente por un trabajo social y un estilo de vida futuros. La tecnología de comunicación multimedia es una tecnología integral que involucra tecnología multimedia, tecnología informática, tecnología de comunicación y otros campos. Los sistemas de comunicación multimedia deben tener tres características principales: integración, interactividad y sincronización.
1.2.1 Integración
La integración de sistemas de comunicación multimedia se refiere al almacenamiento, transmisión, procesamiento y visualización de información de datos de contenido, información multimedia e hipermedia, información de script e información de aplicaciones específicas. . capacidades de información.
(1) Información de datos de contenido
(2) La información existe en una determinada forma estructural. Hay dos estructuras típicas: una es un objeto.
Estructura, la unidad más pequeña que se puede procesar es un objeto; la otra es una estructura de archivo,
La unidad más pequeña de procesamiento es un archivo.
Información multimedia e hipermedia
La información multimedia e hipermedia se diferencia de la información multimedia única. Son información estructurada, que consta de un marco estructural y datos de contenido. La forma de expresión mínima de información multimedia e hipermedia se divide en dos categorías, una se llama objeto y la otra se llama archivo.
(3) Información de script
La información de script es un conjunto específico de información multimedia e hipermedia estructurada unida por relaciones semánticas. Es necesario proporcionar el proceso de operación de este conjunto de información multimedia. y su relación con Relaciones con módulos de procesamiento externos.
(4) Información de aplicación específica
Los tres tipos de información anteriores son información de bajo nivel y se pueden definir y expresar mediante estándares. La información de la aplicación específica es información de alto nivel, estrechamente relacionada con la aplicación y variará mucho según los escenarios de la aplicación. Su método de representación se basa en las tres categorías anteriores.
1.2.2 Interactividad
La interactividad se refiere a la capacidad de las personas y los sistemas de controlarse entre sí en un sistema de comunicación. En los sistemas de comunicación multimedia, la interactividad tiene dos vertientes. Una es la interfaz hombre-máquina, que es la interfaz de operación proporcionada por el terminal de usuario cuando las personas usan el terminal del sistema; la segunda es el protocolo de comunicación de la capa de aplicación entre el terminal de usuario y el sistema.
Los usuarios de terminales de comunicación multimedia tienen un control interactivo completo sobre todo el proceso de comunicación. Esta es la característica principal de los sistemas de comunicación multimedia y el criterio principal para distinguir los sistemas de comunicación multimedia de los sistemas de comunicación no multimedia.
1.2.3 Sincronización
Sincronización significa que las imágenes, sonidos y personajes que aparecen en el terminal de comunicación multimedia funcionan todos de forma sincrónica. Si un usuario desea recuperar un fragmento de un evento histórico importante, la imagen en movimiento o la imagen fija del evento se almacena en la base de datos de imágenes, y su descripción de texto y descripción de idioma se colocan en otras bases de datos. El terminal de comunicación multimedia extrae la información requerida de diferentes bases de datos a través de diferentes canales de transmisión y sincroniza estas imágenes, sonidos y texto para formar una información completa para el usuario.
La sincronización en los sistemas de comunicación multimedia es una de las características más importantes de los sistemas de comunicación multimedia. La sincronización de la información determina si el sistema es un sistema multimedia o no. La sincronización se puede lograr en la capa de enlace, la capa de presentación y la capa de aplicación.
Capítulo 2 Tecnología de audio multimedia
Tecnología de audio desarrollada anteriormente. Hace unos años, algunas tecnologías maduraron y se comercializaron, llegando incluso a los hogares, como el audio digital. La tecnología de audio incluye principalmente cuatro aspectos: digitalización de audio, procesamiento de voz, síntesis de voz y reconocimiento de voz.
En la actualidad, la digitalización de audio es una tecnología madura. Las tarjetas de sonido multimedia se diseñan utilizando esta tecnología. El audio digital también utiliza esta tecnología para reemplazar el método analógico tradicional y lograr efectos de sonido ideales. El muestreo de audio incluye dos parámetros importantes, a saber, la frecuencia de muestreo y los bits de datos de muestreo. La frecuencia de muestreo se refiere al número de veces que se muestrea un sonido por segundo. El límite superior de la audición humana es de unos 20 KHz. Las frecuencias de muestreo más utilizadas actualmente son 11 KHz, 22 KHz y 44 KHz. Cuanto mayor sea la frecuencia de muestreo, mejor será la calidad del sonido y mayor será la cantidad de datos almacenados. La frecuencia de muestreo de los discos CD es de 44,1 KHz, lo que logra el mejor efecto de escucha actual. El número de bits de datos de muestreo es el rango de representación de datos de cada punto de muestreo. Actualmente existen tres de uso común: 8 bits, 12 bits y 16 bits. Diferentes bits de datos de muestreo determinan diferentes calidades de sonido. Cuanto mayor sea el número de muestras, mayor será la cantidad de datos almacenados y mejor será la calidad del sonido. Los discos CD utilizan muestreo de 16 bits de doble canal con una frecuencia de muestreo de 44,1 KHz, alcanzando un nivel profesional.
El procesamiento de audio abarca una amplia gama de áreas, pero el aspecto principal se centra en la compresión de audio. El último algoritmo de compresión de voz MPEG puede comprimir el sonido 6 veces. La síntesis de voz se refiere a la síntesis de texto en un lenguaje para su reproducción. En la actualidad, el nivel de síntesis de varias voces extranjeras ha alcanzado la etapa práctica. La síntesis china también ha logrado grandes avances en los últimos años y el sistema experimental está en funcionamiento. Entre las tecnologías de audio, el reconocimiento de voz es la tecnología más difícil y atractiva. Aunque actualmente sólo se encuentra en la etapa de investigación experimental, sus amplias perspectivas de aplicación lo convierten en uno de los puntos críticos de la investigación.
Capítulo 3 Tecnología de vídeo e imagen multimedia
3.1 Tecnología de vídeo
Aunque el desarrollo de la tecnología de vídeo es relativamente corto, el alcance de aplicación del producto ya es muy Los productos de gran tamaño, combinados con la tecnología de compresión MPEG, han comenzado a llegar a los hogares. La tecnología de vídeo incluye la digitalización de vídeo y la tecnología de codificación de vídeo.
La digitalización de vídeo consiste en convertir señales de vídeo analógicas en señales digitales que pueden ser procesadas por computadoras mediante conversión de analógico a digital y transformación del espacio de color, de modo que la computadora pueda mostrar y procesar señales de video. Actualmente existen dos formatos de muestreo: Y:U:V4:1:1 e Y:U:V4:2:2. El primero es el formato principal utilizado en los primeros productos. El formato Y:U:V4:2:2 duplica el muestreo de señales cromáticas. El color, la claridad y la estabilidad del vídeo digital se mejoran significativamente, convirtiéndolo en el producto de próxima generación.
La tecnología de codificación de vídeo codifica señales de vídeo digital en señales de televisión, que pueden grabarse en cintas de vídeo o reproducirse en televisión. Diferentes entornos de aplicaciones pueden utilizar diferentes tecnologías. La tecnología de codificación desde consolas de juegos de gama baja hasta niveles de transmisión de televisión ha madurado.
3.2 Tecnología de compresión de imágenes
La compresión de imágenes siempre ha sido uno de los temas candentes en tecnología y su valor potencial es muy considerable. Es una base importante para el procesamiento informático de imágenes y vídeos y la transmisión en red. Actualmente, ISO ha desarrollado dos estándares de compresión, a saber, JPEG y MPEG. JPEG es un estándar de compresión para imágenes fijas, adecuado para imágenes en color de tonos continuos o en escala de grises. Consta de dos partes: una es una codificación sin pérdidas basada en la tecnología DPCM (predicción lineal espacial) y la otra es un algoritmo de distorsión basado en DCT (transformada de coseno discreto) y codificación de Huffman. La compresión de imagen anterior no tiene distorsión, pero la relación de compresión es muy pequeña. En la actualidad, se utiliza principalmente el último algoritmo. La imagen se pierde, pero la relación de compresión es muy grande y no se ve distorsión después de comprimirla unas 20 veces.
MJPEG se refiere a MotionJPEG, que utiliza el algoritmo JPEG para comprimir señales de video a una velocidad de 25 cuadros por segundo para completar la compresión de videos dinámicos.
El algoritmo MPEG es un algoritmo de compresión adecuado para vídeos dinámicos. No solo codifica una sola imagen, sino que también utiliza el principio de correlación en la secuencia de imágenes para eliminar la redundancia entre cuadros, mejorando así en gran medida la relación de compresión de la imagen. Por lo general, la calidad de la imagen es alta y la relación de compresión es de hasta 100 veces. La desventaja del algoritmo MPEG es que el algoritmo de compresión es complejo y difícil de implementar.
Capítulo 4 Sistema de comunicación multimedia
1. Arquitectura
La comunicación multimedia es un tipo de encuentro o comunicación entre participantes en diferentes ubicaciones geográficas.
Las señales de imagen y sonido digitales comprimidas se transmiten a través de una red de área local (LAN), una red de área amplia (WAN), una intranet, Internet o una red telefónica. La radiodifusión multiobjetivo como la televisión, la radiodifusión en streaming como grabadoras de vídeo, las teleconferencias, las videoconferencias, la telefonía IP, la videotelefonía y el fax IP son aplicaciones específicas y únicas de la tecnología de comunicación multimedia. A lo largo de los años, la Unión Internacional de Telecomunicaciones (UIT) ha desarrollado muchos estándares recomendados para sistemas de comunicación e informática multimedia para organizaciones de telecomunicaciones públicas y privadas para promover la cooperación en telecomunicaciones entre países. Entre las 26 series de estándares recomendados (series A ~ Z) de la UIT, las 7 series de estándares más estrechamente relacionadas con las comunicaciones multimedia se muestran en la Tabla 4-1. Los conjuntos de estándares técnicos básicos de los tres tipos de sistemas de comunicación multimedia se muestran en. Tabla 4-1.
Tabla 4-1 Estándares recomendados por la serie UIT
Contenido principal de los nombres de las series
Sistemas de transmisión, sistemas y redes de medios digitales de la serie G
Sistemas Audiovisuales y Multimedia Serie H
Red Digital de Servicios Integrados (RDSI) Serie I
Transmisión de televisión, programas de sonido y otras señales multimedia
Q Método de transmisión de señales de control y conmutación telefónica de la serie
Equipo terminal de servicio de información remota de la serie T
2 Función y estructura de la puerta de enlace
La puerta de enlace es una computadora potente. o estación de trabajo, responsable de la comunicación bidireccional en tiempo real entre redes de conmutación de circuitos (como redes telefónicas) y redes de conmutación de paquetes (como Internet), y de proporcionar conexiones entre redes heterogéneas. Es el puente entre las redes tradicionales de conmutación de circuitos y las redes IP modernas.
La aparición de la telefonía IP (ver "7.4 Telefonía IP") permitió realizar llamadas telefónicas a través de redes de conmutación de paquetes, desencadenando así una revolución en la industria de las telecomunicaciones. Sin embargo, la telefonía IP ha encontrado muchos obstáculos en su camino para convertirse en un servicio de telefonía convencional. Uno de los mayores problemas es la falta de conectividad entre la red de telefonía IP y la red telefónica pública conmutada. Una razón importante es que las primeras puertas de enlace restringieron la entrada de la telefonía IP a los servicios de telefonía convencionales. Por ejemplo, es difícil establecer una llamada a través de la puerta de enlace, lo que requiere el uso de números de teléfono no convencionales; la compatibilidad entre diferentes puertas de enlace dificulta el establecimiento de llamadas, la calidad del sonido es deficiente, hay eco y el tiempo de retardo es largo; Esto ha impulsado el desarrollo de puertas de enlace que permiten que los clientes IP y PSTN se comuniquen entre sí, siendo una medida aumentar las capacidades de procesamiento de la puerta de enlace. Las puertas de enlace de gama baja tienen de 1 a 6 puertos y generalmente utilizan soluciones de PC con procesadores Pentium de alta gama para proporcionar funciones de puerta de enlace como procesamiento de medios, control de llamadas y procesamiento de paquetes. Las puertas de enlace de alta gama distribuyen funciones de puerta de enlace entre varios procesadores, denominadas plataformas de integración de telefonía informática (CTI), y pueden proporcionar más de 100 puertos.
Las funciones básicas de la puerta de enlace se pueden resumir en tres tipos:
(1) Protocolo de traducción: la puerta de enlace actúa como intérprete para permitir que diferentes redes establezcan conexiones. permite que las redes PSTN y H.323 se comuniquen entre sí para configurar y borrar llamadas.
(2) Convertir formatos de información: diferentes redes utilizan diferentes métodos de codificación y la puerta de enlace convertirá la información, lo que permitirá que redes heterogéneas intercambien libremente información, como voz, televisión, etc.
(3) Transmisión de información: Responsable de transmitir información entre diferentes redes.
Los componentes principales de la puerta de enlace incluyen:
(1) La tarjeta de interfaz de red de circuito conmutado (SCN) es una tarjeta de interfaz de línea T1/E1 o PRI ISDN típica que se comunica con el SCN. La interfaz de velocidad primaria (PRI) consta de 23 canales B y un canal D de 64 kb/s, llamado 23b D, que equivale al ancho de banda de una línea T1.
(2) Tarjeta procesadora de señal digital (DSP), que realiza tareas como compresión de señal de sonido y cancelación de eco.
(3) Tarjeta de interfaz de red, utilizada para comunicarse con la red H.323. Las tarjetas de red típicas incluyen tarjetas de interfaz de red (NIC) 10/100 o su funcionalidad está integrada en la placa base.
(4) Procesador de control, que coordina todas las actividades de otros componentes de la puerta de enlace y generalmente está ubicado en la placa base del sistema.
El software principal de la puerta de enlace incluye:
(1) Software de puerta de enlace que realiza todas las funciones básicas de la puerta de enlace y funciones seleccionadas.
Por ejemplo, la plataforma de puerta de enlace H.323 realiza funciones básicas como conversión de protocolos, conversión de formatos de mensajes y transmisión de información, y admite compresión de voz, conversión de protocolos, demodulación/remodulación de fax en tiempo real y la implementación de la serie H.323. de protocolos.
(2) Software de aplicación específico de puerta de enlace que realiza funciones personalizadas, así como funciones de gestión y control.
3. Función y estructura del equipo de conferencia
El gatekeeper se utiliza para conectar clientes de videoconferencia H.323 en la red IP y es uno de los componentes clave de la videoconferencia. Muchos lo consideran el “cerebro” de las videoconferencias. Proporciona autorización y autenticación, guarda y mantiene registros de llamadas, realiza traducción de direcciones sin necesidad de recordar las direcciones IP, monitorea la red, administra el ancho de banda para limitar la cantidad de llamadas simultáneas, lo que garantiza la calidad de la videoconferencia y proporciona integración con la interfaz de los sistemas existentes. . Normalmente, las funciones del servidor de conferencias se implementan mediante software. Las funciones del equipo de conferencia se dividen en dos partes: funciones básicas y funciones opcionales.
Las funciones básicas que debe proporcionar un servidor de conferencias incluyen:
"Traducción de direcciones: convierte direcciones de alias en direcciones de transporte utilizando una tabla de traducción que se puede actualizar mediante mensajes de registro. Cuándo esta característica Esto es especialmente importante cuando el teléfono intenta llamar a una PC en una red IP, y también es importante al determinar la dirección de la puerta de enlace.
Control de admisión: mediante ARQ/ARC/ARJ (Solicitud de admisión, reconocimiento y denegación). ) mensaje para autorizar el acceso a la LAN. El estándar H323 especifica que debe haber un mensaje RAS para autorizar los servicios de red. RAS es un protocolo de registro/admisión/estado, pero no define reglas ni políticas para autorizar el acceso a la red. recursos, por lo que los proveedores de servicios El servidor debe intervenir con los métodos de autorización existentes. Además, los administradores comerciales y los proveedores de servicios pueden querer usarlo para autorizar según sus propios criterios, por ejemplo, mediante depósito, tarjeta de crédito, etc.
Control de ancho de banda: admite mensajes de ancho de banda RAS, es decir, mensajes BRQ/BCF/BRJ (solicitud, confirmación y rechazo) para implementar el control de ancho de banda. En muchos casos, cómo administrarlo depende de la política del proveedor de servicios o de la empresa. administrador, si la red o la puerta de enlace específica no está congestionada
Las solicitudes de cualquier ancho de banda deben satisfacerse bajo cualquier circunstancia
Administración de región: se utiliza para administrar todos los puntos finales H. 323 registrados y proporcionar. Corresponde al diseñador de la red determinar qué terminales pueden registrarse y en qué consiste el área geográfica o lógica (terminales gestionados por un único servidor de conferencias, gateway y unidad de control multipunto MCU p>
). Las funciones selectivas proporcionadas por el servidor de conferencias incluyen:
Modo de señalización de control de llamadas: hay dos modelos de señalización de control de llamadas en H.323: modelo de señalización de llamadas de enrutamiento de portero y modelo de señalización de llamadas de punto final directo. seleccionado según los requisitos del proveedor de acceso.
Autorización de llamada: el servidor de conferencia puede autorizar o rechazar una llamada determinada según las condiciones especificadas por el proveedor de servicio. Las condiciones pueden incluir la hora del día, programada. tipo de servicio, acceso a puertas de enlace restringidas o ancho de banda disponible, etc.
Gestión del ancho de banda: determine si hay suficiente ancho de banda para la llamada en función de la asignación de ancho de banda especificada por el proveedor del servicio.
Gestión de llamadas: proporciona gestión inteligente de llamadas. El servidor de conferencia mantiene una tabla de llamadas H.323 para indicar si el terminal llamado está ocupado y proporciona información para la función de gestión del ancho de banda
La estructura del dispositivo de conferencia
. p>El equipo de conferencia generalmente se diseña como una capa interna y externa, como se muestra en la Figura 4-8. La capa interna del equipo de conferencia se denomina capa central y consta de software que implementa la pila de protocolos H.323. y software que implementa la función de unidad de control multipunto (MCU). Algunas empresas de desarrollo de software lo llaman el componente funcional principal del equipo de conferencia H.323. La función principal de la MCU es conectar múltiples líneas de forma automática o manual e intercambiar números de TV. Capa externa del servidor de conferencias. Consta de muchas interfaces de aplicaciones que se utilizan para conectar muchos servicios existentes en la red. Software externo