Resumen:
Presenta el significado de la minería de datos y su diferencia con el análisis de datos tradicional, y analiza su aplicación en el campo. de aplicación de la investigación de la información. ?
Palabras clave: minería de datos;
Ciencia de la información;
Recuperación de información;
¿Departamento de inteligencia?
Número de clasificación de la Biblioteca de China: G350.7 Código de identificación del documento: a Número de documento: 1007-6921(2009)07-0303-02.
1 ¿Preguntas en el campo de las ciencias de la información?
1.1 ¿Cómo cuantificar la información sobre la globalización de recursos?
Se puede decir que Internet es la base de datos de información más grande del mundo, contando con diversos tipos de recursos, entre ellos sitios web educativos, bibliotecas virtuales, bibliotecas virtuales de software, etc. , brindando comodidad y posibilidad de recopilar la información requerida. Pero al mismo tiempo, el desorden de la información de la red hace que la tasa de utilización sea relativamente baja. Además, la generación de datos masivos en la red dificulta la extracción de información útil. ?
1.2 ¿Los datos están desestructurados?
Para una gran cantidad de datos no estructurados, como vídeo, audio, animación, etc., es difícil buscar este tipo de datos con los métodos de recuperación existentes. Sólo la tecnología de minería de datos puede recuperar, procesar y analizar de manera eficiente cantidades masivas de datos estructurados o no estructurados. ?
1.3 ¿Necesidades de inteligencia personalizada?
La personalización de las necesidades hace que el modelo tradicional de servicios de información uno a muchos sea cada vez más inadecuado para satisfacer las exigencias de los tiempos. Diferentes empresas tienen diferentes demandas de servicios de inteligencia competitiva y las instituciones de investigación científica requieren servicios de búsqueda de novedades científicas y tecnológicas en diferentes campos. Estas necesidades de servicios personalizados sólo pueden lograrse estableciendo una plataforma de servicios uno a uno a través de tecnología de minería de datos. ?
En resumen, con la rápida expansión de la información, cada vez hay más medios y formas de obtener información. Las personas pueden obtener cada vez más información, pero la proporción de información útil es cada vez menor. . Por lo tanto, cómo encontrar información útil en el vasto océano de información ha atraído cada vez más atención. Es en este contexto que surgió la tecnología de extracción de datos. ?
2 ¿Introducción a la tecnología de minería de datos?
2.1 ¿Qué significa minería de datos?
En pocas palabras, la minería de datos es el proceso de utilizar varias herramientas de análisis para crear modelos de análisis de datos y extraer conocimientos interesantes de grandes bases de datos (o almacenes de datos). El conocimiento extraído generalmente puede expresarse en forma de conceptos, reglas, leyes, modelos, etc. La minería de datos, también conocida como descubrimiento de conocimiento en bases de datos, surgió a principios de la década de 1980 y es producto de la combinación de inteligencia artificial, aprendizaje automático y tecnología de bases de datos.
Es el proceso de extraer información oculta, desconocida, pero potencialmente útil, de una gran cantidad de datos brutos incompletos, ruidosos, borrosos y aleatorios. La tecnología de minería de datos está orientada a las aplicaciones. No solo está orientado a una simple recuperación y consulta de bases de datos específicas, sino que también requiere estadísticas, análisis y razonamiento en profundidad sobre estos datos, explorando la relación entre los datos y completando la transformación de datos comerciales a información para la toma de decisiones. La tecnología de minería de datos mejora la aplicación de datos por parte de las personas, desde consultas terminales de bajo nivel hasta brindar apoyo a los tomadores de decisiones.
?
2.2 ¿Cuál es la diferencia entre minería de datos y análisis de datos tradicional?
En comparación con el análisis de datos tradicional, la minería de datos es la extracción de información sin suposiciones explícitas. El conocimiento descubierto es a menudo desconocido e impredecible, pero útil para las personas.
El análisis de datos tradicional analiza los datos bajo la premisa de que las personas hacen algunas suposiciones y los resultados suelen ser predecibles. Por lo tanto, el análisis de datos tradicional es solo un análisis de datos superficial, mientras que la minería de datos es una minería de datos profunda. ?
3 ¿Aplicación de la minería de datos en el campo de las ciencias de la información?
3.1 ¿Recopilación de inteligencia?
La minería de datos amplía los métodos de recogida de información de la búsqueda manual (recuperación, compra, intercambio, etc.). ) a la máquina para agarrarlo automáticamente. En la minería de datos, la tecnología de los motores de búsqueda proporciona una herramienta muy eficaz para la recopilación de información a partir de recursos de información en línea.
La minería web no sólo puede recopilar los materiales de información necesarios, sino que también proporciona el uso de diversos recursos de información y temas de actualidad. Al utilizar la tecnología de minería de datos, los datos recopilados se pueden limpiar automáticamente y volverlos redundantes, lo que no solo reduce la carga de trabajo, sino que también acorta el tiempo desde la información original hasta los productos de información. ?
3.2 ¿Procesamiento de inteligencia?
3.2.1 amplía los objetos de procesamiento de la información. La tecnología de minería de datos hace que el procesamiento de información ya no se limite al procesamiento de datos estructurados e información de un solo carácter, sino que se extienda al procesamiento de información visual, como materiales audiovisuales e información de video, y se extienda desde el procesamiento de información estructurada única hasta el procesamiento heterogéneo y semi- información estructurada. Incluso procesamiento de información de texto no estructurado. ?
3.2.2 Innovación en tecnologías de procesamiento de la información. La minería de datos proporciona métodos de análisis y procesamiento más científicos y coloridos. Por ejemplo, en clasificación de información, análisis inductivo de árboles de decisión, clasificación bayesiana, clasificación de propagación, clasificación basada en asociaciones, etc. , rompiendo completamente las ideas de clasificación anteriores basadas en tablas de clasificación, permitiendo que diferentes informaciones utilicen diferentes métodos de clasificación, haciendo que los resultados de la clasificación sean más específicos y científicos;
En términos de procesamiento de agrupación de información, para diferentes tipos de información Los métodos de agrupamiento de datos (agrupamiento por particiones, agrupamiento jerárquico, basado en densidad, basado en red, basado en modelos, etc.) permiten recopilar información igual o similar de manera más confiable. Más importante aún, la compleja tecnología de extracción de datos hace que el procesamiento inteligente sea más adecuado para las necesidades de procesamiento de información diversa (información geoespacial, información de series temporales, datos multimedia, texto e información web, etc.). )En el futuro, el procesamiento de información ya no estará restringido por los medios de comunicación. ?
3.3 ¿Servicio de inteligencia?
3.3.1 Ampliar el alcance de los servicios de información e incrementar los elementos de servicio. El servicio tradicional de selección de temas basado en la recuperación manual se actualizará a un modelo de servicio que extrae automáticamente una amplia gama de recursos y bases de datos en línea y envía activamente información o conocimientos a los usuarios a través de Internet;
Servicio de búsqueda de información novedosa Ya no se limita a varias bases de datos grandes, sino que se extiende a todos los recursos de la red, accede a varios portales empresariales y proporciona análisis completos e informes novedosos. ?
3.3.2 sublima el concepto de servicio y mejora enormemente la iniciativa y la calidad del servicio. Debido a la aplicación de la tecnología de minería de datos, el enfoque de los servicios de información se desplazará hacia los servicios de apoyo a la toma de decisiones en todos los niveles, y para los servicios científicos y tecnológicos, más personal científico y tecnológico utilizará herramientas de minería para servicios de "autoservicio". ?
3.3.3 Se han mejorado el contenido y la forma de los servicios de información.
Debido a que el propósito de la minería de datos es descubrir conocimiento a partir de cantidades masivas de información, el departamento de inteligencia proporciona a los usuarios no solo información, sino también una gran cantidad de conocimiento para resolver problemas. La forma de proporcionar información también puede ser entrelazar los grupos de datos extraídos en informes o dibujarlos en gráficos intuitivos para facilitar el análisis y la toma de decisiones de los usuarios. ?
3.4 ¿Análisis de inteligencia?
La tecnología de análisis de reglas de asociación en la minería de datos se convertirá en un complemento del análisis de inteligencia tradicional. Porque, a través del análisis de correlación de datos, se pueden descubrir eventos relevantes ocultos en los datos. Estos eventos no son fáciles de descubrir e incluso van en contra de la conciencia humana. Por ejemplo, en la relación de producto en una tienda, la gente nunca pensaría que "cuchara" y "revista" tendrían una relación de compra, pero sí encontraron esa relación en la extracción de asociaciones de registros de datos en un supermercado de Estados Unidos. , y esto es difícil de encontrar utilizando los métodos tradicionales de análisis de inteligencia. Otra tecnología de análisis de datos ampliamente utilizada en la minería de datos es el procesamiento analítico en línea, que puede analizar y procesar datos multidimensionales, observar y analizar desde múltiples ángulos y procesar múltiples aspectos de los datos al mismo tiempo. En resumen, la tecnología de análisis de datos en la minería de datos fortalecerá en gran medida la capacidad del análisis de la información, de modo que el análisis de la información pueda recibir soporte multifacético y la tecnología de análisis de la información será más completa y colorida. ?
3.5 ¿Tecnología de recuperación de información?
Para bases de datos estructuradas o datos basados en texto, las tecnologías de recuperación tradicionales son en su mayoría tecnología de recuperación de lógica booleana o de recuperación de texto completo, y carecen de métodos de recuperación para otros datos multimedia. La tecnología de recuperación de datos complejos en la minería de datos enriquecerá enormemente los medios técnicos de recuperación de información, como la tecnología de reconocimiento de imágenes, la tecnología de voz, la tecnología de recuperación basada en similitudes y la tecnología de recuperación relacionada para datos de series temporales.
Lo que es seguro es que la tecnología de recuperación multimedia en la minería de datos se puede utilizar para la recuperación de información. La tecnología de recuperación de información realizará la recuperación entre medios y marcará el comienzo de un gran avance. ?
4 ¿Cuál es el impacto de la minería de datos en la ciencia de la información?
La minería de datos no solo promueve el desarrollo de la ciencia de la información como medio técnico, sino que también tiene un impacto amplio y profundo en el concepto y el campo de investigación de la ciencia de la información. ?
4.1 ¿Mejora del concepto de inteligencia?
La aplicación de la minería de datos en el campo de la ciencia de la información hace que la ciencia de la información preste más atención a la practicidad y el valor de uso. La misión de la ciencia de la información debe basarse en la información, teniendo como cuerpo principal la difusión, utilización y función del conocimiento. A través de la madurez de la tecnología, perfeccionaremos el concepto definitivo de servir a las personas. Por ejemplo, en los servicios de inteligencia competitiva, la inteligencia competitiva consiste en satisfacer las necesidades de las empresas de obtener ventajas en la competencia del mercado y recopilar información sobre la tecnología, el mercado, los clientes, las ventas y otra información de los competidores. , y convertida en inteligencia competitiva después del análisis y procesamiento. ?
4.2 ¿Extensión del campo intelectual?
La minería de datos es un medio técnico importante y su aplicación amplía el proceso de RD y los escenarios de aplicación de la ciencia de la información.
La minería de datos también es un campo de investigación interdisciplinario emergente. En este campo se han recopilado resultados del aprendizaje automático, el reconocimiento de patrones, las bases de datos, la estadística, la inteligencia artificial y los sistemas de información de gestión. Las inversiones diversificadas han permitido que esta tecnología florezca y empiece a tomar forma. ?
4.3 ¿Expansión del trabajo de inteligencia?
La ciencia de la información se originó a partir de la bibliotecología y la literatura, y ahora se ha convertido en una disciplina interdisciplinaria de ciencias naturales, ciencias técnicas y ciencias sociales. La combinación perfecta de tecnología de minería de datos y ciencias de la información no solo tiene necesidades académicas, sino que también tiene enormes perspectivas de aplicación comercial. En otras palabras, la investigación en el campo de las ciencias de la información se orienta principalmente a la producción y la gestión, y el foco de la investigación sigue siendo la aplicación de beneficios económicos visibles. ?
5 ¿Nuevos retos que trae la tecnología de minería de datos?
En la actualidad, la aplicación de la tecnología de minería de datos en las ciencias de la información se ha convertido en uno de los puntos calientes de esta disciplina, pero todavía quedan muchos problemas por resolver. Especialmente en aplicaciones prácticas, como la complejidad de los datos que requieren un mayor conocimiento profesional, la enorme base de datos plantea mayores requisitos en cuanto a la eficiencia de los algoritmos, la mejora de las funciones de interacción persona-computadora en la minería de datos y la protección de la seguridad de los datos internos y personales. datos. Creemos firmemente que con el avance continuo de la tecnología de bases de datos, la tecnología de inteligencia artificial y disciplinas relacionadas, los problemas anteriores se resolverán gradualmente y la tecnología de extracción de datos servirá mejor a la investigación de las ciencias de la información y a la sociedad. ?
¿[Referencias]?
【1】Shi Bing, Zheng Yanfeng. Tecnología de minería de datos en la recuperación de información [J]. Revista de la Sociedad China de Información Científica y Tecnológica, 1999, (3).
[2]Zhao Danqun. Minería de datos: principios, métodos y aplicaciones [J] Biblioteca moderna y tecnología de la información, 2000 (6).
[3]Puqunying. Modelo de sistema de inteligencia competitiva basado en minería de datos[J]. Tecnología de la información, 2005, (1).
Miao Jie, Ni Bo. Investigación sobre la aplicación de la minería de datos en sistemas integrados de inteligencia competitiva [J]. Revista de la Sociedad China de Información Científica y Técnica, 200 1, (4).