Algunas personas se preguntarán: ¿podemos empezar sin estándares? Por supuesto, en algunos proyectos temporales a corto plazo, para lograr resultados rápidos y verlos lo antes posible, no es necesario hacer cumplir las especificaciones, lo que afecta la eficiencia. Pero desde la perspectiva del profesionalismo personal, incluso si el proyecto no está estandarizado, debe haber algunos buenos hábitos establecidos, como sangría, saltos de línea, líneas en blanco, comentarios, etc. ...
Puedes encontrar muchos artículos relacionados buscando en línea, pero están muy fragmentados. Este artículo intenta explicar varias especificaciones de almacén, de modo que todos puedan no solo comprender el propósito, el contenido y los límites de varias especificaciones de almacén, sino también presentar cómo se implementan las especificaciones relevantes en las empresas.
Todos pueden crear y mejorar su propio sistema estándar de almacén de inventario en función de la situación real de su propia empresa. Entonces podremos comunicarnos más y progresar juntos.
Como dice el refrán, si no hay reglas, no habrá círculo, y si no hay normas, será un desastre. Personalmente creo que las normas están para resolver problemas de eficiencia y coordinación en las operaciones del grupo y son una fuerte garantía para la calidad de la entrega final.
¿Alguna vez te has encontrado con problemas similares en el trabajo?
Debido a los problemas anteriores, la eficiencia general del desarrollo, la calidad de la producción, la felicidad laboral y los costos de mantenimiento del equipo del almacén están empeorando cada vez más. Con la rotación de personal, a menudo son los empleados los que trabajan duro y son leales a la empresa.
Creo que las personas que han desarrollado datos tendrán más o menos los problemas mencionados anteriormente. Creo que la raíz del problema suele radicar en la falta de normas o en su insuficiente implementación. Para satisfacer las necesidades del lado empresarial a tiempo, la gente a veces toma atajos. Esto es comprensible, pero la deuda técnica debe pagarse lo antes posible y la organización no debe ser dura con los empleados. La culpa debe recaer en los dirigentes. Si el líder presta atención a todos, todos le prestarán atención. Si los líderes no prestan atención, ¿no están simplemente dejando que las cosas sigan su propio camino?
El almacén de datos es el producto intangible de nuestros ingenieros de datos. Las especificaciones de datos son el "lenguaje" de la construcción del sistema de almacenamiento de datos, el comandante y traductor del uso de los datos y el protector de la calidad de los datos. Para el desarrollo saludable y a largo plazo del sistema de datos, la gestión del inventario del almacén debe transformarse gradualmente de la gobernanza humana a la institucionalización, la estandarización y las herramientas.
De 0 a 1, de nada a algo, este vínculo debe tener un líder o arquitecto, considerar plenamente la situación real de la empresa, hacer referencia a los estándares de la industria o normas establecidas y realizar una formulación integral y unificada. .
Las especificaciones también se pueden dividir y entregar a los desarrolladores principales de cada parte para una integración unificada por parte del líder o arquitecto. Por ejemplo, en nuestro equipo anterior, los diseñadores de modelos eran responsables de las especificaciones de diseño del modelo, los ingenieros de ETL eran responsables de las especificaciones de desarrollo de ETL, los desarrolladores de BI formulaban especificaciones de desarrollo front-end y las especificaciones de implementación y lanzamiento adoptaban directamente los proyectos existentes.
En términos generales, el primer borrador debe intentar garantizar la integridad de la especificación y la compatibilidad entre varias partes.
Una vez completado el primer borrador, es inevitable que haya algunos errores. En este momento, es mejor que un líder tome la iniciativa y organice a algunos miembros principales (no demasiados, sólo tres o cinco). Demasiada gente puede generar fácilmente confusión, dificultades en la toma de decisiones y que nadie presente ideas, lo que lleva a discusiones centralizadas entre los líderes. ) para perfeccionar los detalles y corregir las deficiencias del primer borrador.
Mucha gente * * * tiene especificaciones perfectas y, en teoría, no habrá grandes problemas.
Una vez finalizada, la especificación está lista para su implementación general y distribución a todos los miembros del equipo.
Para asegurar la implementación de las especificaciones, además de atraer la atención de todos los empleados a través de los dos puntos anteriores, también se necesitan diversas garantías en organización, sistema y proceso.
A estas alturas, ¿ves el problema?
La implementación y supervisión de las normas, como se mencionó anteriormente, dependen más del proceso del sistema y de la conciencia de las personas relevantes. El proceso del sistema depende de las personas. Esto traerá los siguientes problemas:
Si las condiciones lo permiten, es mejor lanzar las herramientas correspondientes para fortalecer la supervisión.
Por ejemplo, tenemos metadatos del sistema de indicadores, metadatos de base de datos raíz, metadatos de creación de tablas, metadatos de procesos ETL, etc.
Entonces, ¿es posible desarrollar algunos informes u otras páginas para ayudar a las personas a verificar a través de la interfaz de usuario, o supervisar verificando metadatos (como si la anotación está vacía, si hay un campo o la raíz? del nombre de la tabla en la biblioteca raíz, si hay indicadores utilizados por tablas o páginas en el sistema de índice, si hay bucles cerrados o nodos aislados en la familia de datos).
Jaja, habiendo dicho tanto, ¿les resultará familiar a los lectores que hayan estudiado la gobernanza de datos? Todo esto debe considerarse a partir de la construcción de algunos almacenes. La mejor gestión radica en la prevención de enfermedades.
El lanzamiento debería estar bien en general, pero es posible que los detalles no estén bien pensados. Cuando surjan problemas durante las fases de presentación e implementación, las especificaciones deben ajustarse de acuerdo con la situación real. Sólo después de haber sido probados en la práctica podrán volverse más perfectos. Creo que después de un período de práctica continua, las normas se convertirán en parte de la cultura organizacional, reduciendo así los costos de comunicación, mejorando la eficiencia del desarrollo, asegurando la calidad de la entrega y logrando una situación beneficiosa para el equipo y los individuos.
Para que todos comprendan la imagen completa de las especificaciones del almacén, nos hemos esforzado mucho en organizar las categorías anteriores. Todos son bienvenidos a promocionar la aplicación. Dado que esto es solo una opinión familiar, si tiene opiniones diferentes, una mejor solución o algo que agregar, agrégueme en WeChat y aprenderemos juntos.
Aquí, divido las especificaciones del inventario en cuatro categorías: especificaciones de diseño, especificaciones de proceso, especificaciones de gestión de calidad y especificaciones de seguridad.
(Esto se presentará en detalle en el próximo capítulo: ETL)
(Esto se presentará en detalle en el próximo capítulo: Aplicación)
Desde Las especificaciones de diseño. Las especificaciones de varios almacenes se elaboran en los cuatro aspectos de especificación del proceso, control de calidad y seguridad de los datos. Debe cubrir todos los aspectos de las especificaciones del almacén. Si hay alguna omisión o mejores métodos de clasificación, agrégueme en WeChat para obtener más detalles.
La intención original al escribir este artículo es encontrar un método de clasificación razonable y enumerar exhaustivamente las especificaciones de los datos para que todos puedan comprender el panorama completo. Pero en la implementación real, es posible que no se use tanto. No existe lo mejor, sólo lo más adecuado. Debe seleccionar el subconjunto que debe implementarse según el escenario real.
Entre las diversas empresas y los muchos proyectos que he experimentado, ninguno ha utilizado por completo todas las especificaciones anteriores. Las empresas de big data de Internet utilizan menos especificaciones y su enfoque es diferente al de proyectos de almacén tradicionales anteriores. Las empresas de big data pueden prestar más atención a la seguridad de los datos, las herramientas, etc. Debido al gen de Internet y los bajos requisitos en cuanto a calidad y modelo de datos. Los almacenes de datos tradicionales tienen requisitos muy altos para el modelado y la calidad de los datos (el director financiero del Partido A le dedujo un dólar a uno de mis colegas y verificó los datos durante todo un día ~). No se menciona mucho la seguridad de los datos en el entorno de la intranet. Además, puede deberse al trabajo del proyecto. Se pone muy poco énfasis en las herramientas, la gestión depende básicamente de las personas y los metadatos dependen básicamente de los documentos.
El diseño del sistema es un sistema de indicadores
Cómo construir un almacén de datos
Modelado dimensional de un almacén de datos
Exploración de OneData Construction Road: construcción de múltiples almacenes para operaciones de cajero SaaS
¿Cómo se implementa la tecnología central ID-Mapping en One ID?
El camino hacia el servicio de datos musicales en la nube NetEase
Práctica de modelado dimensional del almacén de datos musicales en la nube NetEase: diseño de modelos