Por ejemplo, el libro "Una breve historia del futuro" que leí antes no era bueno. Perdón por la puntuación alta de 8,5. Después de mirar Goodreads, descubrí que la calificación era de solo 3,69 estrellas, no tan alta como la de Douban (Figura 1). Existen grandes diferencias en la evaluación de este libro en el país y en el extranjero.
Además, en Amazon también puedes ver reseñas cortas completamente opuestas. Algunas personas piensan que se trata de una "predicción futura fiable", mientras que otros dicen que este libro es "sensacionalista y no tiene base científica" (Figura 2, Figura 3).
Por otro lado, los libros con los mismos 8,5 puntos sobre Douban, como "Nine Stories", "The Story of Wukong" y "The Joy of Life" son todos muy buenos, y Goodreads tiene Alcanzó el nivel de 4,15 estrellas. Entonces tengo una pregunta: ¿son confiables las calificaciones de libros de Douban? ¿Hay algunos libros con puntuaciones irrelevantes? ¿Cuáles son los principales factores que influyen? En vista de esto, seleccioné algunos libros diferentes de diferentes épocas y editoriales nacionales y extranjeros para hacer una comparación.
1. Resumen de datos
Libros seleccionados publicados en China entre 2001 y 2017. Limitamos las calificaciones de Douban a más de 2 semanas. Por un lado, discutimos libros convencionales con los que todos están familiarizados y, por otro lado, intentamos reducir la influencia de los trolls, etc. Total ***997 copias. Con la ayuda de la plataforma de aprendizaje automático CITIC Cloud, comparamos y mostramos las puntuaciones de los libros. El cuadro de distribución de puntuaciones es el siguiente (Figura 4):
Contiene muchos libros familiares, como "The". Asedio" y "Shawshank", "Redención", "Cien años de soledad", etc. (Imagen 5 a continuación).
Al mismo tiempo, al aplicar la plataforma de aprendizaje automático CITIC Cloud, creamos gráficos de variación y distribución de puntajes para libros novedosos publicados por otras editoriales, incluida CITIC Book Publishing House (como se muestra en la Figura 6 a continuación). . Podemos ver que el rango de calificación de CITIC Novel está por encima de 7 y la brecha de ETS se distribuye principalmente entre 1,5 y 1,75. Echemos un vistazo y analicémoslo. ¿Cuál es la diferencia en las calificaciones?
2. Diferencias en las puntuaciones
2.1 Una breve historia del futuro VS una breve historia del tiempo
Tome las puntuaciones de los dos libros anteriores (Figura 7). ) como ejemplo. Tienen la misma calificación y una gran cantidad de personas (6K, 18K), pero la proporción de 4 estrellas a 2 estrellas es muy diferente. ¿Qué quieres decir?
●Una breve historia del tiempo: Todos piensan que es bueno, por eso la calificación se centra en 4 estrellas.
●Una breve historia del futuro: Mucha gente piensa que es bueno/malo al mismo tiempo, y también hay muchas distribuciones de 2 estrellas y 4 estrellas.
En otras palabras, aunque sus puntuaciones (promedio) son las mismas, las opiniones detrás de ellas son muy diferentes y las puntuaciones son muy diferentes. Esto corresponde exactamente a la situación en la que hay dos críticas candentes completamente opuestas. en el futuro breve historia.
2.2 Cómo medir la diferencia de puntuaciones
La diferencia en la distribución de puntuaciones se puede medir mediante la varianza y el método de cálculo es el siguiente:
Eso Es decir, ¿se calcula el grado de desviación de la puntuación media? . A continuación se pueden utilizar la desviación estándar (STD) y la raíz cuadrada de la varianza. Se puede hacer un diagrama de dispersión de la desviación estándar (STD)-puntuación de berros (Figura 9). A modo de comparación, trace una línea de rango con una desviación estándar de 97.
Se puede ver que la diferencia de ETS entre una breve historia del tiempo y una breve historia del futuro es realmente grande. La desviación estándar de Breve Historia del Futuro se ubica entre los 3 primeros, lo cual es controvertido, y la Breve Historia del Tiempo es mucho menor. Entonces podremos hacernos preguntas:
¿Son estas novelas igualmente buenas/malas a pesar de tener las mismas valoraciones?
Por ejemplo, “Breve historia del tiempo” y “Breve historia del futuro” son iguales, pero ¿son igualmente bellos?
Por supuesto que no.
Como se muestra en la comparación anterior, aunque Breve historia del futuro tiene una puntuación alta, sus 4 estrellas/2 estrellas son bastante diferentes a Breve historia del tiempo. ¿Por qué? Quizás hayas oído hablar de él, puedes leerlo en los comentarios.
Normalmente siempre hablamos de la puntuación de un libro, que es sólo la puntuación media. Cuando todos estén de acuerdo, esta puntuación tendrá un gran valor de referencia. Si las puntuaciones son muy diferentes (el STD es grande), la utilidad de esta puntuación es limitada.
3. Diferencias de categoría
Para la misma categoría y diferentes editores, las calificaciones y las desviaciones estándar varían mucho. Entonces, ¿cuántas formas habrá para las calificaciones de libros en diferentes categorías del mismo editor? Seleccionamos la sección de libros de CITIC Publishing House para el análisis de datos y utilizamos K-Means para ingresar datos en una proporción de cuatro niveles de calificación. De hecho, podemos dividir las categorías en cuatro categorías representativas. Los resultados son los siguientes (Figura 10 y Figura 11).
Cabe señalar que los libros con un alto STD no son adecuados para la clasificación debido a la gran diferencia de forma.
Como se puede ver en la imagen de arriba, debajo de cada forma, también puede ver libros con ETS alta/baja, como "Todo el mundo debería comprar un seguro", "Tiempo de segunda mano", etc. En general, las puntuaciones de los libros publicados por CITIC están entre 7,6 y 8,8, y las puntuaciones de las STD son relativamente estables sin fluctuaciones particularmente grandes, por lo que no hay mucha diferencia entre categorías.
4. Diferencias en las puntuaciones de los libros populares
Hicimos una analogía entre los cambios en la opinión pública de la Editorial CITIC y los libros populares a lo largo de los años (Figura 12).
Los cambios en el número de explosiones son los siguientes (Figura 13)
Se puede ver en las Figuras 12 y 13 que los libros más populares de CITIC Publishing House a lo largo de los años son generalmente se distribuye normalmente, lo que indica que la cantidad de datos utilizados es básicamente suficiente. No existe un patrón determinado en el número de visitas en cada época. ¿Cuál es la distribución de la opinión pública del libro candente correspondiente, como se muestra en la Figura 14 a continuación?
La imagen de arriba muestra que el efecto de visualización de ETS de los libros populares de CITIC se concentra principalmente entre 1,3 y 1,6. Sacamos algunos de estos libros y los mostramos a continuación (Figura 15).
Como se puede ver en la figura anterior, las puntuaciones de los libros clásicos están altamente correlacionadas con las ETS. Cuanto mayor sea la puntuación, menor será la ETS. En otras palabras, aunque la calificación de libros es un asunto muy personal y la evaluación de los libros por parte de cada uno será diferente, con la gran cantidad de usuarios de Douban, las calificaciones son muy populares y la calificación STD de los libros clásicos sigue siendo muy pequeña. En otras palabras, no existe una correlación positiva entre las calificaciones de los libros, el tiempo de publicación y la popularidad.
5. ¿Cuál es el libro con mayor diferencia en reseñas?
Como se puede ver en la figura anterior, el STD de cada puntuación es alto o bajo, así que echemos un vistazo al valor crítico máximo de STD. De la muestra, seleccionamos los libros con las mayores diferencias en ETS, como se muestra en la siguiente figura:
Las razones de las grandes diferencias en las evaluaciones pueden provenir de muchos aspectos, que no se discutirán aquí.
6. ¿Es correcto buscar libros con contenido y valoraciones similares?
Si ha leído libros como "La soledad del maestro de la Universidad de Lanzhou", ¿aún desea seguir buscando libros con contenido, calificaciones y calificaciones comparables? El propio Douban tiene un mecanismo de recomendación, como se muestra en la siguiente figura:
Podemos ver que algunos de los libros recomendados por Douban son bastante diferentes de los libros de destino en términos de calificaciones, puntajes y contenido. Para verificar la similitud entre calificaciones y puntajes, realizamos modelos de similitud en los libros de Douban en la plataforma de aprendizaje automático CITIC Cloud y, a través del análisis de word2vec, encontramos los libros que se acercan más al libro objetivo en términos de contenido, calificaciones y montones.
Por ejemplo, si ingresamos a Iron Man en Silicon Valley, modelando y analizando las etiquetas de datos de Iron Man en Silicon Valley, podemos encontrar la nube de palabras más cercana al contenido de este libro, como se muestra en la siguiente figura (Figura 21).
Encontramos que las reseñas de estos dos libros de Douban son muy similares.
Al recomendar, al buscar Shoe Dog, la primera correlación es que Iron Man de Silicon Valley está en la cima, y la recomendación de Douban es consistente con la del aprendizaje automático.
Resumen
Como todos sabemos, se muestra la puntuación promedio de los libros de Douban y también podemos ver la distribución de las puntuaciones. En la mayoría de los casos, este puntaje promedio es válido porque las evaluaciones de todos son relativamente cercanas (el STD es pequeño), pero pocas personas prestan atención a la diferencia en los puntajes (es decir, el tamaño del STD).
Cuando vemos un libro con una ETS grande y la puntuación promedio no coincide con nuestros sentimientos, nos sentiremos confundidos y pensaremos que la puntuación de Douban no es confiable. De hecho, la recomendación de libros de Douban recomienda los libros que más se acercan al libro de destino mediante una comparación exhaustiva de las etiquetas de contenido, los componentes de calificación y los rangos del libro de destino. A juzgar por las observaciones actuales de los datos de muestra de medición del aprendizaje automático, esta puntuación es relativamente precisa.
Finalmente, si falta algo o no está claro en el análisis, puedes señalarlo ~
Amway: CITIC Machine Learning Platform, los amigos interesados pueden registrarse y probarlo.