En una semana, OpenAI, la startup estadounidense que desarrolló ChatGPT, Microsoft, el gigante tecnológico que invirtió fuertemente en OpenAI, y Baidu, la empresa líder en Internet a nivel nacional, publicaron los últimos avances en el campo LLM. Esto ha vuelto a despertar la atención mundial en este campo.
El 14 de marzo, hora local, OpenAI lanzó la última versión de su modelo de lenguaje a gran escala: GPT-4. En comparación con GPT-3.5, la calidad y la tecnología de preguntas y respuestas han mejorado significativamente.
En la tarde del 16 de marzo, Baidu lanzó la prueba Wenxinyiyan de una nueva generación de grandes modelos de lenguaje y productos de inteligencia artificial generativa, convirtiéndose en la primera empresa china en unirse a la competencia en esta vía.
En la conferencia de prensa, Robin Li, fundador, presidente y director ejecutivo de Baidu, demostró los cinco usos principales de Wen Xinyiyan en la creación literaria, redacción comercial, cálculos matemáticos, comprensión china y generación multimodal a través de una escena de preguntas y respuestas. Unas horas más tarde, Microsoft anunció que conectaría GPT-4 a todo el depósito de Office, con un nuevo nombre de "copia de Microsoft 365".
Como indica el artículo publicado por Finance E Law el 17 de febrero (respuesta exclusiva de OpenAI | ¿Por qué | ChatGPT no está abierto a todos los usuarios nacionales para registrarse?), los números de teléfonos móviles en China continental y Hong Kong no se pueden registrar usando cuentas ChatGPT. Además, aunque la interfaz de programación de aplicaciones (API) de OpenAI está abierta a 161 países y regiones, no incluye China continental ni Hong Kong, China.
Por un lado, la industria está generalmente preocupada por quién será la próxima ola de tecnología en la abrumadora ola de AIGC (inteligencia artificial generativa). Por otro lado, durante este delicado período de competencia tecnológica entre China y Estados Unidos, todas las partes también están prestando atención a las repercusiones causadas por el primer movimiento de Baidu y a cómo deberían responder las empresas chinas.
01 "¿Estás realmente listo?" El 16 de marzo, Robin Li pronunció un discurso vestido con una camisa blanca y zapatillas de deporte. Al principio, enfrenté el problema de frente. "Muchos amigos me han preguntado recientemente, ¿por qué hoy? ¿Estás realmente listo?"
La respuesta de Robin Li es que, aunque Baidu ha invertido más de diez años en investigación de IA y se ha preparado completamente para el lanzamiento de Wen Xinyiyan, no se puede decir que esté completamente listo porque el umbral de prueba de referencia de Wen Xinyiyan para ChatGPT e incluso GPT-4 son muy altos y hay "muchas imperfecciones". Sin embargo, enfatizó que "una vez que tengamos retroalimentación humana real, Wen Xinyiyan logrará grandes avances".
Robin Li explicó que la razón para elegir lanzar el mismo día fue porque había demanda del mercado: los clientes y socios querían utilizar los modelos de lenguaje grande más recientes y avanzados antes.
¿Cómo entender lo que dijo Robin Li: "El umbral de prueba de referencia de GPT-4 es muy alto"?
El 14 de marzo, hora local, OpenAI lanzó la última versión de su modelo de lenguaje a gran escala: GPT-4. Vale la pena señalar que GPT-4 es un modelo multimodal a gran escala, es decir, puede aceptar entradas de tipo imagen y texto. GPT-3.5 solo puede aceptar entrada de texto.
En el vídeo de demostración, el presidente y cofundador de OpenAI, Greg Brockman, dibuja un boceto de un sitio web con lápiz y papel e importa la imagen a GPT-4. Después de solo 1 o 2 segundos, GPT No. 4 generó el código de la página web y creó un sitio web muy similar al boceto. Según datos experimentales publicados por OpenAI, el modelo GPT-4 ha logrado grandes avances en comparación con la generación anterior GPT-3.5 y ha superado el nivel de la mayoría de los humanos en muchas pruebas profesionales.
Pan Helin, codirector del Centro de Investigación de Economía Digital e Innovación Financiera de la Escuela Internacional de Negocios de la Universidad de Zhejiang, cree que Wen Xinyiyan debe estar completamente abierto a los usuarios en el futuro.
Ya sea a través de la API del extremo B o abierta directamente a los usuarios del extremo C, la experiencia y la reputación del usuario son la última palabra. Actualmente, ChatGPT no está abierto a usuarios en China. En el mercado interno, Baidu tendrá la primera ventaja.
Zhang Yi, director ejecutivo y analista jefe de iiMedia Consulting, que ha evaluado los productos OpenAI y Baidu, dijo que los modelos de la serie GPT, incluidos GPT-4 y Wen Xinyiyan, son esencialmente el mismo tipo de producto. , pero sus respectivas áreas de cobertura de datos y longitudes de acumulación del modelo de datos son diferentes. A corto plazo, el tiempo de preparación del producto de OpenAI es relativamente suficiente y su inteligencia está temporalmente por delante. Pero para Wen Xinyiyan, también es extraordinario desarrollar un producto de este tipo en tan poco tiempo.
Al mismo tiempo, Zhang Yi también tiene más confianza en que Baidu fabricará mejores productos. Su razón es que China tendrá más ventajas en términos de reservas de talento para inteligencia artificial, big data y grandes modelos.
Chen Duan, director del Centro de Investigación de Desarrollo, Innovación e Integración de la Economía Digital de la Universidad Central de Finanzas y Economía, cree que, en comparación con los competidores extranjeros, la mayor ventaja de Baidu es que ha construido un foso de entendimiento. en lengua y cultura.
Como producto modelo de lenguaje a gran escala desarrollado por una empresa china, la capacidad de comprensión del chino de Wen Xinyiyan ha atraído mucha atención. La razón importante es que muchos comentaristas creen que las capacidades de preguntas y respuestas en chino de ChatGPT no son tan buenas como las del inglés.
Robin Li dijo que, como gran modelo de lenguaje arraigado en el mercado chino, Wenxinyiyan tiene las capacidades de procesamiento de lenguaje natural más avanzadas en el campo chino. En la exposición in situ, Wen Xinyiyan explicó correctamente el significado del modismo "El papel de Luoyang es caro" y la teoría económica correspondiente, y también escribió un poema acróstico utilizando "El papel de Luoyang es caro".
Robin Li dijo que los datos de capacitación de Wen Xinyiyan incluyen: billones de datos de páginas web, miles de millones de datos de búsqueda y datos de imágenes, decenas de miles de millones de datos de llamadas de voz diarias y 550 mil millones de conocimientos fácticos Map, lo que hace que Baidu Único en el procesamiento del idioma chino.
Los expertos entrevistados también señalaron que debido a la particularidad de los chinos, es más difícil para las empresas chinas desarrollar modelos a gran escala, pero si logran abrirse paso, tendrán mayores ventajas en el suministro local. servicios.
Ding, profesor de inteligencia artificial y análisis empresarial en la Lyon Business School de Francia, señaló recientemente a los medios que el entrenamiento del modelo de diálogo lingüístico requiere máquinas para comprender las palabras, y el inglés es un poco más fácil que el chino. Ding explicó que la mayoría de los chinos procesados por la tecnología de inteligencia artificial de China son jeroglíficos, mientras que el inglés es explicativo y no particularmente rico en texto.
Además, Lin, profesor asistente en el Centro de Ciencias de la Computación John Hopecroft de la Universidad Jiao Tong de Shanghai, cree que en el futuro, los grandes modelos de lenguaje se desarrollarán en una dirección multimodal e interactiva, integrando aún más la visión. , Habla y Tecnología de refuerzo en el ámbito del aprendizaje. Robin Li también dijo: "El transporte multimodal es una tendencia obvia de desarrollo de la inteligencia artificial generativa. En el futuro, con la mejora del gran modelo unificado multimodal de Baidu, las capacidades de generación multimodal de Wen Xinyiyan seguirán mejorando". >
En generación multimodal, Robin Li demostró la capacidad de Wen Xin Yi Yan para generar texto, imágenes, audio y video. Wen Xinyiyan leyó un dialecto de Sichuan en el lugar e hizo un vídeo basado en este texto. Sin embargo, Robin Li reveló que los costos de producción de video de Wen Xinyiyan son altos y no están abiertos a todos los usuarios en esta etapa, pero se accederá a ellos gradualmente en el futuro.
Robin Li dijo que los datos de capacitación de Wen Xinyiyan incluyen: billones de datos de páginas web, miles de millones de datos de búsqueda y datos de imágenes, decenas de miles de millones de datos de llamadas de voz diarias y 550 mil millones de conocimientos fácticos Map, lo que hace que Baidu Único en el procesamiento del idioma chino.
Los expertos entrevistados también señalaron que debido a la particularidad de los chinos, es más difícil para las empresas chinas desarrollar modelos a gran escala, pero si logran abrirse paso, tendrán mayores ventajas en el suministro local. servicios.
Ding, profesor de inteligencia artificial y análisis empresarial en la Lyon Business School de Francia, señaló recientemente a los medios que el entrenamiento del modelo de diálogo lingüístico requiere máquinas para comprender las palabras, y el inglés es un poco más fácil que el chino. Ding explicó que la mayoría de los chinos procesados por la tecnología de inteligencia artificial de China son jeroglíficos, mientras que el inglés es explicativo y no particularmente rico en texto.
Además, Lin, profesor asistente en el Centro de Ciencias de la Computación John Hopecroft de la Universidad Jiao Tong de Shanghai, cree que en el futuro, los grandes modelos de lenguaje se desarrollarán en una dirección multimodal e interactiva, integrando aún más la visión. , Habla y Tecnología de refuerzo en el ámbito del aprendizaje. Robin Li también dijo: "El transporte multimodal es una tendencia obvia de desarrollo de la inteligencia artificial generativa. En el futuro, con la mejora del gran modelo unificado multimodal de Baidu, las capacidades de generación multimodal de Wen Xinyiyan seguirán mejorando". >
En generación multimodal, Robin Li demostró la capacidad de Wen Xin Yi Yan para generar texto, imágenes, audio y video. Wen Xinyiyan leyó un dialecto de Sichuan en el lugar e hizo un vídeo basado en este texto. Sin embargo, Robin Li reveló que los costos de producción de video de Wen Xinyiyan son altos y no están abiertos a todos los usuarios en esta etapa, pero se accederá a ellos gradualmente en el futuro.
Antes y después de la conferencia de prensa, el precio de las acciones de Baidu experimentó altibajos. El 16 de marzo, el precio intradiario de las acciones de Baidu en Hong Kong se expandió en más de 10 a 120,1 dólares de Hong Kong. Al cierre, el precio de las acciones de Baidu cayó 6,36 puntos a 125,1 dólares de Hong Kong. Sin embargo, el precio de las acciones de Baidu tiene un fuerte impulso en el mercado de valores de Estados Unidos. El mismo día, las acciones estadounidenses de Baidu abrieron a la baja y subieron, con una amplitud de más de 7. El precio de cierre fue de 138,16 dólares estadounidenses, un aumento del 3,8%. El 17 de marzo, las acciones de Baidu Hong Kong tuvieron un buen desempeño, con un aumento intradía de más del 15%. Al cierre del día, el precio de las acciones de Baidu en Hong Kong subió 13,67 puntos a 142,2 dólares de Hong Kong.
Una hora después de que Wen Xinyiyan anunciara que abriría la prueba de invitación, más de 30.000 usuarios corporativos hicieron fila para solicitar la prueba del servicio de llamadas API de Wenxinyiyan Enterprise Edition. La página web para solicitar la prueba del producto fue bloqueada. Se ha reducido muchas veces y el tráfico del sitio web oficial y de Baidu AI Cloud se ha disparado cien veces.
La popularidad de Wen Xinyiyan en el mercado sigue aumentando y el mercado de capitales también se ha revaluado. Zhang Yi cree que esto también representa las "expectativas, preocupaciones y esperanzas" del público por los grandes modelos chinos/inteligencia artificial generativa.
Nadie puede perderse la revolución tecnológica. De hecho, "¿Estás realmente listo?" no solo está dirigido a Baidu, sino también a una pregunta pública común desde esta ronda de locura por "ChatGPT".
Robin Li observó que a partir de 2021, la tecnología de inteligencia artificial comenzará a transformarse de "discriminación" a "generación".
Li Kaifu, presidente y director ejecutivo de Sinovation Ventures, dijo en una reunión de intercambio de tendencias el 14 de marzo que la primera aplicación fenomenal en la era AI 2.0 es AIGC representada por GPT-4, también conocido como For. AI (IA generativa) dijo que AI2.0 es una revolución que no se puede perder. Será una gran oportunidad de plataforma, diez veces más grande que Internet móvil. También dijo que AI 2.0 es también la primera en China en este campo. de IA. Oportunidades para la competencia de plataformas.
Los expertos entrevistados generalmente creen que las empresas de IA de todo el mundo se han encontrado con un gran problema: aunque sus reservas de tecnología son muy ricas, las aplicaciones de IA no les han aportado grandes beneficios. La razón de este problema es que la aplicación de productos de IA se concentra principalmente en el lado B (usuarios empresariales) y en el lado G (usuarios gubernamentales). El proceso de entrada de productos de IA en empresas o instituciones suele ser complicado, lo que limitará la IA a un nivel. Hasta cierto punto, la rápida expansión de los productos en el mercado.
Por lo tanto, Zhang Yi cree que es más probable que la dirección de aplicación de productos de AIGC genere enormes oportunidades comerciales en el lado C. , el mercado del lado C está dominado por Google y antes de que Amazon, Meta y otras empresas aprovechen la oportunidad, Microsoft está bajo una gran presión y necesita un producto para regresar al mercado chino, las ventajas de Baidu son las mismas que las de Google. su poderosa capacidad de motor de búsqueda para rastrear datos, así como almacenamiento, organización y capacidad analítica. La propia China tiene un mercado enorme de más de mil millones de personas, y Baidu puede hacerlo bien. Baidu, Microsoft y Google esencialmente compiten en dos mercados diferentes, por lo que creo que Wenxinyiyan y su serie de productos definitivamente saldrán al mercado", afirmó Zhang Yi.
Robin Li insistió en que Wenxinyiyan no es un mercado. "Herramienta para la confrontación tecnológica entre China y Estados Unidos". Pero también admitió que el éxito de ChatGPT se ha acelerado, el CTO de Baidu, Wang Haifeng, dijo que cuando los humanos entren en la era de la inteligencia artificial, la pila tecnológica de TI podrá ser mejorada. dividido en cuatro capas: capa de chip, capa de marco, capa de modelo y capa de aplicación.
Baidu es una de las pocas empresas de inteligencia artificial del mundo que tiene un diseño de pila completa en estos cuatro niveles. Su tecnología de desarrollo propio lidera la industria en todos los niveles. Por ejemplo, el núcleo Kunlun del chip de alta gama, el marco de aprendizaje profundo de Feipiao, el modelo grande de preentrenamiento de Wenxin y aplicaciones como búsqueda, nube inteligente, conducción autónoma y Xiaodu. Wang Haifeng cree que la ventaja del diseño de pila completa de Baidu es que puede lograr una optimización de extremo a extremo en la arquitectura de cuatro capas de la pila de tecnología y mejorar enormemente la eficiencia.
Al igual que ChatGPT, Wen Xinyiyan utiliza SFT (ajuste fino de modelos), RLHF (aprendizaje por refuerzo a partir de comentarios humanos) y Prompt como tecnologías subyacentes. Además, Wen Xinyiyan también utiliza tecnologías de mejora del conocimiento, mejora de la recuperación y mejora del diálogo. Wang Haifeng dijo que estos tres elementos son reinnovaciones de las ventajas tecnológicas existentes de Baidu.
Chen Duan cree que en un momento en el que la innovación tecnológica se está volviendo cada vez más integrada, una única empresa completa tiene una ventaja comparativa en la coordinación interna de I+D de la tecnología y su posterior comercialización.
La confianza es importante, pero la brecha no se puede ignorar.
Durante las dos sesiones de principios de este mes, el Ministro de Ciencia y Tecnología de China, Wang Zhigang, utilizó el fútbol como analogía en respuesta a preguntas relacionadas con ChatGPT, señalando que China todavía tiene mucho trabajo por hacer. hacer. "Jugar al fútbol implica driblar y disparar, pero no es fácil ser tan bueno como Messi (la superestrella del fútbol Lionel Messi)".
Wang Zhigang señaló que China también ha hecho algo en este sentido. diseños y se han realizado investigaciones en esta área durante muchos años, y hay algunas.
Como resultado, "pero queda por ver si puede lograr los resultados de OpenAI en la actualidad", añadió.
Wang Zhigang dijo que después del lanzamiento de ChatGPT, atrajo la atención de todos. De hecho, desde la fuente de la tecnología en sí, se llama PNL y NLU, que significa procesamiento del lenguaje natural y comprensión del lenguaje natural. ChatGPT llama la atención porque, como modelo grande, combina de manera efectiva big data, gran potencia informática y algoritmos sólidos, y el método de cálculo se ha mejorado. El mismo principio se hace de manera diferente. Por ejemplo, todos pueden fabricar motores, pero la calidad es diferente.
Sin embargo, ya sea ChatGPT o Wenxinyiyan, el gran modelo de lenguaje detrás de ellos es la competitividad central. Zhao Dongyan, investigador del Instituto de Computación Wang Xuan de la Universidad de Pekín, dijo a Finance E Law que todavía existe una cierta brecha entre los grandes modelos nacionales y OpenAI en términos de datos, métodos de capacitación y costos de inversión.
Una persona del sistema de ciencia y tecnología señaló que, objetivamente hablando, existe una gran brecha entre China y Estados Unidos en los resultados de la investigación básica en este campo. Estos resultados de investigación básica incluyen procesamiento del lenguaje natural (NLP), bases de datos y productos GPU. "Si Estados Unidos corta el suministro de chips GPU, la potencia informática (de China) no podrá seguir el ritmo".
El núcleo de la potencia informática a gran escala reside en los chips GPU de alto rendimiento. Zhou, profesor asistente de la Escuela de Software de la Universidad de Beihang, dijo a Finance E Law que la brecha entre China y el mundo en términos de hardware informático, como los chips GPU, es de unos diez años, y el nivel de hardware restringirá seriamente el desarrollo. de modelos lingüísticos a gran escala y modelos informáticos científicos.
Zhou cree que no existe una diferencia generacional en tecnología y modelo entre las empresas de tecnología chinas y OpenAI. La brecha es de solo 5 años, y la brecha en algunos campos técnicos más pequeños es de solo 2 o 3 años. En términos de recopilación de datos, tomando como ejemplo el modelo GPT-3, los chinos solo representan el 5% del corpus de entrenamiento. Las empresas de tecnología chinas tienen ciertas ventajas en la acumulación de corpus chinos, por lo que es muy probable que logren avances en el campo chino.
El siguiente paso de Giant 03: construir un ecosistema. Cómo obtener ganancias en el gran modelo de lenguaje representado por ChatGPT es un problema reconocido por todas las partes.
OpenAI, que desarrolló ChatGPT, sigue siendo una startup que genera pérdidas. 5438 de junio En octubre de 2023, un informe de análisis del banco de inversión Morgan Stanley declaró que el costo de respuesta de ChatGPT es aproximadamente de 6 a 28 veces el costo promedio de una consulta de búsqueda de Google.
Sin embargo, Zhuang Du, investigador senior del Tencent Research Institute y ex vicepresidente de Matrix Partners, cree que el beneficio que ChatGPT puede generar no es el foco de OpenAI, sino qué tipo de productos se pueden desarrollar. basado en su modelo de servicios y aplicaciones para construir un ecosistema. "El desarrollo de ChatGPT requiere un ecosistema industrial. Por ejemplo, su integración con aplicaciones relacionadas con Microsoft es una buena idea", afirmó Cao Jianfeng.
El 15 de marzo, hora local, el vicepresidente y director de marketing de consumo de Microsoft, Yusef Medi, emitió un comunicado afirmando que la nueva versión del motor de búsqueda Bing ya se está ejecutando en GPT-4. OpenAI declaró que GPT-4 está entrenado en la supercomputadora Microsoft Azure AI y proporcionará servicios GPT-4 a usuarios globales basados en la infraestructura de Azure AI.
Google anunció la apertura de la interfaz API de su modelo de lenguaje grande PaLM y lanzó MakerSuite, una herramienta para desarrolladores. A través de la interfaz API de PaLM, los desarrolladores pueden utilizar PaLM para desarrollar diversas aplicaciones. MakerSuite permite a los desarrolladores crear rápidamente prototipos de sus ideas y, con el tiempo, la herramienta contará con ingeniería rápida, generación de datos sintéticos y ajuste de modelos personalizados.
Microsoft rápidamente hizo lo mismo. El 16 de marzo, hora local, Microsoft anunció que conectaría GPT-4 al grupo de la familia Office. La nueva característica se llama "Microsoft 365 Copilot".
Robin Li dijo en la conferencia de prensa que Wenxinyiyan se posiciona como una plataforma de empoderamiento basada en inteligencia artificial, que ayudará a la transformación inteligente de miles de industrias como las finanzas, la energía, los medios y los asuntos gubernamentales.
Según el plan de prueba de invitación de Wen Xin Yiyan, el primer grupo de usuarios puede experimentar el producto en el sitio web oficial de Wen Xin Yiyan a través del código de prueba de invitación a partir del 16 de marzo, y se abrirá a más usuarios en sucesión. Además, Baidu AI Cloud pronto abrirá servicios de llamadas de interfaz API Wen Xinyiyan para clientes empresariales. Este servicio estará disponible para cita previa a partir del 16 de marzo.
A partir de la mañana del 11 de marzo, el número de usuarios corporativos que hacen cola para solicitar las pruebas del servidor de llamadas API de Baidu AI Cloud Wenxin Yiyan Enterprise Edition ha aumentado a 90.000, y Baidu ha recibido 6.588 comentarios sobre Wenxin Yiyan. Consultas colaborativas.
Chen Duan cree que esta ronda de competencia no es solo una competencia entre entidades comerciales, sino también la próxima ronda de competencia nacional de competitividad digital. Por lo tanto, la principal prioridad de Baidu no es exclusivamente la investigación y el desarrollo tecnológico, sino que también necesita lograr que más empresas emergentes y socios ecológicos se unan al campo ecológico.
En opinión de Chen Duan, China tiene ventajas a la hora de establecer un ecosistema. Chen Duan señaló que después de años de desarrollo de Internet móvil en China, la innovación de apoyo del ecosistema de la capa de aplicaciones se ha vuelto muy madura. Muchos equipos empresariales pequeños y medianos en la capa de aplicaciones han realizado muchas innovaciones locales y verticales en la escena en cooperación con el ecosistema de Internet móvil en el pasado, migrando este modelo y la infraestructura subyacente de Internet móvil al campo de modelos grandes. sigue siendo aplicable.
¿Existen todavía oportunidades para las pequeñas y medianas empresas? Frente a la ola de grandes modelos lingüísticos, ¿cómo deberían las empresas chinas aprovechar las oportunidades y evitar riesgos?
En China, hay dos tipos de empresas que implementan ChatGPT: las primeras son las grandes empresas tradicionales de Internet y las segundas son algunas empresas de nueva creación.
Chen Duan cree que las nuevas empresas del mercado se han perdido la etapa inicial de construcción de modelos grandes. Chen Duan analizó que la reconstrucción de una empresa de inteligencia artificial generativa está estrechamente relacionada con el tiempo, el apoyo ecológico subyacente, la experiencia, la experiencia, la visión del propio fundador y la capacidad de movilización natural de la propiedad intelectual personal. Además, la inversión inicial en modelos grandes, ya sea en términos de potencia informática u otros costes, y la ventana de tiempo son muy importantes.
Chen Duan dijo que Baidu actualmente tiene la capacidad de coordinarse con otros productos de Wen Xinyiyan, al igual que Microsoft lanzó Copilot con Office y GPT-4, pero “sin apoyo ecológico, los empresarios simplemente crecerán. es muy problemático."
Zhang Yi también cree que para las empresas con apoyo financiero y sólido, la creación de productos a gran escala por sí sola puede ser más favorecida por el capital y los empresarios.
Pero para las pequeñas y medianas empresas, también es una buena opción confiar en la plataforma abierta de Wen Xinyiyan para implantar sus propias aplicaciones en campos especializados.
Porque construir un modelo de lenguaje grande requiere mucho tiempo y una gran inversión.
Detrás del éxito de OpenAI está la enorme inversión realizada por Microsoft a lo largo de los años. El 23 de octubre de 2023, hora de EE. UU., 65438, Microsoft anunció que invertiría miles de millones de dólares en OpenAI durante varios años. En 2019 y 2021, Microsoft invirtió dos veces en OpenAI. Las inversiones en 2019 fueron de 65.438 millones de dólares, mientras que las inversiones en 2021 no fueron reveladas.
Yuan Xingyuan, fundador de la empresa de inteligencia artificial Caiyun Technology, señaló en una entrevista con 36Kr que si desea ejecutar un modelo con más de 654,38 billones de parámetros a la vez, debe al menos alcanzar el nivel de "kilocalorías/mes", es decir, utilizar 654,38 0.000 tarjetas GPU y luego entrenar durante un mes. Incluso si no se utiliza la NVIDIA A100 más avanzada, según el precio medio de una GPU de 50.000 yuanes, 1.000 GPU significan un coste informático mensual de 50 millones de yuanes, sin contar el salario de los ingenieros de algoritmos.
"No importa qué empresa, es imposible crear un modelo de lenguaje tan grande en unos pocos meses". Robin Li dijo en la conferencia de prensa que el aprendizaje profundo y el procesamiento del lenguaje natural requieren años de persistencia y acumulación. y no puede acelerar. El entrenamiento de modelos a gran escala se puede llamar una estética violenta, que requiere mucha potencia informática, big data y modelos grandes. El costo de cada tarea de entrenamiento es muy alto.
Según los datos proporcionados por Baidu, la inversión acumulada en I+D de Baidu en los últimos diez años ha superado los 654,38 billones de yuanes. En 2022, el gasto principal en I+D de Baidu será de 2.141,6 millones de yuanes, lo que representa el 22,4% de los ingresos principales de Baidu. Sin embargo, Baidu no reveló la proporción de I+D de modelos grandes en los gastos básicos de I+D.
Robin Li dijo en la conferencia de prensa que el posicionamiento de Wen Xinyiyan por parte de Baidu es una plataforma de empoderamiento universal, y miles de industrias como las finanzas, la energía, los medios y los asuntos gubernamentales pueden basarse en esta plataforma para lograr una transformación inteligente. , mejorar la eficiencia y crear un enorme valor empresarial. Robin Li cree que en la era de los grandes modelos surgirán tres grandes oportunidades industriales: nuevas empresas de computación en la nube, empresas que ajustan los modelos industriales y empresas que desarrollan aplicaciones basadas en grandes bibliotecas de modelos, es decir, proveedores de servicios de aplicaciones.
Robin Li afirma que para la mayoría de los empresarios y empresas, la verdadera oportunidad no es construir grandes modelos básicos como ChatGPT y Wen Xinyiyan desde cero. La verdadera oportunidad puede ser desarrollar primero servicios de aplicaciones importantes basados en un modelo de lenguaje grande común. En la actualidad, han surgido muchas empresas estrella emprendedoras basadas en la generación de texto, generación de imágenes, generación de audio, generación de video, personas digitales, 3D y otros escenarios, y estas empresas pueden convertirse en nuevos gigantes en el futuro.
“Aún se desconoce la forma del producto final de los grandes modelos y la inteligencia artificial generativa, por lo que este camino está destinado a ser una carrera de larga distancia, que requerirá que toda la comunidad tecnológica la siga de cerca y continuamente en términos de capital. , RD e innovación de modelos ", dijo Zhang Yi.
Li Kaifu cree que AI2.0 se aplicará primero en el campo de la tolerancia a fallos. No hay duda de que el campo de aplicación más importante ahora es la creación de contenidos. En cada campo, se puede reescribir la aplicación original para crear un modelo de negocio más rentable. En última instancia, las capacidades generativas de AI2.0 reducirán los costos a casi cero.