El 16 de julio, Moonshot AI, empresa con sede en Beijing, presentó Kimi K3, su modelo de nueva generación, con 2,8 billones de parámetros. Se trata actualmente del modelo de código abierto con más parámetros del mundo.

Kimi K3 admite de forma nativa la comprensión visual y dispone de una ventana de contexto de un millón de tokens. Está optimizado para tareas complejas como la ingeniería de software, el trabajo basado en el conocimiento, la investigación en profundidad y la comprensión multimodal, lo que refuerza aún más su capacidad para abordar este tipo de tareas. En las evaluaciones, su desempeño general se aproxima al de los modelos de código cerrado más avanzados del mundo.

Imagen de identidad visual de Kimi K3

Durante el entrenamiento de Kimi K3, su modelo base de nueva generación, la empresa utilizó una arquitectura fundamental desarrollada internamente y consolidó un conjunto completo de métodos científicos de entrenamiento. Gracias a la optimización de la estructura del modelo, los métodos de entrenamiento y la configuración de los datos, la eficiencia general de escalado de Kimi K3 se multiplicó aproximadamente por 2,5 respecto de la generación anterior, lo que permite aprovechar con mayor eficacia la capacidad de cómputo para mejorar las prestaciones del modelo.

Moonshot AI señaló que próximamente publicará los pesos completos del modelo y que los detalles sobre su arquitectura, entrenamiento y evaluación se darán a conocer progresivamente en el informe técnico correspondiente.

Fuente: Xinhuanet