百科知识：DeepSeek-V3 在知识类任务（MMLU, MMLU-Pro, GPQA, SimpleQA）上的水平相比前代 DeepSeek-V2.5 显著提升，接近当前表现最好的模型 Claude-3.5-Sonnet-1022。

12月26日消息，国产大模型DeepSeek推出DeepSeek-V3，一个强大的混合专家（Mixture-of-Experts, MoE）语言模型。主要的技术迭代是671B的MoE，37B的激活参数，在14.8万亿个高质量token上进行了预训练。

过去多年间，科学家们持续致力于探索蛋白质的结构和组成，以更好的解谜「生命密码」。 蛋白质功能由其结构决定，包括侧链和主链原子的身份、位置及其生物物理性质，这些统称为全原子结构。

总结而言，该研究提出了一种新的 LLM 思想。传统的语言模型依赖于 tokenizer 来预处理数据，但 tokenization 有其固有的局限性，包括固定的词汇表、处理多语言或噪声数据的效率低下，以及由压缩启发式方法引入的偏见。

Meta新推出的BLT（Byte Latent ...

12月26日，界面新闻独家获悉，小米正在着手搭建自己的GPU万卡集群，将对AI大模型大力投入。小米大模型团队在成立时已 有6500张GPU资源。

据悉，小米大模型团队成立之初便已拥有6500张GPU资源，显示出小米在AI领域的决心和实力。尽管小米方面尚未对此消息发表评论，但知情人士透露，该计划已实施数月，雷军在其中扮演了关键领导角色，强调小米在AI硬件领域的重视。

12月26日，界面新闻独家获悉，小米正在着手搭建自己的GPU万卡集群，将对AI大模型大力投入。小米大模型团队在成立时已有6500张GPU资源。

为了解决这个问题，Meta、美国华盛顿大学和美国芝加哥大学的科学家们共同开发出了一种突破性的新型 AI 架构，取名为字节潜在 Transformer（BLT，Byte Latent Transformer）。 近日，相关论文以《 字节潜在 ...

随着虚拟现实（VR）和增强现实（AR）技术的快速发展，创造高质量、沉浸式和动态环境的需求日益增长。然而，现有的生成技术往往局限于动态对象的生成或单一视角的图像绘制，无法满足 VR/AR 应用对自由视点、360 度虚拟视角的严格要求。

为什么无需 tokenizer 的新架构有很大的潜在价值？BLT 对多模态模型训练、推理会产生哪些影响？目前不同模态的对齐、融合常用的方法是什么？存在哪些难题？近期有哪些工作在解决不同模态差异方面指出了新的方向？这些工作旨在解决什么问题？

最近视觉模型真的卷疯了...前有《智谱 GLM-4V-Flash API 发布即免费》、《Gemini2.0 实时全模态炸场》、《GPT-4o 视频通话对波 Gemini》、《无问芯穹全模态端侧模型开源》，《Kimi ...