12 月 29 日消息，Hugging Face、英伟达和约翰霍普金斯大学研究人员联手为 Hugging Face 上的热门编码器模型 BERT 推出了全新版本 ModernBERT，号称在满足效率的同时新增支持处理长达 8192 个 Token ...

此外，谷歌 DeepMind 最近也公布了类似的论文，他们认为可以为小模型动态分配运算资源，并设置验证器对模型的解答结果进行评分，从而引导模型不断输出正确的答案，从而帮助企业以较少的资源部署足够精度的语言模型。

近期，Hugging Face携手英伟达及约翰霍普金斯大学的研究人员，共同推出了BERT模型的全新升级版本——ModernBERT。这一新版本不仅在效率上有所提升，更突破了原有模型在处理长文本上的限制，能够支持高达8192个Token的上下文处理。

由于目前大型语言模型的性能，主要依赖大量的训练计算资源，而正是这种昂贵的成本模式，驱使开发公司寻求替代方案。而Hugging Face的研究显示，通过测试阶段运算扩展（Test-Time Compute ...

2024 年，在美国五大科技巨头中，微软、谷歌、亚马逊、Meta 这四家公司在核电布局领域动作频频。甚至你争我赶生怕落后对方一步：9 月微软宣布入场；10 月谷歌宣布入场，两天后亚马逊也宣布新动态；虽迟但到的 Meta 也于 12 月宣布入场。可以说 ...

“人工智能有一个肮脏的秘密...... 生成式人工智能是惊人的能源密集型（领域），甚至比普通的云服务更为密集……谷歌、Meta 和微软都在尽最大努力购买绿色能源和碳信用额。（但）事实是，这还不够。”2024 年 3 ...

【新智元导读】 大模型如今已具有越来越长的上下文，而与之相伴的是推理成本的上升。英伟达最新提出的Star Attention，能够在不损失精度的同时，显著减少推理计算量，从而助力边缘计算。 为此，已有多种优化方案提出，例如Flash ...

IT之家 11 月 27 日消息，Hugging Face 平台昨日（11 月 26 日）发布博文，宣布推出 SmolVLM AI 视觉语言模型（VLM），仅有 20 亿参数，用于设备端推理 ...

CNBC说中国希望在AI领域占据主导，部分模型已经击败美国竞争对手。这话听着挺提气，但我觉得还是要保持清醒。毕竟，AI不是简单的技术竞赛，更像是一场马拉松。美国的技术积累确实深厚，我们追赶的路还很长。不过话说回来，"后发优势"这个词挺有意思。当你看到 ...

在日前举行的大模型技术发展与治理创新研讨会上，阿里巴巴集团与中国电子技术标准化研究院联合发布《大模型技术发展及治理实践报告》（以下简称为《报告》）。值得一提的是，这也是阿里巴巴连续第三年发布AI治理相关报告。

据悉，该模型目前在Aider多语言编程测试排行榜中的成绩已经超过了 Anthropic 的Claude 3.5 Sonnet，排名第二，仅次于 OpenAI 的O1 模型。据悉，DeepSeek V3 模型采用MOE ...