近期，Hugging Face携手英伟达及约翰霍普金斯大学的研究人员，共同推出了BERT模型的全新升级版本——ModernBERT。这一新版本不仅在效率上有所提升，更突破了原有模型在处理长文本上的限制，能够支持高达8192个Token的上下文处理。

此外，谷歌 DeepMind 最近也公布了类似的论文，他们认为可以为小模型动态分配运算资源，并设置验证器对模型的解答结果进行评分，从而引导模型不断输出正确的答案，从而帮助企业以较少的资源部署足够精度的语言模型。

IT之家 12 月 29 日消息，Hugging Face、英伟达和约翰霍普金斯大学研究人员联手为 Hugging Face 上的热门编码器模型 BERT 推出了全新版本 ModernBERT，号称在满足效率的同时新增支持处理长达 8192 个 ...

由于目前大型语言模型的性能，主要依赖大量的训练计算资源，而正是这种昂贵的成本模式，驱使开发公司寻求替代方案。而Hugging Face的研究显示，通过测试阶段运算扩展（Test-Time Compute ...

Hugging Face推出了SmolLM，这是一款全新的紧凑型语言模型系列，在性能方面超越了微软、Meta和阿里巴巴Qwen的同类产品。这些模型在不牺牲性能或隐私 ...