所以，ModernBERT在训练时使用了多种数据，包括网络文档、编程代码和科学文章，覆盖了2万亿token，其中大部分是独一无二的，而不是之前encoders中常见的20-40次的重复数据。

梦晨 发自 凹非寺量子位 | 公众号 QbitAI 每一次，当基础模型能力变强，总会有人预言：RAG（检索增强生成）或许要过时了。 但目前为止，每一次，这种预言都已落空。 比如今年2月，当第一批百万上下文长度模型出现的时候，有人说KV缓存会取代RAG ...

当然同一时刻在执行的任务数，最多也就只能是CPU核心数，只不过CPU时间片在多个任务之间来回切换罢了。上下文切换就是为了保存任务切换时刻的基本信息，当CPU重新执行任务的时候可以加载上下文信息，从当时退出的位置、状态重新开始执行任务。这里所说 ...

品玩12月24日讯，据 IBM 官方消息，旗下大语言模型 Granite 3.1 版本现已发布，该模型在 Granite 3.0版本的基础上训练得出。

智东西11月13日报道，今日，国内视频大模型创企生数科技发布Vidu 1.5新版本。该版本全新上线“多图参考”功能，突破了“一致性”难题，具备涵盖人物、物体、环境等融合的多主体一致性能力。 通过上传1~3张参考图，Vidu 1.5可实现对单主体100%的精确控制，同时实现多主体交互控制、主体与场景融合控制，能够无缝集成人物、道具和场景。 在拥有处理更复杂任务能力的同时，Vidu 1.5延续了其业界 ...

Anthropic于11月25日宣布推出模型上下文协议（Model Context Protocol, MCP），这一开源标准旨在解决AI系统与数据源集成的行业痛点。该协议的发布标志着AI领域在数据互联互通方面迈出重要一步。 突破数据孤岛困境 在当前AI快速发展的背景下，大语言模型在推理能力和 ...

金融界2024年12月18日消息，国家知识产权局信息显示，平安科技（深圳）有限公司申请一项名为“上下文学习方法、装置、设备及存储介质”的专利，公开号 CN 119128087 A，申请日期为2024年8月。

【新智元导读】RNN模型在长上下文中表现不佳？近日，来自清华的研究团队对此进行了深入的实验分析，结果表明：不是RNN的锅。 与Transformer ...

Anthropic于11月25日宣布推出模型上下文协议（Model Context Protocol, MCP），这一开源标准旨在解决AI系统与数据源集成的行业痛点。该协议的发布标志着AI ...

Anthropic推出的模型上下文协议（MCP）旨在通过连接AI助手与多种数据源，提高查询响应的质量和相关性。MCP解决了AI助手与数据源之间的隔离问题 ...

IBM 正式发布了其新一代开源大语言模型 Granite3.1，力图在企业级 AI 领域占据领先地位。这一系列模型具备128K 的扩展上下文长度、嵌入模型、内置的幻觉检测功能以及性能的显著提升。

IBM Granite 3.1 正式发布，这是Granite 系列开放、高性能、企业优化语言模型的最新更新。这套改进、添加和新功能主要侧重于增强工具使用、检索增强生成 (RAG) 和可扩展代理 AI ...