总结而言，该研究提出了一种新的 LLM 思想。传统的语言模型依赖于 tokenizer 来预处理数据，但 tokenization 有其固有的局限性，包括固定的词汇表、处理多语言或噪声数据的效率低下，以及由压缩启发式方法引入的偏见。

在日常生活中，我们经常能看到一些有趣的英文单词拼写错误，比如把“mayonnaise”（蛋黄酱）写成“mayonase”。对于人类来说，这种拼写错误通常不会造成理解障碍，可是对于目前的 AI ...

为什么无需 tokenizer 的新架构有很大的潜在价值？BLT 对多模态模型训练、推理会产生哪些影响？目前不同模态的对齐、融合常用的方法是什么？存在哪些难题？近期有哪些工作在解决不同模态差异方面指出了新的方向？这些工作旨在解决什么问题？

GiB：Giga Binary Byte的简写，1GiB=2^30字节，1GB约合0.9313GiB － TiB：Tera Binary Byte的简写，1TiB=2^40字节，1TB约合0.9095TiB － KiB、MiB、PiB等，以此类推。

MB/s（兆字节每秒） ：MB/s是“兆字节每秒”（Mega bytes per second）的缩写，表示每秒传输的字节数。字节（Byte）是数据的基本单位，通常用大写“B ...

根据路透社消息，据三位知情人士透露，苹果正在与腾讯和字节就将其大模型集成到中国销售的iPhone中进行谈判。

2024年12月16日，美国加州北区地方法院在北京美摄网络科技有限公司（简称“美摄”）诉TikTok、字节跳动等多家公司（简称“字节”）侵犯版权及盗用商业秘密案中，对于原告美摄提出的强制补充证据开示的动议作出一份裁决，同意了美摄提出的要求字节补充“源代码”的请求，但将范围缩小至“源代码的音频和视频编辑部分”。 在此次原告请求的强制补充证据开示请求中，美摄寻求字节提供源代码、财务数据和使用数据，涉及 ...

该研究提出字节潜在 Transformer（Byte Latent Transformer，简称 BLT）挑战了这种常规做法。BLT 通过直接建模原始字节流，将它们根据熵动态分组为 patch 以 ...

据英国《金融时报》报道，字节跳动内部人士称，字节跳动创始人张一鸣虽然已卸任 CEO 一职，但他一直积极参与该集团的 AI 战略。 这些人士说，张一鸣亲自监督了从竞争对手公司招聘 AI 工程师和研究人员的工作。张一鸣在内部谈到了他的“通用人工智能”目标 ...

尽管能够流式播放 YouTube 视频，Macintosh Plus 的接收速度仅为每秒 400 字节（bytes），远低于 1980 年代的调制解调器速度。 欧文演示了和 ChatGPT 的对话 ...