搜索
面对大模型规模与硬件内存之间高达20倍的算力鸿沟，不重训的“1比特量化”如何把千亿参数的硅基大脑塞进微型设备？
《读佳》获知，字节正在内测一款漫剧创作产品，名字就叫“漫剧创作工具”，Slogan“让创作更纯粹”，搭载豆包多个大模型。
在OpenAI一时半会没憋出来GPT 6的情况下，大模型排行榜被中国团队卷成麻花了。
过去几年，大模型的发展主线很清晰，比如更大的模型、更多的数据，以及更多的计算。但当模型从回答问题的Chatbot走向能够调用工具、执行任务的Agent，发展主线也开始发生变化。模型不仅要知道，还要在环境中行动，从反馈中判断结果，并在长时间运行中不断调整策略。
日产7.5万首，播放却不到3%。
过去几年，大模型推理系统优化的核心目标一直围绕一个问题展开：如何让 GPU 更高效地计算权重、激活、KV Cache 等高维张量？从并行策略、请求调度、显存管理到算子优化，学界业界大量优化技术不断提升模型推理效率。
上周一，我发了自己做的AIHOT大模型排行榜。
最近，葬AI和我们的朋友钟经纬、正阳一起，推出了懂模帝这个产品，现在任何人都可以登陆 fuckai.md 去看各种各样的benchmark。
据路透社援引三位知情人士爆料，苹果已和阿里巴巴展开合作，联合训练一款专门面向中国市场的大语言模型。就在8月8日，苹果悄然更新Mac使用手册，新增《在Mac上配合Apple智能使用千问》相关章节，这也是苹果首次对外官方披露国行Apple智能的合作细节，不过该章节后续已被删除。
《智能涌现》从相关人士处获悉，混元资深研究员徐灿在近期加入腾讯WeLM团队，从事大模型研发相关工作。多名知情人士透露，在姚顺雨接手腾讯大语言模型研发前，徐灿在混元LLM体系中担任后训练一个方向上的负责人。值得一提的是，这次转岗发生在微信持续强化自研大模型和Agent能力的阶段。