把思考折叠进序列：WeLM 617B MoE的隐式Scaling路径
做大——Scaling Law出现后，参数从百亿推向千亿，算力支出一路飙升。今年3月2日，WeLM 团队就发表了系列的第一篇博客，彼时Hidden Decoding还是一套相对朴素的早期实现，只在80B规模上跑通了初步验证。
RoBERTa 和 ALBERT
BERT 模型是 2018 年提出的，并在很多自然语言处理任务有前所未有的提升。因此 2019 年就有很多工作是围绕着 BERT 展开的，其中出现了两个 BERT 的改进版模型，RoBERTa 和 ALBERT。
薛向阳：如何让计算机不断深入理解人类的真实意图︱大家
那么查询项Q与文档D的相似度计算公式是:Sim= TF1 * IDF1+TF2 * IDF2 = log+ log= 0.23+0.10 = 0.33。
专访北大校友邓煜
当地时间7月23日，北京大学2007级本科校友邓煜荣获菲尔兹奖。从北大数院出发，他一路走向数学研究前沿，在希尔伯特第六问题等重大课题上取得突破。
14种轻量级网络综述—主干网络篇
作者丨VincentLee来源丨晓飞的算法工程笔记来源链接：https://mp.weixin.qq.
语数外同步启蒙必读：代数和几何历史上从来没有分开
很多人上学时会形成一种刻板印象：几何是画图、证明、研究图形；代数是列式、解方程、摆弄符号，二者泾渭分明，仿佛是两门完全独立的学科。可翻开真实的数学史就会发现，代数与几何从诞生之初就紧紧缠绕在一起，它们本就是同一套数学思想的两面，从来没有真正分开过。
微信 AI 修图抢先体验：能用够用，但还不够好用
比如腾讯在最新的财报中首次披露:微信团队定制的 WeLM 在设计时就重点考虑了微信场景和推理效率，目前公开的 WeLM-HD4-80B 和 WeLM-HD4-617B 总参数量分别达到 800 亿和 6170 亿，但实际激活的参数只有 30 亿和 230 亿。
LLaMA微调显存需求减半，清华提出4比特优化器
近日，清华大学朱军、陈键飞团队提出了用于神经网络训练的 4 比特优化器，节省了模型训练的内存开销，同时能达到与全精度优化器相当的准确率。
你休息的时候，你的大脑正在自动“复习”
本文来自微信公众号：Mindverse Research（ID：gh_be9d7092abf7），作者：朱思嘉，审校：十三维，原文标题：《Growing offline：生物神经回放》，题图来自：视觉中国纵然我们已不像半个世纪前那样对大脑的 offline 状态一无所知，如今不管