据“小米公司”官方微博,今天小米大语言模型 MiLM 正式通过大模型备案,相关模型据称将逐步应用于小米汽车、手机、智能家居等产品中,后续“将面向更多用户开放体验”。
小米公司 MiLM 大模型在去年 8 月首度现身 C-Eval、CMMLU 大模型评测榜单,当时这款模型在 C-Eval 总榜单排名第 10、同参数量级排名第 1。
根据 GitHub 项目页给出的信息得知,MiLM-6B 是由小米公司开发的一个大规模预训练语言模型,参数规模达 64 亿。
▲ 图源 MiLM-6B 的 GitHub 页面
而根据 C-Eval 给出的信息,MiLM-6B 模型在具体各科目成绩上,在 STEM(科学、技术、工程和数学教育)全部 20 个科目中,计量师、物理、化学、生物等多个项目获得了较高的准确率。
▲ 图源 C-Eval
据悉,MiLM-6B 模型目前已经在大多数文科科目中表现出了相对良好的准确度,不过在“法学、数学、编程、概率论、离散数学”等涉及“抽象思维”的科目中,还有一定进步空间。
在 10 个“社会科学”测试科目中,除“教育学和地理”外,该模型在其他 8 个科目中都获得了较为理想的准确率。在人文科学的 11 个科目中,MiLM-6B 则在“历史与法律”基础上有着不错的准确率表现。