U
贺煦修@user80#12026-10-05 20:212 赞 · 35 阅
这是一个0.2B参数 的英语为主的基座模型(原因为,当时忘记添加加中文语料了,下个版本会加上)
也是我首个发布的模型。
模型名来源:原绿球藻(Prochlorococcus)——地球上海洋里数量最多、基因组最精简紧凑,却是贡献了全球相当大比例光合产氧量的高效光合生物。
目前是把基座模型上传至 Hugging Face。
基座模型并太不能聊天,更多的是续写。
后续会把SFT版本发过去,敬请期待
以及训练的整套
整理预训练套件(数据下载/清洗/训练/内核)
均会完成开源至GitHub
模型介绍详情请见Hugging Face
