REPORT
LONETRAIL Technical Note2026.10.07

自训练的Prochlo-190M-SFT发布!现在模型可以基础的聊天了!

从头训练的 190M 小模型做了 SFT,现在能基础聊天了:20 层 LLaMA 架构、20B tokens 预训练、46 万条对话微调。

贺煦修
Author:贺煦修
Tags:#技术
ANALYSIS

https://huggingface.co/CyanoAI/Prochlo-190M-SFT

较 Base 版本(CyanoAI/Prochlo-190M-Base)

该模型目前已经可以基础的聊天了

项目Prochlo-190M-SFT
参数量约 190M / 0.2B
类型Dense Causal Language Model
架构20 层,LLaMA-style
词表50,261
基础模型Prochlo-190M-Base
Base 预训练量20B tokens
SFT 数据HuggingFaceTB/smol-smoltalk
SFT 数据量约 46 万条对话
SFT epoch2
SFT 最大长度1024 tokens
训练精度FP16
主要语言英语
权重格式Safetensors / F16
LicenseApache-2.0

“SFT”是什么意思?#

这里的:

Prochlo-190M-SFT

中的 SFT 是:

Supervised Fine-Tuning,监督微调。

它的训练实际上分为两个主要阶段。

第一阶段:预训练#

先训练:

Prochlo-190M-Base

这是一个从头训练的 190M 参数模型称其使用 20B tokens 进行预训练,拥有 20 层 LLaMA-style 架构和 50,261 大小的词表。 CyanoAI/Prochlo-190M-SFT · Hugging Face

在这个阶段,它主要学的是:

根据前面的 token 预测下一个 token。

所以 Base 模型本身并不天然知道应该像 AI 助手一样回答你。


第二阶段:SFT 对话训练#

然后使用:

HuggingFaceTB/smol-smoltalk

对 Base 进行监督微调,数据大约有 46 万段英语对话。 [huggingface.co]

训练时对话采用类似:

<|user|>

…

<|assistant|>

…

这样的聊天格式。

loss masking on assistant tokens

即训练针对 assistant 输出部分计算相应的监督训练目标,使模型学习:

“用户这样说 → Assistant 应该这样回答。”

因此 SFT 版本相比 Base 版本才真正具有明显的聊天 / 指令执行属性。

不过,这尚且不是最终版本,后续还有 DPO / RLAIF 阶段才算完成

原发于 NodeLoc 论坛:https://www.nodeloc.com/t/topic/112770

贺煦修
贺煦修Author
Steam—
Spotify—
发布于:2026.10.07
Classified
Distribution Notice

自训练的Prochlo-190M-SFT发布!现在模型可以基础的聊天了!

Author贺煦修/2026.10.07/LT-2026-1007-PROCHL

本作品采用 CC BY-NC-SA 4.0 协议授权。允许分发、混剪、演绎,但不得用于商业用途,且必须基于相同协议分发并标注原作者。

Subscribe
Discussion
Archive_Ref
Copyright © 2025–2026 贺煦修的博客
Powered by Astro & Lonetrail
Licensed under CC BY-NC-SA 4.0

输入关键词搜索文章