网友手工 RLHF 微调 Llama2-13B，让模型学会自己发帖

网友 cephaloform 手工对 Llama2-13B 的 checkpoint 进行 RLHF 训练，目标是让模型学会自己发帖。他通过经典的二选一偏好标注界面收集人类反馈，并坦言整个过程“真的很难”，呈现个人开发者复现大模型对齐流程的实际难度。