网友手工 RLHF 微调 Llama2-13B 让它发帖，直呼“太难”

一位网友正对 Llama2-13B checkpoint 进行手工 RLHF，目标是让模型学会自己发帖，并通过二选一偏好标注界面对两条回复人工判定优劣。示例回复为“crunchies were made to be eaten”和“falls from a tree”，作者感叹手工制作偏好数据“太难了”。