社区Reddit r/LocalLLaMA2026/02/12 21:0610
本文围绕使用 TinyLlama‑1.1B 为 Tamazight（Tifinagh 脚本）打造聊天机器人 Awal‑LM 的实战经验展开。作者面临 tokenizer 覆盖不足、输出重复循环以及指令化不足等难题。文章提供了手动添加 Tifinagh token、重新训练词表、采样惩罚、负样本标注、数据增强（回译、合成对话）以及先进行小规模持续预训练后再 …
专题：lora-qlora
按该标签聚合的大模型资讯列表（自动分类与标签提取）。共 1 篇文章。