ML笔记：actual counterfactual prediction 反事实预测为什么重要
反事实预测：洞悉因果，驱动决策 反事实预测（Counterfactual Prediction）是一种通过模拟“如果……会怎样”…
ML笔记：机器学习中的协变量是什么？
在机器学习中，协变量（covariate）是指与研究或建模对象相关的变量，通常作为自变量（特征）用于解释或预测因变量（目标）。协…
AI内容农场：垃圾还是宝藏？
AI 内容农场：机遇与挑战并存 近年来，AI 内容农场泛滥，引发了人们对信息质量和真实性的担忧。然而，从积极的角度来看，AI 技…
Cursor 与OpenAI合作的编程工具，集成GPT-4
An IDE designed to be your AI pair-programmer. Cursor是一款与OpenAI合…
ML笔记：在大语言模型中，监督微调 （SFT）和 对齐（PPO、DPO）有什么不同的作用？
在大语言模型（LLM）中，监督微调（SFT）和对齐（PPO、DPO）是两种不同的技术手段，它们在模型优化和任务适应上有不同的作用…
ML笔记：PyTorch 监控 GPU 内存使用情况
torch.cuda.max_memory_reserved() 是 PyTorch 中用于监控 GPU 内存使用情况的一个函数…
ML笔记：alpaca-data-gpt4-chinese数据集是什么？
Alpaca-Data-GPT4-Chinese数据集是一个专门为中文语言模型训练而设计的数据集。以下是对该数据集的详细解释和介…
ML笔记：什么是组相对策略优化 (GRPO)？
什么是组相对策略优化 (GRPO)？ @deepseek_ai Coder v2 是最好的开放代码 LLM，在编码任务中可与 @…
ML笔记：fuggingface datasets 怎么自定义函数筛选数据
在 HuggingFace 的 datasets 库中，dataset.map 函数主要用于对数据集中的每个样本应用自定义处理函…
ML笔记：peft库使用qlora微调llm，参数r和lora_alpha的作用和建议的配置值
在使用QLoRA算法微调大型语言模型（LLM）时，参数r和lora_alpha起着关键作用。以下是它们的具体作用和建议的配置值：…
ML笔记：使用huggingface 开发的trl库进行大模型微调时，SFTTrainer 怎么配置模型结果保存频次的参数
在使用 Hugging Face 开发的 TRL 库进行大模型微调时，可以通过配置 SFTTrainer 的参数来控制模型结果保…
ML笔记：trl库 SFTTrainer的参数warmup_steps的作用和应该怎么配置
warmup_steps 是 SFTTrainer 中的一个重要参数，它的主要作用是控制学习率预热的步骤数。预热步骤的目的是在训…