简要介绍发文时间点上中国配置vscode claude plugin+claude code cli的最佳实践。这种方法除了没法开/thinking之外(需要LLM api provider日后支持)没有什么缺陷。
KVCache
发表于
分类于
LLM
简要介绍KVCache
BBPE
发表于
分类于
LLM
简要介绍BBPE的核心思路,这是LLM(LLaMA,Qwen,etc.)普遍使用的初始化词表的方法
BGE-M3
简要介绍BGE(BAAI General Embedding)-M3的技术方案
papers-Qwen系列
回顾Qwen系列
papers-LLaMA系列
重点回顾LLaMA系的重要节点,很多trick都是老朋友了
QLoRA
发表于
分类于
LLM
Papers-GPT3&RLHF
Scaling law
发表于
分类于
LLM
简单介绍Scaling law
PEFT框架性指南
发表于
分类于
LLM
目前LLM微调基本就是指Parameter Efficient Finetuning(PEFT),其特点就是与传统概念的全量FT不同,只更新(添加)极少量的参数。PEFT方法非常多,这里给出一个整体框架。