Hugging Face 揭秘 H4 团队:仅用两人打造 Zephyr 等开源模型
TechCrunch 报道 Hugging Face 旗下仅有两名成员的 H4 团队,正专注于大模型对齐研究。他们此前打造了热门的 Zephyr-7B-α 等开源模型,团队虽小但调用了千张 A100 GPU,并把训练代码与数据集整合成手册免费公开。
TechCrunch 报道 Hugging Face 旗下仅有两名成员的 H4 团队,正专注于大模型对齐研究。他们此前打造了热门的 Zephyr-7B-α 等开源模型,团队虽小但调用了千张 A100 GPU,并把训练代码与数据集整合成手册免费公开。
Hugging Face 宣布全面集成阿布扎比 TII 开源的 Falcon 系列模型。Falcon-40B 采用 Apache 2.0 协议且允许商用,在开源排行榜上击败 LLaMA-65B 登顶。得益于 Multi-Query Attention,其推理显存大幅降低,7B 版本甚至可在消费级显卡及 Mac 上运行。