Skip to main content
全网优质资源汇总✨

Search: #LLM微调

  1. 🔥 Soup — 一行 YAML 微调 8B 大模型
    📦 AI工具 | Python | 开源项目


    ➤ 通过 Layer Streaming 逐层加载模型,降低显存占用
    ➤ RTX 3050 Laptop 4GB 实测运行 Llama-3.1-8B-Instruct + NF4
    ➤ 实测峰值显存占用 3.32 GB,报告速度达 119.6 tok/s
    ➤ 支持本地 QLoRA 微调,无需依赖云端 GPU
    ➤ 通过 YAML 配置训练参数,一条命令启动训练
    ➤ 自动检测 GPU、量化及 batch size 等设置
    ➤ 严格校验配置字段,避免拼写错误被静默忽略
    ➤ 修复 MLX 后端参数静默失效问题
    ➤ 记录并展示 validation loss 验证损失
    ➤ 提供 Colab T4 测试环境,验证流式与常驻模式结果


    📌 简单说:面向大语言模型微调的 Python CLI 工具,通过逐层流式加载降低显存需求,让低显存设备也有机会进行 8B 模型微调。Layer Streaming 功能目前为 BETA,实际性能取决于硬件、模型和训练配置。

    📢 项目地址:
    GitHub 开源项目

    📂 #AI工具 #LLM微调 #LoRA #QLoRA #Python #大模型 #开源项目
  2. #AI #LLM
    Flyflow一行代码即可解锁低延迟可微调LLM模型
    介绍
    Flyflow是在2024年3月推出的一项针对模型微调API集成的一项服务,Flyflow 是中间件,旨在针对所有LLM的响应、延迟、安全性等进行优化,构建为开源、用 golang 编写的高性能,以及可选的自托管以实现最大的灵活性。
    ⚠️:截止本文发送时间该服务处于早期运行阶段
    官网:https://flyflow.dev
    GITHUB:https://github.com/flyflow-devs/flyflow
    特征
    Flyflow 使用 openai 自动跟踪您的查询模式,您可以使用它来微调 mixtral MoE 或 llama 70b,以匹配查询模式上 GPT4 的质量。
    推理
    Flyflow 通过在许多不同的推理提供程序之间进行负载均衡,可以大幅提高令牌限制和可靠性。
    使用 anyscale、together.ai 和 fal 等提供商托管您的自定义精细模型,并使用与 GPT4 相同的质量水平来优化延迟、令牌/秒和速率限制。
    这也实现了更高的可靠性,因为如果提供商发生故障,我们可以放弃回退来接载负载。
    安全性和可观测性
    Flyflow 还可以充当安全中间件,防止敏感信息到达推理提供者(包括 openai 和 microsoft)。
    提供易于配置的插件,允许您从查询中过滤 PII,以及帮助您了解组织如何使用 LLM 的高级可观测性工具。
    可配置性
    Flyflow 被设计为具有极强的可配置性。后端是用 golang 编写的,旨在最大限度地提高性能,同时不影响开发人员的灵活性。
    API端点可用模型
    Model Name | API String | Context Length…
    📡发布:https://noisevip.cn/17989.html
    📢关注频道:@quanshoulu
    💬频道社群:https://www.noisework.cn/qun/
    📬投稿bot:@noisewowbot
    📇搜索bot:@Efficiencysearchbot
    🎁访问主页: www.noisework.cn