Skip to main content
全网优质资源汇总✨

Search: #数据处理

  1. 🕷 🔁 AI 爬虫与数据采集工具合集

    📦 网页抓取 ｜ AI Agent ｜ 反爬工具 ｜ 数据处理框架



    🤖 browser-use
    ➤ AI浏览器代理，可点击/登录/填表/操作网页
    ➤ 像真人一样执行复杂网页任务
    ➤ ETH团队开发
    🔗 https://github.com/browser-use/browser-use

    ———

    🧱 Crawlee
    ➤ 生产级爬虫框架（Apify）
    ➤ 支持代理轮换 / 自动重试 / 队列管理
    ➤ 反封禁能力完善
    🔗 https://github.com/apify/crawlee

    ———

    🐍 Scrapy
    ➤ 工业级爬虫框架
    ➤ 支持百万级网页抓取
    ➤ 数据采集稳定成熟
    🔗 https://github.com/scrapy/scrapy

    ———

    📄 MarkItDown
    ➤ 多格式转 Markdown（网页/PDF/Office/图片）
    ➤ AI数据处理标准化工具
    🔗 https://github.com/microsoft/markitdown

    ———

    🧠 Scrapling
    ➤ 自适应反爬框架
    ➤ 自动适配网站结构变化
    ➤ 提升稳定性
    🔗 https://github.com/D4Vinci/Scrapling

    ———

    📱 scrcpy
    ➤ 安卓远程控制工具
    ➤ 用于移动端数据采集/自动化
    🔗 https://github.com/Genymobile/scrcpy

    ———

    🔍 AutoScraper
    ➤ 自动规则爬虫（无需写选择器）
    ➤ 输入样本自动学习规则
    🔗 https://github.com/alirezamika/autoscraper

    ———

    🌐 curl_cffi
    ➤ 浏览器级HTTP请求库
    ➤ 模拟真实Chrome指纹（TLS/JA3）
    ➤ 反检测能力强
    🔗 https://github.com/lexiforest/curl_cffi



    📌 简单说：
    👉 这是一整套从“AI自动操作网页”到“工业级爬虫与反反爬”的完整数据采集工具链。

    📂 #爬虫 #数据采集 #AI工具 #Agent #WebScraping

  2. 🕷 🔁 Crawl4AI

    📦 网页抓取工具 ｜ LLM数据清洗 ｜ Markdown转换



    ➤ 任意网站 → 干净 LLM-ready Markdown
    ➤ 自动清洗网页结构与噪声内容
    ➤ 支持结构化数据提取
    ➤ 无需 API Key / 无账号 / 无计费限制
    ➤ 比部分商业爬虫服务更快更轻量
    ➤ 专为 AI / LLM 数据输入优化
    ➤ GitHub 热门开源项目



    🌐 GitHub：
    https://github.com/unclecode/crawl4ai

    📌 简单说：
    👉 Crawl4AI 是一个高性能网页转文本工具，可以把任何网站转换成干净结构化内容，方便直接喂给大模型使用。

    📂 #AI工具 #爬虫 #Crawl4AI #LLM #数据处理

  3. 🎨 ChatExcel - 聊天即处理表格与生成 PPT
    央视获奖工具 · 10秒获得数据洞察

    📌 工具介绍：
    说人话，出专业表。通过对话完成 Excel 数据清洗、分析及可视化，甚至一句话生成专业 PPT。


    ⚡️ 核心特点：
    • 🛠 极速处理：10秒搞定 400+ 函数与多表合并。
    • 🔍 深度分析：自动提取洞察，生成可视化报告。
    • ⚙️ 全能办公：支持文档转 Excel 及一键生成 PPT。


    🌐 在线体验：
    https://www‍.chatexcel‍.com/

    #ChatExcel #AI办公 #Excel工具 #数据分析 #PPT生成

  4. SheetCleaner

    这是一款完全基于浏览器运行的免费在线工具，专注于 Excel、WPS、Numbers 等表格文件（.xlsx/.xls/.csv）中的重复项清理与数据整理。支持多达 9 种智能去重策略（如精确匹配、多列联合、忽略空白字符、正则表达式、跨表处理等），能够处理百万级数据（最高约 200 万行、50–100MB 文件）。涵盖上传 → 选择规则 → 下载结果的简单三步流程，无需注册或安装，所有操作都在本地完成，确保隐私和数据安全，处理速度快、无服务器依赖，支持离线使用。

    点击访问

    #数据清洗 #Excel去重 #在线工具 #纯前端

  5. #低代码 #数据 #自动化
    ussknacker低代码数据自动化
    ussknacker允许您使用易于使用的GUI设计，部署和监控实时决策算法。
    对于无状态用例，可以部署到 Kubernetes 的轻量级、可扩展和高性能引擎。 当需要更高级的有状态场景时
    可以利用 Apache Flink 的强大功能和可靠性来使您的流程快速准确
    主要特点
    易于使用、决策算法的流程图、强大的表达式语言
    自动完成和验证、测试和监控工具
    REST （OpenAPI） 和数据库 （JDBC） 扩充、推断富集的 ML 模型
    一键部署、版本历史、部署灵活性、在基于 Flink 或 K8s 的轻量级引擎上运行
    Kafka® 和 HTTP 接口、与Kafka兼容平台集成，如Confluent® Cloud，Azure Event Hubs®和Aiven® for Apache Kafka®
    流式处理和请求-响应模式、可定制和可扩展具有企业扩展的开源
    访问：https://nussknacker.io
    📡发布：https://noisevip.cn/16751.html
    📢关注频道：@quanshoulu
    💬留言讨论：@Efficiencyfollow
    📬投稿bot：@noisewowbot
    📇搜索bot：@Efficiencysearchbot
    🎁访问主页： www.noisework.cn

  6. #AI #数据监测 #标注
    简单快速的图文标记注释工具
    kili是一个专业训练数据标记的智能化平台
    通过可自定义的注释任务以及针对生产力和质量进行优化的界面，快速准确地注释所有类型的非结构化数据。
    自动标记，通过智能工具和模型预测节省时间。
    将标记过的数据统一模型智能处理，简化高级协作工作流程。
    利用程序化质量检查。浏览数据集并确定重要数据。
    同时支持在 5 分钟内将您的机器学习工作流程转换为以数据为中心的 AI 工作流程
    免费版包含
    - 图像、视频、文本、PDF、大图像和富文本标签界面
    - 最多 5，000 个注释
    官网：https://kili-technology.com
    📡发布：https://noisevip.cn/16687.html
    📢关注频道：@quanshoulu
    💬留言讨论：@Efficiencyfollow
    📬投稿bot：@noisewowbot
    📇搜索bot：@Efficiencysearchbot
    🎁访问主页： www.noisework.cn