Skip to main content
全网优质资源汇总✨

Search: #数据管理

  1. 🕷 🔁 AI 爬虫与数据采集工具合集

    📦 网页抓取 ｜ AI Agent ｜ 反爬工具 ｜ 数据处理框架



    🤖 browser-use
    ➤ AI浏览器代理，可点击/登录/填表/操作网页
    ➤ 像真人一样执行复杂网页任务
    ➤ ETH团队开发
    🔗 https://github.com/browser-use/browser-use

    ———

    🧱 Crawlee
    ➤ 生产级爬虫框架（Apify）
    ➤ 支持代理轮换 / 自动重试 / 队列管理
    ➤ 反封禁能力完善
    🔗 https://github.com/apify/crawlee

    ———

    🐍 Scrapy
    ➤ 工业级爬虫框架
    ➤ 支持百万级网页抓取
    ➤ 数据采集稳定成熟
    🔗 https://github.com/scrapy/scrapy

    ———

    📄 MarkItDown
    ➤ 多格式转 Markdown（网页/PDF/Office/图片）
    ➤ AI数据处理标准化工具
    🔗 https://github.com/microsoft/markitdown

    ———

    🧠 Scrapling
    ➤ 自适应反爬框架
    ➤ 自动适配网站结构变化
    ➤ 提升稳定性
    🔗 https://github.com/D4Vinci/Scrapling

    ———

    📱 scrcpy
    ➤ 安卓远程控制工具
    ➤ 用于移动端数据采集/自动化
    🔗 https://github.com/Genymobile/scrcpy

    ———

    🔍 AutoScraper
    ➤ 自动规则爬虫（无需写选择器）
    ➤ 输入样本自动学习规则
    🔗 https://github.com/alirezamika/autoscraper

    ———

    🌐 curl_cffi
    ➤ 浏览器级HTTP请求库
    ➤ 模拟真实Chrome指纹（TLS/JA3）
    ➤ 反检测能力强
    🔗 https://github.com/lexiforest/curl_cffi



    📌 简单说：
    👉 这是一整套从“AI自动操作网页”到“工业级爬虫与反反爬”的完整数据采集工具链。

    📂 #爬虫 #数据采集 #AI工具 #Agent #WebScraping

  2. 🔥 🔁 Firecrawl

    📦 Web抓取API ｜ 网络数据提取 ｜ AI代理工具



    ➤ 大规模网页抓取与搜索 API
    ➤ 可提取网页并转换为 Markdown / JSON 结构化数据
    ➤ 支持 JS 动态页面抓取（覆盖约96%网站）
    ➤ 低延迟高性能（约3.4s P95）
    ➤ 支持 PDF / DOCX 等网页文件解析
    ➤ 提供点击 / 滚动 / 输入等自动化操作能力
    ➤ 专为 AI Agent 与 LLM 应用设计
    ➤ 开源 + 托管服务双模式



    🌐 GitHub：
    https://github.com/firecrawl/firecrawl

    📌 简单说：
    👉 Firecrawl 是一个专为AI设计的网页抓取与内容结构化API，可以把整个互联网变成可被AI理解的数据源。

    📂 #AI工具 #WebScraping #Firecrawl #API #数据提取

  3. DBX 15 MB 驾驭 50+ 种数据库。桌面端 & Docker 自托管，内置 AI 助手

    一款轻量级、跨平台、可离线使用的数据库桌面客户端，支持 MySQL、PostgreSQL、SQLite、Redis、MongoDB 等 40+ 种数据库。集成了连接管理、SQL 编辑、数据表格和 AI 助手功能，并提供 Docker 自托管、Web 版、MCP Server 和 CLI。

    项目地址 官网地址

    #开源 #数据库软件 #电脑软件

  4. 文件时间修改器

    一款专业的本地文件与目录时间管理工具。能让您精准地修改文件的创建、修改及访问时间，精度最高可达微秒级别。软件还具备强大的时间备份与恢复功能，方便您在修改文件后快速还原其原始时间戳，或在复制文件时保持时间属性的一致性。

    其独有的“时间合理化分析”功能是一大亮点：它能智能检测文件时间戳（如创建时间早于修改时间）的逻辑合理性，并可根据简单设定一键修复不合理的时间序列，确保文件信息的规范与准确。

    下载查看评论区

    #文件管理 #时间戳 #Windows #数据管理 #软件推荐

  5. #数据库
    Surrealist-可视化管理SurrealDB数据库
    Surrealist 是可视化管理 SurrealDB 数据库的终极方式。毫不费力地连接到任何 SurrealDB 数据库并执行查询、浏览表和记录、设计您喜欢的架构等等。Surrealist 旨在适应广泛的工作流程，因此无论您是将 SurrealDB 推向极限，还是刚刚入门，Surrealist 都是完美的工具。
    Github：https://github.com/surrealdb/surrealist
    官网：https://surrealist.app
    特征
    查询视图
    使用查询视图对数据库执行查询。您可以在“变量”面板中定义变量并在查询中使用它们，并在“结果”面板中浏览结果。
    此外，还可以在“已保存的查询”中保存和组织查询，同时可以在“历史记录”抽屉中查看最近查询的列表。
    资源管理器视图
    资源管理器视图用于浏览数据库和检查单个记录。当您在左侧面板中选择一个表时，表内容将显示在记录资源管理器中。您可以单击记录 ID 以打开记录检查器，您可以在其中编辑记录内容和遍历图形关系。
    设计器视图
    设计器视图是一个功能强大的工具，可用于定义和管理数据库架构。您可以创建表和边，修改数据库模式，并在图形视图中可视化数据库表。
    身份验证视图
    使用身份验证视图通过创建命名空间登录名、数据库登录名或作用域来管理对数据库的访问。
    函数视图
    使用“函数”视图创建和管理架构级函数。使用内置的 SurrealQL 编辑器轻松编写函数，定义其输入参数并配置访问权限。
    模型视图
    使用“模型视图”将 SurML 文件上传到数据库，并列出可用的机器学习模型。
    API 文档视图
    API 文档通过提供多种可用语言的个性化 API 文档，帮助您更快地针对 SurrealDB 数据库进行开发。
    本地数据库服务…
    📡发布：https://noisevip.cn/18124.html
    🪧关注频道：@quanshoulu
    💬频道社群：https://www.noisework.cn/qun/
    📬投稿bot：@noisewowbot
    📇搜索bot：@Efficiencysearchbot
    🎁访问主页： www.noisework.cn