crap

面向AI的网页数据API——将整个网站转换为LLM就绪的Markdown或结构化数据🔥

🕷️ 一个自适应网络爬虫框架，能够处理从单个请求到大规模爬取的所有任务！

Scrapy：Python 快速高级网页爬取与抓取框架

内置RAG、AI智能体、无代码智能体构建器、MCP兼容等功能的桌面与Docker一体化AI应用

创建可监控并代您执行的智能体。您的智能体随时待命！

为您的AI代理赋予观察整个互联网的能力。读取并搜索Twitter、Reddit、YouTube、GitHub、Bilibili、小红书——一个命令行工具，零API费用。

易采集：一个可视化无代码/免编程的网络爬虫工具，支持通过图形化界面设计和执行采集任务。别名：ServiceWrapper面向Web应用的智能化服务封装系统。

🕵️‍♂️ 通过用户名从数千个网站收集个人档案

👾 使用 Go 语言编写的快速简洁视频下载库与命令行工具

最优秀且简洁的网站变更检测、网页监控与网站变动提醒工具。完美适用于内容变更追踪、价格下降提醒、补货通知及网站篡改监控——完全免费或选择我们的SaaS方案！

使用AI编程代理，通过一条命令克隆任意网站

一个能够利用任何大型语言模型提供商对任意数据进行深度研究的自主智能体。

Crawlee——一个用于构建可靠爬虫的Node.js网络爬取和浏览器自动化库。支持JavaScript与TypeScript。可为人工智能、大语言模型、检索增强生成或GPT提取数据。从网站下载HTML、PDF、JPG、PNG等文件。兼容Puppeteer、Playwright、Cheerio、JSDOM及原始HTTP请求。支持有头模式与无头模式。提供代理轮换功能。

一款能通过所有机器人检测测试的隐形Chromium浏览器。可直接替代Playwright，并附带源码级指纹补丁。30/30项测试全部通过。

🔥 开源无代码网页抓取、爬虫、搜索与AI数据提取平台 • 数分钟内将网站转为结构化API 🔥

用于浏览和播放动漫的命令行工具

从Instagram下载图片（或视频）及其标题和其他元数据。

将文档网站、GitHub仓库和PDF文件转换为Claude AI技能，并具备自动冲突检测功能。

🦊 反检测浏览器

Crawlee——用于构建可靠爬虫的 Python 网页抓取与浏览器自动化库。为 AI、大语言模型、检索增强生成或 GPT 提取数据，支持从网站下载 HTML、PDF、JPG、PNG 等文件。兼容 BeautifulSoup、Playwright 及原始 HTTP 请求，支持有头模式和无头模式，具备代理轮换功能。

用于网络爬虫与数据处理的库、工具及API列表。

Tabula是一款用于从PDF文件中提取表格数据的工具

面向现代网络的隐私优先、自托管验证码解决方案。

为AI代理提供无头浏览器自动化服务器，用于访问通常被屏蔽的网站