crawl

面向AI的网页数据API——将整个网站转换为LLM就绪的Markdown或结构化数据🔥

Scrapy：Python 快速高级网页爬取与抓取框架

🕷️ 一个自适应网络爬虫框架，能够处理从单个请求到大规模爬取的所有任务！

易采集：一个可视化无代码/免编程的网络爬虫工具，支持通过图形化界面设计和执行采集任务。别名：ServiceWrapper面向Web应用的智能化服务封装系统。

Crawlee——一个用于构建可靠爬虫的Node.js网络爬取和浏览器自动化库。支持JavaScript与TypeScript。可为人工智能、大语言模型、检索增强生成或GPT提取数据。从网站下载HTML、PDF、JPG、PNG等文件。兼容Puppeteer、Playwright、Cheerio、JSDOM及原始HTTP请求。支持有头模式与无头模式。提供代理轮换功能。

下一代爬虫和蜘蛛框架。

✨ The open-source no-code platform for web scraping, crawling, search and AI data extraction • Turn websites into structured APIs in minutes ✨

新一代爬虫平台，通过图形化方式定义爬虫流程，无需编写代码即可实现数据采集。

Crawlee——用于构建可靠爬虫的 Python 网页抓取与浏览器自动化库。为 AI、大语言模型、检索增强生成或 GPT 提取数据，支持从网站下载 HTML、PDF、JPG、PNG 等文件。兼容 BeautifulSoup、Playwright 及原始 HTTP 请求，支持有头模式和无头模式，具备代理轮换功能。

用于网络爬虫与数据处理的库、工具及API列表。

摄取、解析并优化任意数据格式 ➡️ 从文档到多媒体 ➡️ 以增强与GenAI框架的兼容性

🔥 官方 Firecrawl MCP 服务器 - 为 Cursor、Claude 及其他 LLM 客户端添加强大的网络爬取功能

novel-plus is a multi-platform (PC, WAP) reading and feature-rich novel CMS system. It includes novel recommendations, novel search, novel rankings, novel reading, novel bookshelf, novel reviews, novel crawler, member center, writer zone, recharge subscription, news publishing, and other features.

集信息收集、漏洞扫描与爬虫于一体的全能工具，是渗透测试人员的必备利器

AnyCrawl 🚀：一款基于Node.js/TypeScript的爬虫工具，可将网站转化为适用于大语言模型的就绪数据，并能从谷歌、必应、百度等搜索引擎提取结构化搜索结果。原生支持多线程以进行批量处理。

NewPipe用于从流媒体网站提取数据的核心库

Coomer|kemono.party 或 su 下载器

一个基于逆向工程实现的微信视频号加密视频在线解密工具及API服务。该项目利用微信官方的WebAssembly模块生成Isaac64伪随机数密钥流，并通过异或运算完成视频解密。

Firecrawl 的文档