web-scraping

面向AI的网页数据API——将整个网站转换为LLM就绪的Markdown或结构化数据🔥

Scrapy：Python 快速高级网页爬取与抓取框架

内置RAG、AI智能体、无代码智能体构建器、MCP兼容等功能的桌面与Docker一体化AI应用

最优秀且简洁的网站变更检测、网页监控与网站变动提醒工具。完美适用于内容变更追踪、价格下降提醒、补货通知及网站篡改监控——完全免费或选择我们的SaaS方案！

Crawlee——一个用于构建可靠爬虫的Node.js网络爬取和浏览器自动化库。支持JavaScript与TypeScript。可为人工智能、大语言模型、检索增强生成或GPT提取数据。从网站下载HTML、PDF、JPG、PNG等文件。兼容Puppeteer、Playwright、Cheerio、JSDOM及原始HTTP请求。支持有头模式与无头模式。提供代理轮换功能。

🕷️ 一个自适应网络爬虫框架，能够处理从单个请求到大规模爬取的所有任务！

✨ The open-source no-code platform for web scraping, crawling, search and AI data extraction • Turn websites into structured APIs in minutes ✨

将文档网站、GitHub仓库和PDF文件转换为Claude AI技能，并具备自动冲突检测功能。

Crawlee——用于构建可靠爬虫的 Python 网页抓取与浏览器自动化库。为 AI、大语言模型、检索增强生成或 GPT 提取数据，支持从网站下载 HTML、PDF、JPG、PNG 等文件。兼容 BeautifulSoup、Playwright 及原始 HTTP 请求，支持有头模式和无头模式，具备代理轮换功能。

用于网络爬虫与数据处理的库、工具及API列表。

🔥 官方 Firecrawl MCP 服务器 - 为 Cursor、Claude 及其他 LLM 客户端添加强大的网络爬取功能

从谷歌地图抓取数据。提取每个地点的名称、地址、电话号码、网站URL、评分、评论数量、经纬度、评论内容、电子邮件等信息。

免费反指纹浏览器，指纹浏览器，隐私浏览器，防识别浏览器，反识别浏览器，防关联浏览器，免费的 Web3 空投专用指纹浏览器 https://vbhub.net/?src=github

在接下来的30天左右学习Python。

Finviz分析Python库

WebAI2API：基于 Camoufox 的网页 AI 转 API 工具，支持 LMArena/Gemini 等平台，具备多窗口并发与账号隔离功能。