apify/crawlee
项目介绍
Crawlee——一个用于构建可靠爬虫的Node.js网络爬取和浏览器自动化库。支持JavaScript与TypeScript。可为人工智能、大语言模型、检索增强生成或GPT提取数据。从网站下载HTML、PDF、JPG、PNG等文件。兼容Puppeteer、Playwright、Cheerio、JSDOM及原始HTTP请求。支持有头模式与无头模式。提供代理轮换功能。
Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.
智能解读
原始标签
智能标签
使用场景
项目健康度
距上次更新 30 天
平台 Star TOP 9% · Forks 1,254
本周 +142 ⭐ · 本月 +607 ⭐
111 位贡献者 · 0 条平台评论
缺少 3 项内容
项目信息
赞赏支持
如果本站对你有帮助，欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
freeCodeCamp/freeCodeCamp
freeCodeCamp.org开源代码库与课程体系，免费学习数学、编程与计算机科学
openclaw/openclaw
属于你个人的AI助手。全操作系统支持。全平台兼容。龙虾之道。🦞
kamranahmedse/developer-roadmap
提供交互式学习路线图、指南和其他教育内容，帮助开发者在职业生涯中成长。
vuejs/vue
此仓库为Vue 2版本。Vue 3版本请访问https://github.com/vuejs/core
microsoft/vscode
Visual Studio Code
n8n-io/n8n
具备原生AI能力的公平代码工作流自动化平台。支持可视化构建与自定义代码，可选自托管或云端部署，集成400多种服务。
加载评论中...