evaluation

构建AI/大语言模型应用的开源开发者平台，提供端到端追踪、可观测性与评估功能的一体化集成平台

🪢 开源LLM工程平台：LLM可观测性、指标评估、提示管理、游乐场、数据集。与OpenTelemetry、Langchain、OpenAI SDK、LiteLLM等工具集成。🍊YC W23

测试您的提示词、智能体和检索增强生成系统。针对大语言模型的红队测试、渗透测试与漏洞扫描。对比GPT、Claude、Gemini、Llama等模型的性能表现。支持命令行与CI/CD集成的简易声明式配置。

通过全面的追踪、自动化评估和生产就绪的仪表盘，调试、评估并监控您的LLM应用、RAG系统和智能体工作流。

基于大语言模型的深度文档理解框架，支持使用 RAG 范式实现语义检索和上下文感知应答。

大语言模型评估框架

轻松微调、评估和部署gpt-oss、Qwen3、DeepSeek-R1或任何开源LLM/VLM！

AI可观测性与评估体系。

大语言模型漏洞扫描器

开源LLMOps平台：集提示词游乐场、提示词管理、大语言模型评估与模型可观测性于一体。

TEAMMATES 是一款用于教育的反馈管理工具

停止手动提示，开始精确指定

KernelBench：大语言模型能否编写GPU内核？——支持Torch转CUDA的基准测试与工具集

📷 专为维基爱竞赛设计且由该竞赛使用的照片评估工具