apogee-ai-eval

Offline + online evaluation harness with G-Eval, faithfulness, bias and judge-LLM scorers.

Esta página está sendo ampliada

As tabelas abaixo são geradas do código-fonte do pacote, portanto estão corretas. Guias narrativos e exemplos comentados estão sendo escritos módulo a módulo.

API pública

Tudo abaixo é exportado pela raiz do pacote, então from apogee_ai_eval import X funciona para cada nome.

Camada	Símbolos
Application · DTOs	CompareRunsDTO, GateDTO, GateResultDTO, RunSuiteDTO, SetBaselineDTO
Application · Use cases	CompareRunsUseCase, GetRunUseCase, ListRunsUseCase, RegressionGateUseCase, RunSuiteUseCase, SetBaselineUseCase
Domain	Baseline, CaseComparison, CaseInvocation, CaseResult, Comparison, EvalCase, EvalRun, EvalSuite, JudgeVerdict, MetricComparison, MetricResult, MetricSpec, RegressionGate, RegressionStatus, Score, Severity, Verdict
Domain · Enums	MetricKind
Domain · Exceptions	BaselineNotFoundException, CaseNotFoundException, DatasetParseException, EvalError, InvokerException, JudgeException, MetricException, RegressionGateException, RunNotFoundException, SuiteNotFoundException
Domain · Protocols (ports)	IAgentInvoker, IBaselineRepository, IDatasetRepository, IJudge, IMetric, IReporter, IRunRepository, ISuiteRepository
Infrastructure	AnthropicJudge, ContainsMetric, CostMetric, DeepEvalAdapter, EchoAgentInvoker, EqualsMetric, FunctionAgentInvoker, InMemoryBaselineRepository, InMemoryDatasetRepository, InMemoryRunRepository, InMemorySuiteRepository, JsonBaselineRepository, JsonMatchMetric, JsonReporter, JsonRunRepository, JsonlDatasetRepository, JudgeCustomMetric, JudgeFaithfulnessMetric, JudgeRelevanceMetric, JudgeToxicityMetric, JunitReporter, LatencyMetric, LengthMetric, MarkdownReporter, OpenAIJudge, RagasAdapter, RegexMetric, RuleBasedJudge, TrajectoryMetric, TruLensAdapter, YamlSuiteRepository, default_metrics

Instalação

Bash

pip install apogee-ai-eval

A instalação base não tem dependência externa obrigatória. Cada extra habilita um adapter.

Extra	Traz
anthropic	anthropic>=0.25
openai	openai>=1.30
ragas	ragas>=0.2, datasets>=2.20
trulens	trulens-eval>=1.0
deepeval	deepeval>=2.0
all	anthropic>=0.25, openai>=1.30, ragas>=0.2, datasets>=2.20, trulens-eval>=1.0, deepeval>=2.0

CLI

Instalado como console script e registrado como plugin do apogee, então os mesmos subcomandos funcionam sob o binário global.

Bash

apogee-eval --help

Leia a seguir

• Instalação
• Referência — todo símbolo público, gerado do código-fonte
• Apogee Framework — como os pacotes se encaixam