Joseph CostaandClaude Opus 4.8
9938d46a67
A stdlib pre-router in front of Ollama with LiteLLM backend: - auto model selection by content/tools/modality, with fallbacks - OpenAI /v1, Anthropic /v1/messages, and Ollama-native /api/* endpoints - Whisper-shaped /v1/audio/transcriptions + in-chat audio - key-based fleet policies (e.g. force a client onto uncensored models) - optional Bearer auth; launchd/systemd service install - benchmark harnesses (speed, quality, agentic tool use) with sample results Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
121 lines
2.5 KiB
JSON
121 lines
2.5 KiB
JSON
{
|
|
"qwen3-vl:30b-a3b-instruct": {
|
|
"math": 1.0,
|
|
"mc": 1.0,
|
|
"code": 1.0,
|
|
"ifollow": 0.6666666666666666,
|
|
"ocr": 1.0,
|
|
"overall": 0.9166666666666666,
|
|
"tps": 86.08918225170864
|
|
},
|
|
"qwen3-vl:8b": {
|
|
"math": 0.2,
|
|
"mc": 0.0,
|
|
"code": 0.3333333333333333,
|
|
"ifollow": 0.3333333333333333,
|
|
"ocr": 1.0,
|
|
"overall": 0.21666666666666667,
|
|
"tps": 58.06267489952323
|
|
},
|
|
"qwen3-coder:30b": {
|
|
"math": 1.0,
|
|
"mc": 0.8333333333333334,
|
|
"code": 1.0,
|
|
"ifollow": 0.6666666666666666,
|
|
"overall": 0.875,
|
|
"tps": 85.51818292912147
|
|
},
|
|
"glm-4.7-flash:latest": {
|
|
"math": 1.0,
|
|
"mc": 0.6666666666666666,
|
|
"code": 1.0,
|
|
"ifollow": 0.6666666666666666,
|
|
"overall": 0.8333333333333333,
|
|
"tps": 65.60893213491771
|
|
},
|
|
"gpt-oss:20b": {
|
|
"math": 0.8,
|
|
"mc": 0.0,
|
|
"code": 1.0,
|
|
"ifollow": 0.6666666666666666,
|
|
"overall": 0.6166666666666667,
|
|
"tps": 70.93934599819382
|
|
},
|
|
"qwen3.6:35b-a3b": {
|
|
"math": 0.8,
|
|
"mc": 0.8333333333333334,
|
|
"code": 1.0,
|
|
"ifollow": 1.0,
|
|
"overall": 0.9083333333333333,
|
|
"tps": 74.50862085584875
|
|
},
|
|
"gemma4:31b": {
|
|
"math": 1.0,
|
|
"mc": 1.0,
|
|
"code": 1.0,
|
|
"ifollow": 1.0,
|
|
"ocr": 1.0,
|
|
"overall": 1.0,
|
|
"tps": 16.5738240176472
|
|
},
|
|
"gemma4:26b": {
|
|
"math": 1.0,
|
|
"mc": 1.0,
|
|
"code": 1.0,
|
|
"ifollow": 1.0,
|
|
"ocr": 1.0,
|
|
"overall": 1.0,
|
|
"tps": 71.55240664310993
|
|
},
|
|
"qwen3.6:27b": {
|
|
"math": 1.0,
|
|
"mc": 0.8333333333333334,
|
|
"code": 1.0,
|
|
"ifollow": 1.0,
|
|
"overall": 0.9583333333333334,
|
|
"tps": 18.287797403043964
|
|
},
|
|
"gemma4:e4b": {
|
|
"math": 1.0,
|
|
"mc": 0.8333333333333334,
|
|
"code": 1.0,
|
|
"ifollow": 1.0,
|
|
"ocr": 1.0,
|
|
"overall": 0.9583333333333334,
|
|
"tps": 66.86943765975911
|
|
},
|
|
"qwen3:14b": {
|
|
"math": 1.0,
|
|
"mc": 1.0,
|
|
"code": 1.0,
|
|
"ifollow": 0.6666666666666666,
|
|
"overall": 0.9166666666666666,
|
|
"tps": 36.22066333837863
|
|
},
|
|
"gemma4:12b": {
|
|
"math": 0.8,
|
|
"mc": 0.6666666666666666,
|
|
"code": 1.0,
|
|
"ifollow": 1.0,
|
|
"ocr": 1.0,
|
|
"overall": 0.8666666666666667,
|
|
"tps": 36.30471836404827
|
|
},
|
|
"gemma4:e2b": {
|
|
"math": 1.0,
|
|
"mc": 0.6666666666666666,
|
|
"code": 1.0,
|
|
"ifollow": 1.0,
|
|
"ocr": 1.0,
|
|
"overall": 0.9166666666666666,
|
|
"tps": 101.34789160325633
|
|
},
|
|
"qwen3:8b": {
|
|
"math": 1.0,
|
|
"mc": 0.8333333333333334,
|
|
"code": 1.0,
|
|
"ifollow": 0.6666666666666666,
|
|
"overall": 0.875,
|
|
"tps": 59.89123849272082
|
|
}
|
|
} |