[codex] Add speculative draft Prometheus metrics - #22
Draft
nycdubliner wants to merge 1 commit into
Draft
Conversation
fukuro-kun
pushed a commit
to fukuro-kun/fukuro-llama-cpp-turboquant
that referenced
this pull request
Jul 20, 2026
…micBot-ai#23 DuoServe ⏭️ Tiefen-Evals 3 parallele Tiefen-Evals für Tier-3 Items: AtomicBot-ai#18 DALI Workload-Aware MoE Offloading ☐ MACHBAR GESTAFFELT: - 3 Komponenten: Cache-Policy (+38%, 2-3 Wo), Greedy Assignment (+4.1×, 3-4 Wo), Residual-Prefetch (+9%, 2 Wo) - Greedy = identisch mit AtomicBot-ai#40 Phase 2 'tiefer GGML-Eingriff' (-7% tg) - Kein Referenzcode (KTransformers closed-source) - Paper-Zahlen 7.62×/3.97× vs vanilla llama.cpp, Fork hat bereits MoE-Cache+thecodacus → realistisch pp 1.5-3×, tg 1.1-1.4× - MVP: Phase 1 Cache-Policy (POLICY_WORKLOAD) nach TheTom#69 Benchmark - Synergie mit AtomicBot-ai#40 (Frequency-Tracking als Greedy-Input) - Aufwand revidiert: 4-6 → 2-3 Wo (Phase 1) / 7-9 Wo (vollständig) AtomicBot-ai#22 GWQ Gradient-Aware Weight Quantization ❌ VERWORFEN: - GWQ ist PTQ, Fork nutzt QAT Q4_K_XL (seit 2026-07-10) - QAT methodisch überlegen (Outlier im Training gelernt) - 1.2× Speedup bezieht sich auf FP16, nicht Q4_K_XL → kein Speedup - Kein Referenzcode (5-7 Wo aus Pseudocode) - Vulkan-Mixed-Kernel hochriskant für Mars/Venus - Aufwand revidiert: 4-6 → 5-7 Wochen AtomicBot-ai#23 DuoServe-MoE Dual-Phase Expert Scheduling ⏭️ SPÄTER: - Kein Referenzcode (vLLM closed-source) - Prefill-Two-Stream auf Styx wenig wirksam (CPU-Offload-Dominanz) - Decode-Predictor: Architektur-Mismatch (DuoServe Top-k=2 Cache vs Fork budget-basiert → wäre Regression) - Konflikt mit TheTom#69 Heuristic + TheTom#70 ST-MoE (nur eine aktiv) - Synergie mit AtomicBot-ai#40 (Popularity-Matrix als Predictor-Input) - Aufwand revidiert: 6-8 → 7-10 Wochen - Bedingungen: TheTom#69 <5% UND TheTom#70 unzureichend UND AtomicBot-ai#40-Daten gesammelt
fukuro-kun
pushed a commit
to fukuro-kun/fukuro-llama-cpp-turboquant
that referenced
this pull request
Jul 20, 2026
…efen-Evals — Tier-3 komplett Letzte 2 Tiefen-Evals für Tier-3 Items: AtomicBot-ai#43 SliderQuant (Sliding-layer PTQ) ⏭️ SPÄTER (conditional): - PTQ, Fork nutzt QAT Q4_K_XL (methodisch überlegen, wie AtomicBot-ai#22 GWQ) - Referenzcode vorhanden (github.com/deep-optimization/SliderQuant, PyTorch) aber hilft nicht beim C++/Vulkan-Port - Vulkan-Kernel-Neuentwicklung hochriskant für Mars/Venus - Hardware-Relevanz niedrig: QAT löst Low-Bit-Druck bereits - Aufwand revidiert: 4-6 → 6-10 Wochen - Reaktivierung nur bei QAT-Lücke für spezifisches Zielmodell AtomicBot-ai#44 Alloc-MoE (Budget-aware Expert Activation) ☐ MACHBAR GESTAFFELT: - Alloc-L (Layer-Level, DP + Sensitivity-Profiling) ist MVP mit 3-4 Wochen - Alloc-T (Token-Level) bringt bei Decode T=1 nichts — 1.34× decode-Speedup stammt aus Alloc-L (reduziertes K), nicht Alloc-T - Synergie mit AtomicBot-ai#40 (Freq-Tracking als Input) und TheTom#62 (Profiler-Infra) - Kein Konflikt mit moe-cache.cu (synergistisch) - Styx profitiert klar (CPU-bound → halbe Aktivierungen = halbe CPU-Last) - RISIKO: 17% Quality-Drop bei K=2 (Gemma 4 A4B) — Quality-Benchmark vor Go - Aufwand revidiert: 6-8 → 3-4 Wo (Phase 1) / 7-9 Wo (voll+Vulkan) Tier-3 Tiefen-Evals KOMPLETT (11/11 Items): - ☐ Machbar: TheTom#71, AtomicBot-ai#44, AtomicBot-ai#18 (gestaffelt, mit Solo-Plan) - ⏭️ Später: TheTom#76, TheTom#75, AtomicBot-ai#23, AtomicBot-ai#43 (Abhängigkeiten/Risiko) - ❌ Verworfen: TheTom#73, TheTom#72, TheTom#74, AtomicBot-ai#22 (Architektur/Redundanz/QAT-Konflikt) Priorisierung aktualisiert: 3 machbare + 4 spätere + 4 verworfene.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Summary
/metricsendpointspec_typeusing the implementation type already tracked bycommon_speculative_stateValidation
cmake --build build-hip-rocwmma --target llama-server -j "$(nproc)"127.0.0.1:8084curl -s http://127.0.0.1:8084/metrics | rg "speculative|draft"before and after one chat completion; counters increased from zero to generated/accepted valuesgit diff --checkNotes
The exported counters use the same in-memory source counters as the
statistics <type>server log line. No log parsing or separate metrics endpoint is added.