#local-first

1 ชิ้นบนชั้นนี้

Headroom – บีบอัด context ก่อนส่งให้ LLM ลดต้นทุน token ได้ 60–95%

เลเยอร์บีบอัด context สำหรับ AI agent ช่วยลด token ได้ 60–95% (JSON ใน tool call/API response) และ 15–20% (โค้ดไฟล์ .py/.ts/.js จาก TypeScript project benchmark) โดยคงคำตอบเหมือนเดิม แต่แลกมาด้วย latency เพิ่ม รองรับ library, proxy, agent wrapper, MCP server พร้อมบีบอัดแบบ reversible (CCR) เก็บต้นฉบับไว้ดึงกลับได้ ตัวอย่างจริง: ลดจาก 10,144→1,260 token (87.6%) ยังหา error ได้ครบ ไม่เหมาะกับ prompt สั้น <500 token

llm · cost-optimization · compression · local-first

คัดมาจาก GitHub · อัปเดต 6 พ.ย. 2569