nerkyor / Qwen3.5-9B-GGUF-imatrix

Text Generation1480Updated May 23, 2026

Downloads

148

Likes

0

Last updated

May 23, 2026

License

apache-2.0

这是 Lynn 首发本地 9B 路线 Qwen3.5-9B GGUF 量化包 v2 升级版:vendor 自带的 MTP(Multi-Token Prediction)head 完整保留,llama.cpp --spec-type draft-mtp 启用后单流 TPS +44% / thinking 长链 +144%。

Tasks & library

  • text generation

Tags

  • gguf
  • qwen
  • qwen3.5
  • q4_k_m
  • imatrix
  • mtp

Technical specifications

ParametersNot available
LibraryNot available
Languageszh, en
Base modelQwen/Qwen3.5-9B
Licenseapache-2.0