vllm-project/vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
高效 LLM serving 基礎設施，能補齊模型推理層的觀察面。
#amd#blackwell#cuda#deepseek#deepseek-v3#gpt#gpt-oss#inference#kimi#llama#llm#llm-serving#model-serving#moe#openai#pytorch#qwen#qwen3#tpu#transformer
為什麼值得關注
適合放進專案推薦站的原因
維持追蹤
這個 repo 已被加入每日同步清單，會自動更新熱度與活躍度資料。
有清楚定位
目前分類在「AI」，適合與同類工具放在一起做比較與導覽。
討論入口現成
你可以在這頁直接掛留言，也能把深度討論引導到 GitHub Discussions。
討論區
可以直接掛 GitHub Discussions