微软副总裁开源gputaskman工具 实时监控GPU显存占用并识别本地AI模型

微软副总裁Scott Hanselman近日开源命令行工具gputaskman，采用htop风格终端界面，可实时展示GPU整体利用率、温度、功耗及各进程的显存占用详情，支持CUDA、Vulkan与DirectML等运行时识别。该工具核心价值在于解决Windows任务管理器长期无法拆解显存归属的问题——当15GB显存被占满时，系统仅显示“GPU使用率高”，而gputaskman能明确列出具体进程及其显存消耗。针对本地AI推理场景，工具内置“模型检查器”模块，可识别Ollama、LM Studio、llama.cpp等框架加载的大语言模型名称、量化方式（如Q4_K_M）、参数规模及KV Cache预估开销，在RTX 4090设备上对主流模型识别准确率超85%，显存估算误差±5%以内。技术上依赖WDDM与NVML接口，当前主要支持NVIDIA GPU，AMD与Apple Silicon支持处于早期阶段。项目发布一周内已获十余个社区PR贡献，涵盖中文适配与跨平台扩展。Hanselman强调其为早期实验性软件，模型识别基于启发式推断，非工业级精确，但已大幅降低用户排查显存问题的操作门槛。该工具被视为微软边缘AI资源调度技术路径的开发者先行版，呼应其专利中关于利用闲置GPU进行微调的构想，标志着GPU资源管理正从‘系统可见’迈向‘应用可知’的新阶段。