这意味着想让模型以及模型驱动的功能运行在 Windows AI PC 上,在推理后端方面的工作会更加复杂。微软有 ONNX Runtime 和 DirectML(已进入续命状态)作为统一抽象层,但统一的代价是牺牲各厂商的峰值性能。苹果是目前唯一一家为自家 PC 硬件专门开发并持续维护 LLM 推理框架的 PC 厂商,这个框架就是 MLX。
Consensus Weight
。关于这个话题,PDF资料提供了深入分析
F-35 pilot based in Cyprus becomes first to destroy a target in combat – and celebrates with a single beer。关于这个话题,哔哩哔哩提供了深入分析
Overcoming Imposter Syndrome: My First Open Source Contribution