太平洋时间10月7日上午10点,微软在美国旧金山举办的发布会中宣布,GitHub Copilot将在本月底前支持本地AI模型推理,开发者可在云端模型与设备端模型之间自动或手动切换。
微软为GitHub Copilot用户提供自动编排或强制使用设备端模型两种模式,用户可在GitHub Copilot CLI、Copilot应用与Visual Studio Code中设置偏好。
本地模型选择支持指定提供程序、模型或端点;开发者可通过Windows ML选择MAI Code 1.1 Flash,或连接OpenAI兼容的本地端点并选用其暴露的模型。微软推出MAI Code 1.1 Flash混合专家模型,总参数1370亿,活跃参数68亿,采用量化与推测解码技术优化响应速度与内存占用。
该模型在Surface Laptop Ultra上实测,解码吞吐量在提示长度从2K到256K Token时介于每秒40至63个词元。
