AWS在re:Invent 2021大會中發(fā)表的機器學習SageMaker無服務器推理（SageMaker Serverless Inference）服務，現(xiàn)在已經正式上線。用戶可以使用該服務快速部署機器學習模型，執(zhí)行推理工作負載，而不需要配置和管理底層基礎設施。
當用戶在SageMaker部署模型時，只需要選擇無服務器選項，SageMaker就會根據推理請求的數(shù)量，自動配置、擴展和縮減運算容量，AWS提到，用戶僅需要針對處理推理請求的運算容量，和資料量支付費用，不需要對空閑時間付費，因此很適合用于間歇性或是不可預測流量的應用程式。
從re:Invent 2021大會發(fā)布以來，AWS持續(xù)更新SageMaker無服務器推理，加入了對Python SDK的支援，抽象模型部署來簡化開發(fā)者的工作，同時支援模型注冊表，讓開發(fā)者可以整合無服務器推理端點和MLOps工作流程。AWS也加大每個端點并行觸發(fā)的上限，從50提升到200，使得用戶可以將SageMaker無服務器推理用于高流量工作負載。
