AI レポート · Amazon · 2026-10-12 · ブログ・論評
Amazon SageMaker AI で llama.cpp を使い、意思決定モデルをデプロイする
原題: Deploy decision models with llama.cpp on Amazon SageMaker AI
llama.cpp による意思決定モデルを Amazon SageMaker AI にデプロイする手順を解説している。AWS DLC for llama.cpp で OpenAI 互換のチャット補完 API を提供し、さらに SemIf（旧称 OpenJev）で拡張して、回答トークンをデコードせずに宣言済みの選択肢ごとの確率を返す方法を示す。サンプルコードには CPU と GPU の両方のデプロイ例が含まれる。