Laporan AI · Amazon · 2026-10-26 · Blog / komentar
Groundhog Day untuk agen AI: Pola prompt caching untuk menggunakan model OpenAI di Amazon Bedrock
Judul asli: Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
Setiap langkah agen membuat model membaca ulang seluruh konteksnya, termasuk definisi alat, instruksi, dan riwayat, yang meningkatkan biaya input dan latensi. Prompt caching untuk model OpenAI di Amazon Bedrock menyimpan prompt input dan menggunakannya kembali pada permintaan berikutnya, sehingga biaya dan latensi berkurang tanpa mengirim ulang konteks yang sama di setiap giliran. Ini juga membantu agen tetap responsif dan konsisten saat mereka mendapatkan alat baru dan menjalankan agen pembantu.