Akamai Percepat Implementasi AI dengan Solusi Cloud Inference Terbaru

Akamai, perusahaan terkemuka di bidang keamanan siber dan solusi cloud, baru-baru ini memperkenalkan Akamai Cloud Inference, sebuah inovasi yang dirancang untuk mempercepat dan mengefisienkan implementasi kecerdasan buatan (AI). Solusi ini bertujuan untuk mengubah model prediktif dan large language model (LLM) menjadi tindakan nyata dengan lebih cepat dan efektif.

Adam Karon, COO dan GM Cloud Technology Group di Akamai, menjelaskan bahwa meskipun pelatihan LLM yang kompleks dan berat akan terus dilakukan di pusat data hyperscale, inferensi yang dapat ditindaklanjuti akan terjadi di edge. Platform yang telah dibangun Akamai selama lebih dari dua dekade menjadi fondasi penting untuk masa depan AI, membedakannya dari penyedia cloud lainnya di pasar.

Akamai Cloud Inference menawarkan sejumlah keunggulan, termasuk peningkatan throughput hingga tiga kali lipat dan pengurangan latensi hingga 2,5 kali. Lebih lanjut, solusi ini diklaim dapat menghemat biaya inferensi AI dan beban kerja AI agentik hingga 86% dibandingkan dengan infrastruktur hyperscale tradisional. Akamai Cloud Inference mencakup beberapa komponen utama:

• Komputasi: Akamai Cloud menyediakan berbagai pilihan komputasi, mulai dari CPU klasik untuk inferensi yang dioptimalkan hingga opsi komputasi dipercepat dengan GPU dan VPU ASIC. Integrasi dengan ekosistem AI Enterprise Nvidia, termasuk Triton, TAO Toolkit, TensorRT, dan NVFlare, memungkinkan optimalisasi kinerja inferensi AI pada GPU NVIDIA.
• Manajemen Data: Akamai memungkinkan pelanggan memanfaatkan potensi penuh inferensi AI dengan fabrik data mutakhir yang dirancang khusus untuk beban kerja AI modern. Kemitraan dengan VAST Data memfasilitasi akses yang disederhanakan ke data real-time, mempercepat tugas-tugas terkait inferensi yang penting untuk memberikan hasil yang relevan dan pengalaman responsif.
• Kontainerisasi: Kontainerisasi beban kerja AI mendukung peningkatan kapasitas secara otomatis sesuai permintaan, peningkatan ketahanan aplikasi, dan portabilitas hibrida/multicloud, serta mengoptimalkan kinerja dan biaya. Dengan Kubernetes, Akamai memberikan inferensi AI yang lebih cepat, lebih murah, dan lebih aman dengan kinerja dalam skala petabyte.
• Komputasi Edge: Untuk menyederhanakan pengembangan aplikasi berbasis AI, Akamai AI Inference menyertakan kemampuan WebAssembly (WASM). Melalui kolaborasi dengan penyedia WASM seperti Fermyon, Akamai membantu pengembang menjalankan inferensi untuk LLM langsung dari aplikasi tanpa server, memungkinkan kode ringan dijalankan di edge untuk mendukung aplikasi yang membutuhkan latensi rendah.

Kombinasi dari semua fitur ini menciptakan platform yang kuat untuk aplikasi berbasis AI dengan latensi rendah, memungkinkan perusahaan untuk memberikan pengalaman yang diinginkan pengguna. Akamai Cloud Inference beroperasi pada platform cloud Akamai yang sangat terdistribusi, yang mampu mengirimkan lebih dari satu petabyte data per detik untuk beban kerja intensif data. Dengan lebih dari 4.200 titik kehadiran di lebih dari 1.200 jaringan di lebih dari 130 negara, Akamai Cloud menyediakan sumber daya komputasi dari cloud ke edge, mempercepat kinerja aplikasi, dan meningkatkan skalabilitas.

Karon mengumpamakan pelatihan LLM seperti membuat peta yang membutuhkan pengumpulan data, analisis medan, dan perencanaan rute. Proses ini memakan waktu dan sumber daya, tetapi sangat berguna setelah selesai. Inferensi AI, di sisi lain, seperti menggunakan GPS yang langsung menerapkan pengetahuan, menghitung ulang secara real-time, dan beradaptasi dengan perubahan untuk membawa pengguna ke tujuan yang diinginkan.