Akamai Perkenalkan Komputasi AI Terdistribusi dengan Nvidia AI Grid

Ruang Press - KOMPAS.com – Akamai Technologies resmi mengintegrasikan teknologi Nvidia AI Grid ke dalam infrastrukturnya. Teknologi ini memungkinkan distribusi komputasi kecerdasan buatan (AI) hingga ke ribuan titik edge di seluruh dunia.

Langkah ini menjadikan Akamai sebagai perusahaan pertama yang mengimplementasikan desain referensi Nvidia AI Grid dalam skala global. Integrasi ini menjadi bagian dari pengembangan platform Akamai Inference Cloud yang sebelumnya telah diperkenalkan.

Melalui pendekatan ini, Akamai menyebarkan beban kerja AI khususnya inferensi ke lebih dari 4.400 lokasi edge, serta ke pusat data regional dan inti. Tujuannya adalah menyeimbangkan latensi, biaya, dan performa dalam pemrosesan AI.

Chief Operating Officer Akamai, Adam Karon, mengatakan bahwa model infrastruktur AI yang selama ini terpusat tidak lagi cukup untuk memenuhi kebutuhan aplikasi modern.

"Orkestrasi cerdas AI Grid kami memberikan cara bagi pabrik AI untuk memperluas inferensi ke luar, memanfaatkan arsitektur terdistribusi yang sama seperti yang telah merevolusi pengiriman konten untuk mengarahkan beban kerja AI ke 4.400 lokasi, dengan biaya yang tepat, pada waktu yang tepat," ujar Karon.

Gunakan ribuan GPU Nvidia

Sebagai bagian dari implementasi ini, Akamai mengoperasikan ribuan unit GPU Nvidia RTX Pro 6000 Blackwell Server Edition. Infrastruktur ini dirancang untuk menangani berbagai kebutuhan AI, mulai dari model bahasa besar hingga inferensi multimodal.

GPU tersebut melengkapi jaringan edge Akamai, sehingga perusahaan dapat menawarkan kombinasi antara komputasi terpusat berdaya tinggi dan pemrosesan dekat pengguna.

Di sisi edge, sistem akan menangani permintaan yang membutuhkan latensi rendah. Sementara itu, beban kerja berat seperti pelatihan model dan pemrosesan lanjutan tetap dilakukan di pusat data inti.

Akamai menekankan bahwa inti dari AI Grid adalah orkestrator cerdas yang mengatur distribusi beban kerja secara real-time. Sistem ini mengoptimalkan apa yang disebut sebagai "tokenomics", yaitu efisiensi biaya per token, waktu respons, dan throughput.

Dengan mekanisme seperti caching semantik dan routing cerdas, permintaan AI akan diarahkan ke sumber daya yang paling sesuai. Beban kerja ringan dapat dijalankan di edge, sementara tugas berat dialokasikan ke GPU kelas tinggi.

Pendekatan ini diklaim mampu menekan biaya operasional sekaligus meningkatkan performa layanan AI, terutama untuk aplikasi berskala besar.

Akamai mencatat, adopsi awal platform ini cukup tinggi di berbagai sektor yang membutuhkan respons cepat.

Di industri game, teknologi ini digunakan untuk menghadirkan interaksi karakter non-pemain (NPC) berbasis AI secara real-time dengan latensi di bawah 50 milidetik.

Di sektor keuangan, jaringan ini dimanfaatkan untuk deteksi penipuan dan personalisasi layanan saat pengguna baru masuk ke aplikasi.

Sementara di industri media, penyiar menggunakan teknologi ini untuk proses transkoding dan dubbing konten secara langsung.

Penggunaan juga mulai meluas ke sektor ritel, terutama untuk aplikasi AI di dalam toko dan sistem kasir berbasis kecerdasan buatan.

Akamai menilai, gelombang pertama infrastruktur AI didominasi oleh pusat data besar yang terpusat dan fokus pada pelatihan model. Namun, seiring meningkatnya kebutuhan inferensi dan aplikasi berbasis AI agen, pendekatan tersebut mulai menghadapi keterbatasan.

Distribusi komputasi ke edge dinilai menjadi solusi untuk mengatasi kendala latensi dan skalabilitas, sekaligus meningkatkan pengalaman pengguna.

Platform Akamai Inference Cloud saat ini telah tersedia untuk pelanggan korporat tertentu. Perusahaan juga mengungkap telah mengantongi kontrak layanan senilai 200 juta dollar AS selama empat tahun untuk penyediaan klaster GPU dalam infrastruktur AI edge.