Brainwave, Sistem untuk Menjalankan AI Super Cepat
Microsoft membuat sebuah gebrakan dalam dunia hardware AI terdedikasi pada hari ini saat mereka memperlihatkan sebuah sistem baru untuk model-model machine learning kecepatan tinggi dan latensi rendah, yang disebut Brainwave. Brainwave akan mengizinkan developer untuk menanam model machine learning pada silikon yang dapat diprogram dan mendapatkan performa tinggi melebihi apapun yang bisa didapatkan dari CPU atau GPU.
Para peneliti di konferensi Hot Chips di Cupertino, California menunjukkan sebuah model Gated Recurrent Unit yang bekerja pada chip Field Programmable Gate Array (FPGA) Stratix 10 milik Intel pada kecepatan 39.5 teraflop, tanpa operasi batching sama sekali. Tidak adanya batching berarti ada kemungkinan bagi hardware tersebut untuk menangani permintaan selagi mereka masuk, menyediakan tambahan wawasan yang real-time untuk sistem machine learning. Model yang dipilih Microsoft beberapa kali lipat lebih besar dari jaringan neural konvolusional seperti Alexnet dan Resnet-50, yang digunakan perusahaan lain untuk mengukur hardware mereka sendiri. Penyediaan wawasan tambahan berlatensi rendah penting untuk penyebaran sistem machine learning pada suatu skala. Pengguna tidak perlu menunggu lama aplikasi mereka untuk merespon.
“Kami memanggilnya real-time AI karena ide disini adalah Anda mengirim permintaan, dan Anda mau jawaban kembali,” ujar Doug Bruger, engineer kawakan Microsoft Research. “Jika itu adalah sebuah stream video, jika itu adalah sebuah percakapan, jika itu adalah pencarian penyusup, pendeteksi anomali, apapun hal yang Anda pedulikan mengenai interaksi dan hasil cepat, Anda mau semuanya dalam real-time.” tambahnya.
Meski begitu, hasil penelitian yang telah dipublikasikan sebelumnya pada machine learning yang dipercepat hardware telah berfokus pada hasil yang mengoptimisasikan throughput dengan harus mengorbankan latensi. Menurut Burger, lebih banyak orang harus bertanya bagaimana accelerator machine learning dapat berjalan tanpa mengumpulkan permintaan menjadi sebuah batch dan memproses mereka semua sekaligus.
Microsoft tengah menggunakan Brainwave pada banyak FPGA yang diinstall pada pusat data mereka. Menurut Burger, Brainwave akan mengizinkan layanan Microsoft untuk mendukung fitur-fitur AI dengan lebih cepat. Microsft juga tengah bekerja untuk membuat Brainwave tersedia untuk pelanggan pihak ketiga (third-party) melalui platform cloud Azure mereka.
FPGA mengizinkan programmer untuk mengatur hardware yang dioptimisasikan untuk mengerjakan fungsi khusus sebelum runtime, seperti melakukan penghitungan yang penting untuk menyediakan wawasan dari jaringan neural. Microsoft telah menyebarkan ribuan FPGA pada pusat data mereka diatas papan yang dipasang dalam server-server dan tersambung pada jaringan.
Brainwave memuat model machine learning yang terlatih pada memori hardware FPGA yang tetap disana selama machine learning masih dapat melakukan tugasnya. Hardware tersebut lalu dapat digunakan untuk menghitung apapun yang model tersebut didesain untuk menghasilkan, seperti sebuah string teks yang telah diprediksikan. Dalam sebuah kasus dimana sebuah model terlalu besar untuk dijalankan pada sebuah FPGA, software akan menyebarkan dan menjalankannya dengan sejumlah papan hardware.
Salah satu kritik yang sering ditujukan apda FPGA adalah mereka tidak begitu cepat dan efisien dibanding chip yang dibuat secara spesifik untuk machine learning. Burger mengatakan bahwa ukuran performa harusnya menunjukkan bahwa hardware yang dapat diprogram tersebut dapat menghasilkan performa yang tinggi juga.
Sebagai tambahan, performa yang ditunjukkan hari ini berasal dari hardware baru, dan Burger mengatakan bahwa ada ruang untuk Intel dan Microsoft untuk mengoptimisasi performa hardware dan penggunaan performa tersebut oleh Brainwave lebih jauh. Dengan perbaikan performa yang lebih jauh, seharusnya Microsoft dapat mencapai 90 teraflop dengan Intel Stratix 10.
Sekarang, Brainwave mendukung model-model terlatih yang dibuat menggunakan framework CNTK milik Microsoft dan framework TensorFlow milik Google. Burger mengatakan bahwa timnya sedang bekerja untuk membuatnya kompatibel dengan tool lain seperti Caffe. Microsoft belum memberikan sebuah peta jalan untuk menunjukkan kapan Brainwave akan tersedia untuk pembeli, namun sekarang sedang bekerja menuju sebuah masa depan dimana pihak ketiga dapat membawa model terlatih apapun dan menjalankannya pada Brainwave.
Sumber Penulisan/Daftar Pustaka:
