Pytorch memperkenalkan TorchRec, library open source untuk Sistem Rekomendasi

Pytorch memperkenalkan TorchRec, library open source untuk Sistem Rekomendasi – CEO Mark Zuckerberg telah memperkenalkan TorchRec, perpustakaan sumber terbuka untuk membangun Sistem rekomendasi canggih di bawah PyTorch, di acara Inside the Lab. Pustaka baru ini menyediakan primitif sparitas dan paralelisme umum, yang memungkinkan para peneliti membangun model personalisasi canggih dan menerapkannya dalam produksi. Ini mencakup fondasi pemodelan tingkat rendah yang dapat diskalakan di samping modul yang disertakan dengan baterai yang kaya.

Meta awalnya menargetkan arsitektur “two-towera” dengan submodul terpisah untuk mempelajari representasi item kandidat dan kueri atau konteks. Sinyal input dapat berupa tipe data seperti floating point ataupun sparse matrix.

Pustaka ini mencakup kernel Sistem Rekomendasi yang dioptimalkan yang berjalan di FBGEMM, pustaka kernel berkinerja tinggi, memodelkan primitif seperti tensor bergerigi dan tas penyematan, untuk membuat model multinodal menggunakan model paralelisme. Tim PyTorch telah merilis TorchRec setelah hampir dua tahun dalam pengujian.

TorchRec digunakan untuk melatih model dengan 1,25 juta parameter yang mulai diproduksi pada bulan Januari dan model parameter 3 triliun yang diharapkan mulai diproduksi.