NVIDIA memperkenalkan jaringan saraf untuk menghasilkan video berdasarkan deskripsi

Perusahaan NVIDIA diumumkan model VideoLDM AI baru yang membuat video pendek berdasarkan teks. Ini dikembangkan bekerja sama dengan para peneliti di Cornell University.

VideoLDM memperhitungkan hingga 4,1 miliar parameter, 2,7 miliar di antaranya dilatih di video. Klip yang dihasilkan dapat berukuran hingga 2048×1280 piksel pada 24 bingkai dan memiliki durasi hingga 4,7 detik.

Jaringan saraf mampu membuat adegan sederhana dengan beberapa kata dalam permintaan, dan sesuatu yang lebih kompleks. Beberapa contoh:

• Kembang api.

• Seorang stormtrooper sedang menyedot debu di pantai.

• Seorang musafir berjalan sendirian di hutan berkabut saat matahari terbenam.

Lebih banyak contoh aktif situs web proyek.

Jaringan saraf NVIDIA ini belum ada dalam domain publik. Itu disajikan sebagai makalah penelitian dalam kerangka Konferensi Visi Mesin dan Pengenalan Pola.

Pengembang mencatat kemajuan yang mengesankan dan cepat dalam pembelajaran, tetapi tidak berbicara tentang kemungkinan masa depan jaringan saraf. Namun demikian, kami dapat berasumsi bahwa kami akan segera mendapatkan analog video yang lengkap