Kumpulkan daftar putar, temukan trek yang terngiang di kepala Anda, tulis drama: apa yang dapat dilakukan kecerdasan buatan dengan musik
Miscellanea / / March 30, 2022
Kenali komposisi
Lagu keren dapat didengar di mana saja: di pusat perbelanjaan, di kafe, dan bahkan dari jendela mobil terdekat, sambil berdiri di tengah kemacetan. Agar tidak ketinggalan lagu asing yang Anda sukai, cukup nyalakan aplikasi pengenalannya. Nama komposisi dan nama artis di dalamnya diberikan oleh kecerdasan buatan dalam hitungan detik. Benar, di balik hasil yang begitu cepat ada persiapan yang matang: untuk mempelajari melodi dengan cepat, program harus mengingatnya terlebih dahulu. Untuk melakukan ini, jaringan saraf diperkenalkan ke perpustakaan trek yang sangat besar, dan kemudian algoritme mengubah suara menjadi spektogram dan menguraikannya menjadi waktu, frekuensi, dan intensitas.
Anatoly Starostin
Kepala Layanan Pengembangan Teknologi di Yandex Media Services.
Spektogram adalah grafik. Waktu terletak di sepanjang sumbu horizontal, frekuensi suara terletak di sepanjang sumbu vertikal, dan intensitasnya pada saat yang tetap dinyatakan dalam warna. Sinyal rendah diwakili oleh bilah merah di bagian bawah, dan sinyal tinggi di bagian atas. Hasilnya adalah gambar yang terdiri dari garis-garis horizontal berwarna. Analisis sirkuit semacam itu membantu mengenali musik. Saat bekerja dengan spektogram, pendekatan jaringan saraf yang sama digunakan seperti dalam analisis gambar.
Misalkan seseorang mendengar lagu di radio dan ingin tahu nama dan artisnya. Program pengenalan membangun spektogram dari bagian yang terdengar dan mengirimkannya ke perpustakaan treknya. Kemudian ia membandingkan "gambar" melodi yang diinginkan dengan spektogram komposisi lain dan memilih kecocokan yang paling akurat. Pada saat yang sama, kecerdasan buatan mengenali melodi bahkan melalui gangguan serius, seperti kebisingan jalan atau perbaikan di apartemen tetangga.
Omong-omong, jaringan saraf tidak hanya dapat mengidentifikasi artis dan nama trek yang tersangkut di kepala, tetapi juga secara kasar menentukan genre-nya. Untuk melakukan ini, kecerdasan buatan diajarkan untuk menemukan pola dalam gaya musik yang berbeda. Karakteristik khusus seperti itu biasanya tidak dapat diakses oleh penglihatan dan pendengaran manusia. Namun berkat pembelajaran mesin, menjadi mungkin untuk menghitung genre musik dari gambar spektogram.
Rekomendasikan Lagu
Tampaknya menemukan trek "sama" yang sesuai dengan suasana hati Anda dalam miliaran lagu sendiri hampir tidak mungkin seperti jatuh cinta pada pandangan pertama. Namun berkat algoritme rekomendasi, kecocokan sempurna tidak sering terjadi. Pertama, kecerdasan buatan mencari orang dengan selera yang sama, dan kemudian rumus statistik dihubungkan: jumlah suka, tidak suka, pemutaran, dan lompatan dari komposisi tertentu.
Anatoly Starostin
Rekomendasi lagu bekerja menurut skema sederhana: jika Vasya menyukai trek X, dan kemudian Petya juga memberi peringkat, maka ketika Vasya menyukai Y, Petya juga harus merekomendasikan trek Y. Ketika algoritme perlu menemukan lagu berikutnya, rumus diterapkan ke sekumpulan lagu potensial. Yang paling cocok mengapung ke atas.
Konten "dingin", tidak terlihat di daftar putar pendengar massal, menyebar lebih lambat. Namun berkat jaringan saraf, artis yang tidak dikenal dan musik khusus masih memiliki peluang kecil untuk berkedip dalam aliran rekomendasi. Jika kita menyederhanakan semua nuansa teknis, maka kita dapat mengatakan bahwa dalam kasus seperti itu, kecerdasan buatan mengetahui seberapa sering pengguna tertentu mendengarkan lagu dengan spektogram serupa, dan secara berkala mengundangnya untuk berkenalan dengan yang baru trek.
Mary Gu
Penyanyi.
Terkadang saya mencari inspirasi dalam rekomendasi. Saya mempercayakan pilihan komposisi ke layanan musik, mendengarkan melodi, menemukan suara atau teks yang menarik. Jadi Anda bisa benar-benar jatuh cinta secara spontan dengan lagu yang dibuat oleh artis yang tidak dikenal. Dan baris lain yang tidak sengaja saya dengar dapat mendorong saya untuk membuat puisi saya sendiri.
Jaringan saraf juga membantu menghasilkan pilihan musik untuk kebugaran, berjalan atau tidur. Editor konten memilih trek referensi untuk algoritme, dan berdasarkan spektogramnya, kecerdasan buatan memperluas rekomendasi tematik.
menghasilkan musik
Sebelumnya, hanya komposer yang bisa menciptakan melodi. Sekarang mungkin tanpa partisipasi musisi. Pada tahun 2020, Belanda menyelenggarakan Kontes Lagu Eurovision pertama untuk jaringan saraf - Kontes Lagu AI. Australia menang kolaborasi kecerdasan buatan dengan koala, kingfisher, dan setan tasmania. Lagu itu didedikasikan untuk kebakaran hutan yang mengamuk di benua itu. Suara binatang direkam dalam sampel pendek - fragmen berdurasi 1-2 detik. Algoritme menggabungkannya dengan hit dari semua pemenang Eurovision sebelumnya, setelah itu mereka mengumpulkan sampel menjadi melodi mereka sendiri.
Ini bukan satu-satunya contoh persatuan kreatif pemrogram dan jaringan saraf yang sukses. Pada tahun 2019, pada penutupan Festival Seni Internasional Musim Dingin di Sochi, Orkestra Negara menampilkan karya berdurasi 8 menit. Itu ditulis oleh komposer Kuzma Bodrov dari fragmen melodi terpisah yang dihasilkan oleh jaringan saraf. Saat ini, penciptaan musik adalah bidang yang paling menjanjikan untuk pengembangan kecerdasan buatan.
Anatoly Starostin
Kecerdasan buatan dapat membuat musik dalam tiga cara. Yang pertama terhubung dengan konstruksi "batu bata" yang sudah jadi dari sampel suara. Dalam hal ini, algoritme hanya mengaturnya dalam urutan yang benar di beberapa trek audio, dan pengatur elektronik mencampur trek yang sudah jadi. Cara kedua adalah dengan menghasilkan notasi musik. Ini seperti menulis instruksi bagi musisi untuk memainkan karya yang sudah selesai di atasnya. Dan cara ketiga adalah merekam sinyal audio "mentah". Dalam hal ini, jaringan saraf itu sendiri menciptakan gelombang suara yang mirip, misalnya, dengan Mozart atau The Beatles.
Omong-omong, jaringan saraf juga bisa menulis puisi untuk lagu. Sejauh ini, lagu-lagu seperti itu terdengar agak aneh, jadi penulis lagu tidak perlu khawatir tentang pengangguran. Selain itu, "pikiran komputer" tidak memiliki perasaan. Ia tidak bisa menembus ke dalam konteks emosional dan menyampaikan pengalaman-pengalaman yang memaksa para pencipta karya untuk berkreasi.
Mary Gu
Puisi dan musik terutama tentang jiwa, dunia batin, pengalaman, perasaan dan emosi orang. Misalnya, lagu baru “Don't Burn Out” adalah kisah pribadi saya, tetapi juga tentang semua orang yang mengejar mimpi dan mencoba memahami diri mereka sendiri. Saya tidak berpikir bahwa kecerdasan buatan akan pernah menggantikan orang yang hidup di industri musik. Tapi di sini Anda bisa mendapatkan tandem yang menarik "jaringan saraf manusia". Kita sudah mengetahui lusinan contoh ketika kecerdasan buatan membantu komposer menciptakan melodi yang unik. Bahkan, ini adalah arah baru dalam dunia musik, yang saya yakin akan memiliki pendengar dan penontonnya sendiri di masa depan.
Kecerdasan buatan membuat kreativitas dapat diakses oleh semua orang, dan musik membantunya berkembang. Untuk memahami bagaimana kedua kutub ini bertemu dan saling mempengaruhi, Anda dapat "Nomor Pelajaran” dari Yandex - “Seni Digital: Musik dan IT”. Bersama para pahlawan komik, para peserta akan belajar bagaimana jaringan saraf mengenali dan menghasilkan trek dan teknologi apa yang membantu dalam pekerjaan layanan musik yang kita kenal. Pada pelajaran, siswa akan mencoba menebak melodi dengan spektogram sendiri dan menyusun daftar putar dengan rekomendasi.
Saya ingin "Nomor Pelajaran"
Menutupi: Willyam Bradberry / Shutterstock / Eric Isselee / Shutterstock / Ljupco Smokovski / Shutterstock / FOTOSPLASH / Shutterstock / Olga Selepina / Lifehacker