Newsletter subscribe

Artificial Intelligence, Innovation

จริงหรือไม่ที่ Google กำลังสร้าง AI ให้กลายเป็น Skynet#13 Music and Art

Posted: 09/09/2020 at 21:46   /   by   /   comments (0)

What I’ve Done – Linkin Park

ขอขอบคุณศิลปินทุกคนที่สร้างสรรค์ผลงานที่นำมาซึ่งความบันเทิง และยังใช้ดนตรีในการบอกให้เราตระหนักถึงสิ่งต่างๆที่เกิดขึ้น และกระตุ้นให้พวกเราช่วยกันดูแลโลกใบนี้

 

 

justscience.com

เมื่อปี 2015 Google DeepMind ได้เปิดตัวโปรแกรม “DeepDream” ซึ่งถูกสร้างขึ้นเพื่อศึกษาการทำงานของโครงข่ายประสาทเทียม (neural network) สิ่งที่ได้จากการวิจัยนอกจากจะเข้าใจการทำงานของแต่ละ layer ของ neural network พวกเขายังพบว่ากระบวนการนี้ยังสร้างงานศิลปะที่สวยงาม (บางครั้งก็หลอน) ออกมาอีกด้วย

 

networkworld.com

DeepDream ได้สร้างแรงบันดาลใจให้กับนักวิจัยกลุ่มเล็กๆของ Google ภายใต้ชื่อ Google Brain team สร้างโครงการงานวิจัยใหม่ชื่อ “Magenta” ขึ้นในปี 2016 เพื่อสำรวจบทบาทของ Machine Learning/Deep Learning ในกระบวนการสร้างงานศิลปะและดนตรี

 

 

เป้าหมายหลักของโปรเจ็กต์ Magenta มี 2 ประการดังนี้
(1) เป็นโครงการวิจัยที่มุ่งเน้นความก้าวหน้าของการสร้างงานศิลปะและดนตรี ได้มีการใช้ Machine Learning ในการจำแนก แยกแยะ เสียงพูด (speech recognition) และการแปลภาษา (translation) มาเป็นอย่างดีแล้ว แต่แทบจะไม่ได้ถูกนำมาใช้ในด้านการสร้างเนื้อหาทางด้านศิลปะ ทีมงานจึงได้พัฒนา algorithm (ชุดคำสั่งของ Machine Learning/Deep Learning) ขึ้นมาเพราะต้องการดูว่ามันจะสามารถเรียนรู้ในการสร้างงานศิลปะและดนตรีได้อย่างไร
(2) เป็นความพยายามที่จะสร้างชุมชน (community) ที่จะประกอบไปด้วย ศิลปิน นักดนตรี และนักวิจัย AI ทีมงานจะเริ่มต้นด้วยการให้การสนับสนุนด้วย audio, video และเครื่องมือที่ใช้ในการทำงานกับ format เหมือนอย่าง MIDI และ platform นี้จะช่วยให้ศิลปินและนักดนตรีเข้าถึง Machine Learning และทำงานร่วมกันกับมันในการสร้างสรรค์งานศิลปะและดนตรี


yahoo.com

Google Brain team ต้องการหาคำตอบของคำถามที่ว่า “เราจะสามารถใช้เทคโนโลยีนี้สร้างงานศิลปะและดนตรี หรือช่วยจิตรกรและนักดนตรีสร้างสรรค์งานศิลปะและงานดนตรีที่ยอดเยี่ยมยิ่งขึ้นได้หรือไม่” และสิ่งที่ได้จากการหาคำตอบนี้ มีหลายสิ่งที่น่าสนใจ ในบทความนี้ขอพูดถึงผลงานที่เด่นๆดังต่อไปนี้

 

 

Owl City – Fireflies

 

 

dailycreative.co

ถ้าคุณพบว่ารู้สึกโดดเดี่ยวในการเล่นเปียโนคนเดียวตามลำพัง คุณอยากเล่นคู่กับใครสักคน Google จัดให้

“AI DUET” เป็นแอพพลิเคชั่นบนเว็บแบบตอบโต้ได้ในคอมพิวเตอร์ AI จะมาเป็นเพื่อนเล่นเปียโนกับคุณ นี้เป็นส่วนหนึ่งของโปรเจ็กต์ Magenta ของทีมงาน Google Brain

โปรเจ็กต์นี้ใช้โครงข่ายประสาทเทียม (neural network) เรียนรู้วิธีเล่นเครื่องดนตรีเพื่อตอบสนองต่อการป้อนข้อมูลดนตรีของผู้ใช้ พวกเขาแค่โหลดดนตรีให้มัน และจากนั้นมันก็สอนตัวมันเองถึงวิธีตอบสนองทำนองเพลงต่างๆ คุณแค่เล่นทำนองเพลงจะเป็นทำนองเพลงง่ายๆหรือซับซ้อนอย่างไรก็ได้ จากนั้น AI จะเล่นตอบกลับทำนองเพลงของคุณ

Alexander Chen หนึ่งในทีมงานได้เขียนไว้ใน blog ว่า

“เราป้อนตัวอย่างของบทเพลงจำนวนมากมายให้แก่มัน เพื่อให้มันเรียนรู้ความสัมพันธ์ระหว่างทำนองเพลงและเวลาการเล่น มันจะสร้าง map ของมันเองขึ้นมา คุณแค่เล่นทำนองเพลงเพียงเล็กน้อยให้ neural network ฟัง มันจะทำการตัดสินใจเองว่าจะเล่นตอบกลับอย่างไร โดยมันพิจารณาจากสิ่งที่มันเรียนรู้มาและทำนองเพลงที่คุณเล่นให้มันฟัง

คุณไม่จำเป็นต้องรู้วิธีการเล่นเปียโน แค่คุณเคาะคีย์บอร์ดและคอยฟังเสียงที่กลับมา คุณจะรู้สึกสนุก คุณอาจใช้คีย์บอร์ดของคอมพิวเตอร์ หรือเสียบต่อกับคีย์บอร์ดดนตรีก็ได้

มันเป็นตัวอย่างหนึ่งที่แสดงให้เห็นว่า Deep Learning สามารถสร้างแรงบันดาลใจให้คุณในการสร้างสรรค์งานดนตรี ไม่ว่าคุณจะเป็นนักพัฒนา software หรือนักดนตรี หรือเพียงแค่อยากรู้อยากเห็น ลองจินตนาการว่าเทคโนโลยีนี้ สามารถช่วยให้ความคิดสร้างสรรค์เกิดขึ้นได้”

 

A.I. Experiments: A.I. Duet

 

 

Piano Genie Name_1

เปียโนที่เล่นได้เอง (player piano หรือ self-playing piano) มีมาตั้งแต่ปี 1863  ผลงานล่าสุดของทีมนักวิจัยงานสร้างสรรค์ Magenta ของ Google ได้สร้างเปียโนที่เล่นเองแบบสดๆ (Self-improvising piano) เรียก “Piano Genie” เมื่อปลายปี 2018 ที่ผ่านมา โดยได้รับแรงบันดาลใจจาก “Guitar Hero” ซึ่งเป็น video game แนวจังหวะดนตรีที่มาพร้อมกับปุ่ม 5 ปุ่ม

Piano Genie เป็นอุปกรณ์ควบคุมอัจฉริยะที่ช่วยให้คนที่ไม่มีทักษะการเล่นเปียโนสามารถเล่นเปียโนแบบสดๆได้อย่างไพเราะ โดยการใช้ปุ่มเพียงแค่ 8 ปุ่ม ถึงเราจะเล่นเปียโนไม่เป็น เราแค่เคาะปุ่มแบบสุ่มๆ โครงข่ายประสาทเทียม (neural network) จะปรับปรุงการเล่นให้เราเอง มันทำการคาดเดาว่าควรเล่นโน้ตใดออกมาจากการเล่นของเราที่ส่งไปให้มันแบบทันทีทันใด (real time) “มันจะแปลงความพยายามของเราออกมาเป็นทำนองเพลงที่ไพเราะ”

ในการสร้าง  Piano Genie นักวิจัยได้สร้างและฝึกฝน neural network โดยการป้อนข้อมูลเพลงเปียโนจากการแข่งขันเปียโนไฟฟ้านานาชาติประมาณ 1,400 เพลง ให้ neural network เรียนรู้  เมื่อเราเคาะนิ้วลงไปที่ปุ่ม 8 ปุ่มบนอุปกรณ์  การเล่นของเราจะถูก neural network ถอดรหัสหรือแปลค่าส่งไปยังเปียโนที่เล่นเองได้ (self-playing piano) ซึ่งมี 88 ปุ่มแบบทันทีทันใด (real time)

การเล่นเปียโนกับ “Piano Genie” สามารถดูได้จากวีดิโอนี้ มันดูเหมือนผู้เล่นเคาะปุ่ม 8 ปุ่มแบบง่ายๆ แต่กลับได้การแสดงเปียโนที่มีเสน่ห์แบบไม่คาดคิดออกมา

 

Piano Genie Improvisation # 1

 

Chris Donahue หนึ่งในทีมงานกล่าวว่า

“Piano Genie เน้นที่ความเร็ว ให้การเล่นสด (improvisation) เสียงถูกผลิตขึ้นทันทีเมื่อผู้เล่นเคาะนิ้วบนปุ่ม 8 ปุ่ม เมื่อคุณกำลังเล่น มันจะให้ความรู้สึกที่วิเศษ เหมือนมันอ่านจิตใจคุณได้ และเล่นโน้ตอย่างที่คุณตั้งใจจะเล่นอย่างนั้น โปรแกรมอย่าง Piano Genie แสดงให้เห็นว่า AI สามารถทำงานเพื่อเพิ่มความคิดสร้างสรรค์ทางดนตรีของมนุษย์”

 

Alan Walker – The Spectre

 

 

slashgear.com 

เมื่อเดือนมีนาคม 2018 Google ได้เปิดตัวต้นแบบ (prototype) ของเครื่องมือดนตรีที่ใช้ AI  ที่เรียกว่า “NSynth Super” ซึ่งเป็นเครื่องสังเคราะห์เสียง (synthesizer) ที่ใช้โครงข่ายประสาทเทียม (neural network) ในการสร้างเสียงดนตรีใหม่

ผลงานนี้เป็นส่วนหนึ่งของงานวิจัยของ Google Brain team ซึ่งหลังจากที่ได้สร้าง software สังเคราะห์เสียงที่เรียก “NSynth” ในปี 2017 และหนึ่งปีต่อมาในปี 2018 ทีมงานได้ร่วมมือกับ Google Creative Lab สร้าง hardware สำหรับใส่โปรแกรมนี้ลงไป  ได้เป็นเครื่องดนตรี NSynth Super ออกมา ซึ่ง Google ไม่ได้สร้างเพื่อการจำหน่ายเชิงพาณิชย์ แต่ Google ได้เผยแพร่วิธีการออกแบบ hardware  “NSynth Super” พร้อมทั้งใส่ software “NSynth” ไว้ที่เว็บไซต์ “GitHub” เพื่อให้บุคคลทั่วไปสามารถสร้างเครื่องดนตรี AI ชนิดนี้ได้เอง

ในการสร้าง NSynth นักวิจัยฝึกฝนให้ neural network เรียนรู้ลักษณะของเสียงจากเครื่องดนตรีชนิดต่างๆ แล้วสังเคราะห์เสียงใหม่ทั้งหมดโดยการใช้คุณสมบัติเสียงอะคูสติก (acoustic sound quality) ของเสียงเดิมที่มาจากเครื่องดนตรีแต่ละชนิด  ซึ่งมันสามารถสร้างเสียงดนตรีใหม่ได้มากกว่า 100,000 เสียง

หน้าตาของ NSynth Super จะมีลักษณะเป็นกล่องขนาดเล็กที่มีหน้าจอสีรุ้งแบบ touchscreen เมื่อเราต้องการสร้างสรรค์งานดนตรี เพียงแค่สไลด์นิ้วมือไปบนหน้าจอ ซึ่ง NSynth Super สามารถรวมเสียงจากเครื่องดนตรี 4 ชนิด สร้างเป็นเสียงดนตรีใหม่ที่ยอดเยี่ยมออกมา และยังให้ผู้เล่นสามารถควบคุมคุณภาพเสียง (timbre) และความดัง-ค่อย (dynamics) ของเสียงใหม่ที่สร้างขึ้นได้อีกด้วย

วิดีโอแสดงให้เห็นว่านักดนตรีใช้ NSynth Super อย่างไรในการสร้างสรรค์งานดนตรีที่ยอดเยี่ยมออกมา

 

Making music with NSynth Super

 

 

Passenger – Let Her Go

 

 

 

ai.googleblog.com

การสื่อสารด้วยภาพเป็นวิธีสำคัญที่มนุษย์ใช้ในการถ่ายทอดความคิดให้บุคคลอื่นได้รับรู้ เมื่อเรายังเป็นเด็ก เด็กๆพัฒนาความสามารถในการบรรยายวัตถุหรือบอกถึงอารมณ์ความรู้สึก โดยการวาดรูปแบบง่ายๆออกมาด้วยดินสอเพียงแท่งเดียว ภาพวาดเหล่านี้อาจไม่คล้ายกับความเป็นจริงตามภาพถ่าย แต่เด็กๆบอกเราบอกอย่างเกี่ยวกับการแสดงตัวตนของเขา และสร้างภาพของโลกที่อยู่รอบตัวเขาขึ้นมาใหม่

Sketch-rnn เป็นส่วนหนึ่งของความพยายามของ Google ที่อยากรู้คำตอบว่า AI สามารถสร้างงานศิลปะได้หรือไม่ ภาพวาดแรกๆของมนุษยชาติที่เรารู้จักมีมาตั้งแต่ยุคสมัยก่อนประวัติศาสตร์เป็นภาพสเก็ต (sketches) บนแผ่นหินหรือตามผนังถ้ำ Google Brain team ก็ทำเช่นเดียวกัน นักวิจัยฝึกฝน neural network เริ่มต้นด้วยการวาดรูปแบบที่ง่ายที่สุดคือ การวาด doodles

หมายเหตุ : การวาด Doodle Art คือ การวาดรูปจากจินตนาการ วาดแบบง่ายๆ ไม่จำเป็นต้องออกมาสวยงาม หรือดูออกว่าเป็นรูปอะไร ซึ่งมีการวิจัยออกมาว่า การวาด doodle มีส่วนเกี่ยวข้องสำคัญระหว่างความฟุ้งซ่านกับสมองส่วนที่ใช้ในการจดจำ และความคิดสร้างสรรค์

 

web.utk.edu

โครงข่ายประสาทเทียมที่มีโครงสร้างเรียบง่ายที่สุดคือ “Feed-Forwards Neural Network” ข้อมูลจะถูกป้อนเข้าที่ input layer แล้วมีการไหลของข้อมูลไปในทิศทางเดียวเรื่อยๆจนกระทั่งไปออกที่ output layer โดยไม่มีการไหลย้อนกลับ

 

 

towardsdatascience.com

แต่สำหรับ Sketch-rnn ที่ใช้ในการสร้างภาพ sketches ของวัตถุนั้น นักวิจัยใช้โครงข่ายประสาทเทียมแบบวนกลับ “Recurrent Neural Network” (RNN)

หมายเหตุ: RNN มักถูกใช้ในกับปัญหาที่เกี่ยวกับ “ข้อมูลที่เข้าไปตามลำดับ (sequential data)” เช่น อนุกรมเวลา (time series), การพูด (speech) , text (ตัวหนังสือ), ระบบเสียง (audio), video เป็นต้น

ยกตัวอย่างเช่น การอ่านหนังสือ เราอ่านทีละคำจากซ้ายไปขวา การที่เรารู้เรื่องว่าเรากำลังอ่านเกี่ยวกับอะไร ได้จากการที่เราเอาประโยคที่เราอ่านผ่านไปแล้ว มาผสมกับคำที่เราเพิ่งจะอ่านไป

RNN ก็ใช้หลักการเดียวกัน คือ เมื่อข้อมูลแรกไปถึงที่ output layer แล้ว มันต้องทำการตัดสินใจ มันจึงวนกลับไปพิจารณาข้อมูลที่เข้ามาใหม่ ดังแบบจำลองข้างบน

 

 

theverge.com

Recurrent Neural Network (RNN) จะถูกฝึกฝนด้วยชุดข้อมูลของภาพ sketches ที่วาดด้วยมือมนุษย์จำนวนหลายพันภาพจาก “Quick, Draw! game”  ซึ่ง RNN เรียนรู้ที่จะจับเอาสาระสำคัญของภาพ sketches และวาดภาพออกมาจากสิ่งที่มันเรียนรู้

หมายเหตุ : Quick, Draw! เป็นเกมวาดภาพ sketches บนเว็บที่ Google สร้างในปี 2016 ซึ่งให้เวลาผู้เล่น 30 วินาทีวาดรูปตามโจทย์ ระหว่างวาดจะมี AI คอยทายว่าเราวาดรูปอะไร ถ้าเราวาดได้เหมือนซึ่งทำให้ AI ทายถูกว่ารูปนั้นเป็นรูปของอะไรได้ก่อนเวลาหมด เราจะชนะ

medium.com

Sketch-rnn เป็น Recurrent neural network ที่มีโมเดลแบบ “Autoencoder” คือโมเดลที่ใช้ตัวเข้ารหัส (encoder) เรียนรู้ข้อมูลที่รับเข้ามา (input) และใช้ตัวถอดรหัส (decoder) สร้างผลลัพธ์ (output) ออกมาให้ใกล้เคียงกับ input มากที่สุด

 


ai.googleblog.com

จากรูปข้างบน เราป้อนภาพ sketches ของแมวที่มนุษย์วาดจำนวนหลายภาพเข้าไปให้ตัวเข้ารหัส (encoder) ของโมเดลเพื่อที่จะสร้างภาพ sketch ใหม่ด้วยตัวถอดรหัส (decoder) มันเป็นสิ่งสำคัญที่ต้องเน้นย้ำว่า การสร้างภาพ sketches ใหม่ของแมวไม่ใช่การ copy ภาพ sketches เดิมที่ใส่เข้าไป แต่มันสร้างภาพ sketches ใหม่ที่มีลักษณะคล้ายกับภาพเดิม

 

ai.googleblog.com

นักวิจัยทดลองป้อนภาพ sketches ของแมวที่มีสามตาเข้าไป โมเดลสร้างภาพที่ดูคล้ายแมวที่มีสองตาออกมา แสดงให้เห็นว่าโมเดลได้เรียนรู้มาว่าแมวปกติแล้วต้องมีสองตา

นักวิจัยทดลองใหม่อีกครั้งด้วยการป้อนภาพ sketch ของหมูที่มี 8 ขาเข้าไป ได้ข้อสรุปเหมือนกัน คือ โมเดลสร้างภาพที่ดูคล้ายหมูที่มี 4 ขาออกมา และถ้านักวิจัยใส่ภาพรถบรรทุกให้โมเดลที่ถูกฝึกฝนมาให้วาดรูปหมู ก็จะได้ภาพ sketch ของหมูที่ดูคล้ายรถบรรทุก

 

ai.googleblog.com

และถ้านักวิจัยใส่ภาพ sketch ของหัวแมวและภาพ sketch ของหมูเต็มตัวเข้าไปให้โมเดล จะเห็นการเปลี่ยนแปลงของภาพ sketches ที่โมเดลสร้างออกมา จากหัวแมว ไปเป็นแมวที่มีหาง ไปเป็นแมวที่มีรูปร่างอ้วน และในที่สุดเป็นหมูเต็มตัวออกมา มันก็คล้ายกับเด็กที่หัดวาดรูปสัตว์ โมเดลเรียนรู้ที่จะสร้างภาพ sketches ของสัตว์ โดยเริ่มวาดจากหัวก่อน จากนั้นวาด เท้า หาง และลำตัว

 

ai.googleblog.com

Sketch-rnn ยังแสดงให้เห็นว่า มันสามารถเป็นนักออกแบบงานสร้างสรรค์ได้ ถ้านักวิจัยป้อนภาพ sketches ของเก้าอี้ที่แตกต่างกัน 4 แบบให้โมเดลที่ถูกฝึกฝนมาให้วาดรูปแมว มันจะภาพ sketches ของแมวที่คล้ายเก้าอี้ออกมา

 

ai.googleblog.com

นอกจากนี้นักวิจัยยังได้ฝึกฝนให้โมเดลของ Sketch-rnn คาดการณ์ภาพ sketches ที่สมบูรณ์ว่าจะออกมาอย่างไร จากภาพ sketches ของมนุษย์ซึ่งวาดมาไม่สมบูรณ์ และภาพที่มันสร้างออกมามีหลายแบบแตกต่างกันไป ดังรูปข้างล่าง

 

ai.googleblog.com

ทั้งหมดที่แสดงให้เห็น เป็นเพียงบางส่วนของวิจัยของ Google Brain team.

 

 

Shawn Mendes – Youth ft.Khalid

ขอบคุณ Shawn Mendes และ Khalid ที่ถึงแม้นจะเป็นชาวคริสต์ แต่ยังนึกถึงชาวมุสลิม และได้กล่าวถึงเด็กมุสลิมคนหนึ่งที่อาศัยอยู่ในอเมริกา และถูกจับกุมเพียงเพราะเขานำนาฬิกาปลุกดิจิตัลที่ประดิษฐ์ขึ้นเองไปโรงเรียน แต่คุณครูคิดว่านั่นคือระเบิดเวลา