Luento 25.4. Koneppiminen ja deep learning

Tämän jälkeen paneuduttiin hermoverkkoihin sekä niiden opetukseen, ja mainittiin  lyhyesti opetusalgoritmin perustuvan derivaattaan ja ketjusääntöön. Näiden avulla voidaan päätellä suunta, jossa luokitteluvirhe pienenee jyrkimmin, ja kyseiset kaavat löytyvät esim. täältä. Perus-backpropagationin lisäksi on olemassa kehittyneempiä ja nopeampia opetusalgoritmeja, ja esim. Matlabissa niitä on lähes parikymmentä. Olennaisin ero algoritmien välillä on niiden nopeudessa ja muistin tarpeessa.

Edellisviikolla opetettua verkkoa testattiin rekisterikilven tunnistuksessa esimerkkikuvilla, joista näytettiin hiirellä merkin sijainti. Testissä havaittiin luokittelun toimivan täysin oikein kun merkki oli hyvin laatikon sisällä. Jos merkin lisäksi 10x10-laatikon sisällä oli muutakin, luokittelu meni väärin.
Tavallisen hermoverkon herkkyys merkin oikealle kohdistukselle on yleinen ongelma. Tämä on saatu valtaosin ratkaistua uudemmissa ns. konvoluutioverkoissa, jotka esiteltiin alun perin jo 1980-luvulla, mutta ovat saavuttaneet valtavan suosion vasta laskentatehon lisäännyttyä 2010-luvulla. Syvät (yli 3 tasoa; jopa 1000 tasoa) konvoluutioverkot ovat aiheuttaneet läpimurron kuvan- ja puheentunnistuksessa.

Lopuksi vilkaistiin tuoreita esimerkkejä syvillä hermoverkoilla saavutetuista tuloksista:

• Image captioning, joka generoi kuvasta tekstimuotoisen kuvauksen.
• @DeepDrumpf, joka generoi Tweettejä Donald Trumpilta oppimallaan tyylillä.
• Microsoftin rohkea mutta valitettavasti hyökkäyksen kohteeksi joutunut Tay-botti. [The Vergen artikkeli; ei lapsille]
• Visual dialog, joka keskustelee kanssasi saamastaan kuvasta. Kokeile myös demoa.
• TTY:n iänarviointidemo. 

Valitettavasti aika ei suunnitelmasta huolimatta riittänytkään audiokompression tutkimiseen. Tämä on harmi ja syy suunnitella aikataulu paremmin ensi vuonna, koska kappale yhdistää monta kurssilla tutkittua aihetta: suodinsuunnittelun, näytteenottotaajuuden muuntelun sekä kvantisointimallin. Tiivistelmä aiheesta kuitenkin alla olevassa videonpätkässä, jonka avulla järjestelmien toimintaperiaatteesta saa toivottavasti yleiskuvan.