Categories
Pulssi Älykästä tuotantoa

Neuro­verk­ko­poh­jaiset tekoä­ly­so­vel­lukset : kehitys­suuntia ja tulevai­suuden mahdollisuuksia

Viime vuosina erityi­sesti neuro­verk­koihin pohjau­tuvien tekoä­ly­so­vel­lusten kehitys­vauhti on ollut huima. Neuro­verkkoja ja muita tekoä­ly­so­vel­luksia hyödyn­tävät asian­tun­ti­ja­jär­jes­telmät ovat tulleet huomaa­mat­to­miksi osiksi jokapäi­väistä elämäämme. Luon tässä artik­ke­lissa lyhyen, yleis­ta­juisen katsauksen neuro­verk­ko­poh­jaisten tekoä­ly­so­vel­lusten mennei­syyteen ja nykyi­syyteen. Pohdin myös hieman tekoä­lyjen esiin­marssin mahdol­li­suuksia työelä­mälle ja erityi­sesti opetustyölle.

Neuro­verk­kojen historia

Ihmisten ja eläinten hermoston tutki­muksen historia ulottuu tuhansia vuosia taaksepäin. Luonnon­tie­teel­lisen ymmär­ryksen kehit­tyessä tietei­lijät pohtivat eläinten liikkeiden ja ajatusten kenties liittyvän jollain tavoin hermoston toimintaan. Hermoston ajateltiin kuuluvan tutki­mus­koh­teena lähinnä lääke­tieteen, biologian, kemian ja fysiikan sekä kenties myös aavis­tuksen teologian alaan.

Hermo­verk­kojen infor­maa­tio­tie­teel­linen luonne ymmär­rettiin 1900-luvun alkupuo­lella. Biolo­giset hermo­verkot, kuten vaikkapa ihmisen hermosto, pystyvät välit­tämään suuria määriä infor­maa­tiota käyttäen varsin yksin­ker­taisia sähkö­ke­mial­lisia signaaleja. Näiden signaalien yhteis­vai­ku­tuk­sesta emergoituu kokonaisen eläimen käyttäytyminen.

Ymmär­ryksen karttuessa heräsi halu simuloida, mallintaa ja toistaa hermoston toimintaa myös keino­te­koi­silla hermo­ver­koilla. Matemaat­tista perustaa näiden verkkojen toimin­nalle ryhdyttiin luomaan 1940-luvulta alkaen, ja ensim­mäiset keino­te­koiset hermo­verkot raken­nettiin 1900-luvun puoli­vä­lissä. Nämä olivat vielä hyvin yksin­ker­taisia, muuta­masta solmusta eli keino­te­koi­sesta hermo­so­lusta koostuvia verkkoja. Tällai­sista keino­te­koi­sista hermo­ver­koista käytetään suomen kielessä nimitystä neuroverkko.

Lähes koko 1900-luku kului neuro­verk­kojen matemaat­tista ja algorit­mista perustaa kehitet­täessä. Tieto­ko­neiden lasken­tateho ja muistin määrä eivät vielä riittäneet kovinkaan tehok­kaiden keino­te­koisten neuro­verk­kojen luontiin. Neuro­verk­kojen hyödyn­tä­misen sijaan tekoä­ly­oh­jelmat sovel­sivat pääosin muita, usein sääntö­poh­jaisia menetelmiä.

Esimerkkinä sääntö­poh­jai­sesta tekoä­lystä voidaan mainita shakin maail­man­mes­tarin Garri Kaspa­rovin vuonna 1997 voittanut DeepBlue-tekoäly. Se perustui raakaan lasken­ta­tehoon, jossa tekoäly laski shakki­peliä kymmeniä tai satoja siirtoja eteenpäin erilaisia algoritmeja käyttäen. DeepBluen tekoäly ei ollut neuroverkko.

Neuro­verkko puolestaan perustuu opetusai­neiston käyttöön. Tekoäly opetetaan opetusai­neis­tolla käyttäen erilaisia menetelmiä. Neuro­verkko luo aineiston perus­teella yhteyksiä, joilla se oppii reagoimaan toivo­tulla tavalla annettuun aineistoon. Yrityksen, erehdyksen ja niistä oppimisen kautta tapahtuva oppiminen muistuttaa ihmisten ja eläinten oppimisprosessia.

Neuro­verkot ovat tulleet osaksi arkea

Viime vuosi­kym­meninä neuro­verk­kojen kehitys on ollut huimaa. Menneen 2010-luvun aikana neuro­verk­koal­go­ritmit saavut­tivat ja ylittivät ihmis­ta­soiset suori­tukset monilla tekoälyn sovel­lusa­lueilla. Esimer­kiksi vuonna 2016 AlphaGo-neuro­verk­ko­te­koäly voitti ihmis­pe­laajan Go-pelissä, jota oli aiemmin pidetty liian vaikeana pelinä tekoälylle.

Go-pelissä eri pelivaih­toeh­tojen määrä on niin huimaava, ettei shakin kaltai­sella puhtaan sääntö­poh­jai­sella lasken­nalla voida saavuttaa voittoa. Sen sijaan Go:n on koettu edellyt­tävän ihmis­pe­laa­jiltaan jonkin­laista intui­tii­vista osaamista. AlphaGo-tekoäly kykeni simuloimaan tätä intuitota ja löytämään erittäin hyviä siirtoja. Erityi­sesti tekoälyn tekemän niin sanotun siirto 37:n koettiin olevan ihmis­pe­laajien taitojen ulottu­mat­to­missa (Metz 2016). 

Lauta­pelien pelaa­misen lisäksi neuro­ver­koilla on saavu­tettu viime vuosina huimia tuloksia myös monilla muilla sovel­lusa­lueilla. Neuro­verkko tunnistaa kasvo­ku­vasta esimer­kiksi ihmisen seksu­aa­lisen suuntau­tu­misen (Kosinski 2018) tai puolue­kannan (Kosinski 2022) ihmis­kat­sojaa paremmin. MIT-yliopiston tutki­muk­sissa neuro­verkko pystyi erottamaan röntgen­ku­vista ihmisen rodun. Tämä on taito, joka ei onnistu ihmis­lää­kä­reiltä (Gichoya 2022).

Vuonna 2014 Ian Goodfellow ryhmineen kehitti GAN-tekniikkana tunnetun menetelmän kouluttaa neuro­verkkoja peluut­ta­malla kahta neuro­verkkoa toisiaan vastaan (Goodfellow 2014). Generative Adaptive Networks (GAN) -verkkoja hyödyn­tävät tekno­logiat ovatkin mullis­taneet monia tekoälyn sovel­lus­koh­teita alle kymmenen viime vuoden aikana. 

Neuro­verk­koa­vus­teisen kuvan­tun­nis­tuksen ja kuvan­kä­sit­telyn alalla kuluneet kymmenen vuotta ovat olleet hurjan kehityksen aikaa. GAN-verkkoja hyödyntävä deepfake-menetelmä mahdol­listaa kenen tahansa kasvojen vaihta­misen video­kuvaan. GAN-verkot kykenevät myös generoimaan loput­to­masti uskot­ta­vilta näyttäviä ihmis­kasvoja, joita ei todel­li­suu­dessa ole olemassa. 

StyleGAN-neuro­verkko luo loput­toman virran tekoälyn generoimia ihmis­kasvoja, joita ei todel­li­suu­dessa ole olemassa. Muita tekoälyn generoimia kuvagal­le­rioita voi löytää täältä.

Lähes jokai­selle tutun esimerkin neuro­verk­koa­vus­tei­sesta tekoä­lystä tarjoaa Googlen Translate -palvelu, joka kääntää lähes millä tahansa kielellä kirjoi­tetun tekstin toiselle ihmis­kie­lelle. Alkuun Googlen käännös­palvelu käytti käännök­sissään sääntö­poh­jaisia statis­tisia malleja, mutta on siirtynyt neuro­verk­ko­poh­jaisiin syväop­pi­mis­mal­leihin. Google kehittää jatku­vasti MT (machine trans­lation) -tekno­lo­gi­aansa, lisää eri kielten tukea sekä parantaa käännösten laatua (Bapna 2022).

Neuro­verk­ko­poh­jaiset tekoälyt ovat tulleet osaksi arkie­lä­määmme kuin huomaa­matta. Niiden ohjel­moi­minen ja käyttö ei myöskään ole yli-inhimil­listä raket­ti­tie­dettä. Esimer­kiksi Karelia-amk:n lehtori Radu Mariescu-Istodorin kurssilla Self-Driving Car with JavaScript opetellaan yksin­ker­taisen neuro­verkon luontia (Mariescu-Istodor 2022). Kurssi on saavut­tanut suuren suosion myös Youtu­bessa, ja sillä on jo satoja­tu­hansia katsojia. Myös muiden opettajien kursseilla hyödyn­netään neuroverkkoja.

Trans­former-verkoilla yhä monipuo­li­sempia sovellusmahdollisuuksia

Uusinta uutta neuro­verk­kojen saralla ovat niinsa­notut trans­former-verkot, kuten OpenAI:n kehit­telemä GPT (General Pre-trained Trans­former) sekä Google Deepmindin kehit­telemä Gato.

Trans­former-verkkojen toimin­ta­pe­riaate pohjautuu aiemmin kehitet­tyihin neuro­verk­ko­tek­nii­koihin. Näihin verkkoihin on kuitenkin lisätty erilaisia menetelmiä aiemmin syötetyn sisällön muista­mi­seksi sekä neuro­verkon huomion kiinnit­tä­mi­seksi syötteen kontekstiin. (Ankit 2022)

Trans­former-verkot kykenevät monipuo­lisiin suori­tuksiin. Kerran koulu­tettu neuro­verkko saattaa kyetä esimer­kiksi generoimaan kauno­kir­jal­li­suutta, pelaamaan video­pelejä, chattai­lemaan ihmisten kanssa, ohjel­moimaan, generoimaan kuvia ja suorit­tamaan monia muita tehtäviä. Trans­former-verkot pyrkivät kohti yleis­tet­tä­vyyttä, generalismia.

GPT-3 on GPT-neuro­verkon uusin versio. Sitä käyttäen on kehitetty monen­laisia sovel­luksia kuten teksti­ge­ne­raat­to­reita, chatbotteja ja koodi­ge­ne­raat­to­reita. Tekoäly kykenee tuottamaan lähes virhee­töntä englan­nin­kie­listä proosaa haluttuun tyyli­lajiin tai esimer­kiksi JavaScript-koodia pelkän sanal­lisen kuvailun perusteella.

GPT-3-neuro­ver­kolle voidaan esimer­kiksi syöttää pätkä tekstiä, jonka jälkeen se generoi tekstille jatkoa. Muita GPT-3:n sovel­lus­koh­teita voi löytää täältä.

Yksi visuaa­li­sesti näyttä­vim­mistä GPT-3:n sovel­lus­koh­teista on DALL-E, ja sen uusin versio DALL-E 2. DALL-E -neuro­verkko generoi sanal­li­sesti annetusta kuvauk­sesta surrea­lis­tisen tai uudessa versiossaan lähes fotorea­lis­tisen kuvan. DALL-E:n tuottamia kuvia on kuvailtu taiteeksi, luovuutta edellyt­tä­viksi tuotok­siksi (Newton 2022). DALL-E on viime aikoina herät­tänyt suuren yleisön mielen­kiintoa myös Suomessa sen tuottamien kuvien visuaa­lisen näyttä­vyyden vuoksi (ks. esim. Eromäki 2022). 

DALL-E -kuvage­ne­raat­torin miniver­siota voi testata ilmai­seksi verkossa. DALL-E 2:n käyttö on tämän artik­kelin kirjoi­tus­het­kellä (7/2022) rajoi­tettua, ja pääsy käyttä­jäksi tapahtuu odotus­listan kautta. DALL-E 2:n generoimia kuvia löytyy kuitenkin verkosta lukui­sista osoit­teista (ks. esim. Rivero 2022).

Tekoäly ja tietoisuus

Neuro­verk­ko­poh­jainen tekoäly kykenee jo nykyi­sellään moniin inhimil­li­seltä tuntuviin ja jopa yli-inhimil­lisiin suori­tuksiin. Tekoäly on kuitenkin vielä “tyhmä”, eikä sillä ole tämän­het­kisen konsen­suksen mukaan tietoi­suutta. Sen sijaan trans­former-tekoälyt ovat hyvin taitavia ennus­tamaan, mikä sana tulee esimer­kiksi virkkeessä edellisen sanan jälkeen jopa vain muutaman käyttö­esi­merkin jälkeen (Chan 2022). Tämä on puhdasta todennäköisyyslaskentaa. 

Neuro­verkko on taitava tulkit­semaan sanojen välisiä suhteita. Se kykenee jopa näytte­lemään tietoi­suutta johonkin rajaan saakka. GPT:tä tai muita edisty­neitä trans­former-verkkoja hyödyn­täviä chatbox-palve­luita käyttävät harras­tajat ovat esimer­kiksi kokeneet keskus­te­le­vansa toisen ihmisen, kuten edesmenneen sukulai­sensa kanssa. GPT-verkkojen käyttö­ehdot kuitenkin kieltävät tämän­tyyp­pisen käytön. Palvelut suljetaan väärin­käy­tösten ilmetessä (Quach 2021). 

Genera­lismiin pyrkivien trans­former-verkkojen esiin­nousu on ymmär­ret­tä­västi herät­tänyt eettisiä kysymyksiä. Emme välttä­mättä ole kovin kaukana siitä, että trans­former-verkkoon pohjautuva tekoäly läpäisee Turingin testin ja kykenee näytte­lemään tietoi­suutta sen kanssa keskus­te­levan ihmisen kanssa. On esitetty väitteitä, että Google LaMDA-tekoäly olisi tässä mielessä tietoinen jo nykyisin (ks. esim. Levy 2022). 

Neuro­verk­kojen huima suori­tuskyky herättää myös turval­li­suus­huolia. Minkä­laisia turva­me­ka­nismeja tulee kehittää, ettei neuro­verk­ko­te­koäly riistäydy käsistä? Tätä kysymystä pohtivat Google Deepmindin tutkijat artik­ke­lissaan A Generalist Agent, jossa he esitte­levät Googlen uuden Gato-tekoälyn mahdol­li­suuksia (Reed 2022).

Klassisen esimerkin tekoälyn mahdol­li­sista vaaroista tarjoaa Oxfordin yliopiston Future of Humanity -insti­tuutin johtaja Nick Bostrom ajatus­lei­killään tekoä­lystä, jonka tehtävänä on valmistaa paperi­liit­timiä mahdol­li­simman tehok­kaasti. Ensin se muuttaa koko maapallon, ja myöhemmin myös koko maail­man­kaik­keuden jätti­mäi­seksi paperi­lii­tin­teh­taaksi aivan tavoi­te­funk­tionsa mukai­sesti (Bostrom 2003). Meidän tuleekin olla varovaisia siinä, mitä toivomme tekoälyiltä. 

Neuro­ver­koilla huima hyödyntämispotentiaali

Neuro­verk­kojen kehitys jatkuu huimana. Esimer­kiksi tuleva GPT-4 -genera­lis­ti­verkko kykenee toden­nä­köi­sesti edellistä versiota laajempiin ja parempiin suori­tuksiin. Tekoälyt ovatkin tulleet jäädäkseen, ja ne kykenevät yhä uskomat­to­mampiin suorituksiin. 

Toisaalta neuro­verk­kojen koulut­ta­miseen liittyy suuria kustan­nuksia. GPT-3 -mallin koulut­ta­minen maksoi arvioiden mukaan noin 10 – 20 miljoonaa dollaria. (Kurenkov 2021) Siten kehit­täjät eivät enää pyri pelkkään paramet­ri­määrän kasvat­ta­miseen, vaan edessä on myös tekoä­lyjen optimointi hyödyntäen tehok­kaammin käytet­tä­vissä olevia resursseja (Romero 2022). Kun tekoäly on kerran luotu ja koulu­tettu, sitä on kuitenkin erittäin halpaa hyödyntää. 

Tekoä­lyjen mahdol­listama automa­ti­saatio korvaakin tulevai­suu­dessa ihmisiä rutii­ni­töissä kiihty­vällä vauhdilla myös valko­kau­lus­töissä. Puhutaan neljän­nestä teolli­sesta vallan­ku­mouk­sesta, joka liittyy muun muassa älykkään automaation ja big datan hyödyn­tä­miseen. Oikeastaan vain työnte­ki­jöiden taidot ovat esteenä automaation ja tekoä­lyjen hyödyn­tä­mi­selle. Erityi­sesti taita­vista ohjel­moi­jista ja erikois­oh­jel­mis­tojen osaajista on huutava pula.

Ihmis­työnä on turha teettää töitä, jotka tekoäly tekee paremmin, nopeammin ja halvem­malla. Neuro­verk­ko­poh­jaisten asian­tun­ti­ja­jär­jes­telmien ja tekoä­lyjen esiin­marssi tulee olemaan suuri haaste myös koulu­tuk­selle. Mitkä työteh­tävät ovat sellaisia, että ammat­ti­laisen tulee jatkos­sakin osata ne itse? Entä minkä voi suosiolla jättää asian­tun­ti­ja­jär­jes­telmien osaamisen varaan? 

Lienee syytä esittää kysymys myös siitä, mitä tuleville asian­tun­ti­joille pitäisi opettaa, jotta he kykeni­sivät jatkossa hyödyn­tämään asian­tun­ti­ja­jär­jes­telmiä optimaa­li­sesti oman työnsä apuna. Ainakaan ohjel­moinnin ja tekoälyn perus­teiden opiske­lusta ei liene haittaa minkään alan koulutuksessa. 

Tekoäly marssii myös opetustyöhön

Viisi­toista vuotta sitten, opettaessani ohjel­mointia Jyväs­kylän yliopis­tossa, tarkistin muiden tuntio­pet­tajien kanssa ohjel­moin­ti­tenttejä. Tentit tehtiin kynällä kirjoittaen, paperille. Tarkis­ta­mista riitti. 

Nykyisin sähköi­sesti palau­tet­tavat ohjel­moin­ti­teh­tävät tarkas­tetaan automa­ti­soi­dusti testausym­pä­ristön avulla. Ihmis­työtä ei tarvita. Tämä mahdol­listaa esimer­kiksi Helsingin yliopiston järjes­tämien ohjel­moinnin MOOC-kurssien massa­maisen pidon. Ohjel­moin­ti­teh­tävien rutii­nin­omainen tarkis­ta­minen ei vaadi neuro­verkkoja. Yksin­ker­tainen, sääntö­poh­jainen tekoäly riittää. 

Siinä missä sääntö­poh­jainen testausau­to­maatio tarkastaa nykyisin ohjel­mis­tojen oikeel­li­suutta, muutaman vuoden tai vuosi­kym­menen päästä neuro­verk­ko­poh­jainen tekoäly tarkastaa myös luonnol­li­sella kielellä kirjoi­tetun opinnäy­tetyön. Samalla neuro­verkko etsii merkkejä siitä, onko tuotos luonnol­lisen ihmisen tuottama, vai onko sen mahdol­li­sesti kirjoit­tanut toinen neuroverkko.

Opetus­työssä neuro­verk­ko­te­ko­ä­lyjen esiin­marssi saattaa näkyä siten, että tulevai­suu­dessa asian­tun­ti­ja­jär­jes­telmä hoitaa yhä suuremman osan rutii­ni­teh­tä­vistä. Näitä rutii­ni­teh­täviä voivat olla esimer­kiksi palau­tet­tujen tehtävien tarkis­ta­minen. Vain käyttäjien osaaminen asettaa rajat automaation hyöty­käy­tölle. Siten myös opettajan oman osaamisen ylläpitoon ja kehit­tä­miseen on syytä varata tarpeeksi resursseja. 

Asian­tun­ti­ja­jär­jes­telmien käyttö vaatii asian­tun­ti­ja­tason osaamista, eikä kukaan voi olla kaikkien alojen asian­tuntija. Siten myös erilaiset ihmis­asian­tun­ti­joiden tarjoamat mento­rointi- ja tukipal­velut tulevat pysyviksi osiksi oppilai­tosten toimintaa. Puustisen ja Hyttisen esittelemä digimen­to­roin­ti­toi­minta (2022) osoittaa, että tämän­tyyp­pi­sissä pedago­gi­sissa tukikäy­tän­teissä ollaan Karelia-ammat­ti­kor­kea­kou­lussa jo pitkällä.


Kirjoittaja:

Panu Ojala, projek­ti­asian­tuntija, UpTech-hanke, Karelia-ammattikorkeakoulu


Lähteet:

Ankit U.: Trans­former Neural Networks: A Step-by-Step Breakdown. Built In. 29.6.2022.
https://builtin.com/artificial-intelligence/transformer-neural-network

Bapna, A. ym: Building Machine Trans­lation Systems for the Next Thousand Languages. 6.7.2022
https://arxiv.org/pdf/2205.03983.pdf

Bostrom, N.: Ethical Issues in Advanced Artificial Intel­li­gence. 2003.
https://nickbostrom.com/ethics/ai

Chan S.C.Y. ym: Data Distri­bu­tional Properties Drive Emergent In-Context Learning in Trans­formers. 30.5.2022.
https://arxiv.org/abs/2205.05055

Eromäki V.: Uuno Turhapuro kirjoit­ta­massa USA:n itsenäi­syys­ju­lis­tusta ja avokado-nojatuoli – asian­tuntija pitää DALL-E -tekoälyä merkki­paaluna. YLE Uutiset. 15.7.2022. https://yle.fi/uutiset/3-12513401

Gichoya J.W. ym: AI recog­nition of patient race in medical imaging: a modelling study. The Lancet. 11.5.2022.
https://www.thelancet.com/journals/landig/article/PIIS2589-7500(22)00063-2/fulltext

Goodfellow, I. ym: Generative Adver­sarial Networks. Advances in Neural Infor­mation Processing Systems 27 (NIPS 2014). 2014
https://arxiv.org/abs/1406.2661?context=cs

Kosinski M. & Wang Y.: Deep Neural Networks Are More Accurate Than Humans at Detecting Sexual Orien­tation From Facial Images. Social Psychology February 2018 Vol. 114 Issue 2 Pages 246–257.
https://www.gsb.stanford.edu/faculty-research/publications/deep-neural-networks-are-more-accurate-humans-detecting-sexual

Kosinski M.: Facial Recog­nition Technology Can Expose Political Orien­tation from Natura­listic Facial Images. Nature Scien­tific Reports January 11, 2021 Vol. 11 https://www.nature.com/articles/s41598-020-79310-1

Kurenkov A.: GPT-3 is No Longer the Only Game in Town. Last Week in AI. 6.11.2021. https://lastweekin.ai/p/gpt-3-is-no-longer-the-only-game

Levy S.: Blake Lemoine Says Google’s LaMDA AI Faces ’Bigotry’. Wired.17.6.2022. https://www.wired.com/story/blake-lemoine-google-lamda-ai-bigotry/

Newton C.: How DALL-E could power a creative revolution. The Verge. 10.6.2022.
https://www.theverge.com/23162454/openai-dall-e-image-generation-tool-creative-revolution

Mariescu-Istodor R.: Preparing a course for YouTube. Pulssi. 20.5.2022.
https://karelia.fi/2022/05/preparing-a-course-for-youtube/

Metz C.: In Two Moves, AlphaGo and Lee Sedol Redefined the Future. Wired. 16.3.2016.
https://www.wired.com/2016/03/two-moves-alphago-lee-sedol-redefined-future/

Puustinen S. & Hyttinen M.: Karelian digimen­torit tukevat pedago­giikan ja opetus­tek­no­logian yhdis­tä­mi­sessä. Pulssi. 27.5.2022.
https://karelia.fi/2022/05/karelian-digimentorit-tukevat-pedagogiikan-ja-opetusteknologian-yhdistamisessa/

Quach K.: A developer built an AI chatbot using GPT-3 that helped a man speak again to his late fiancée. OpenAI shut it down. The Register. 8.9.2021. https://www.theregister.com/2021/09/08/project_december_openai_gpt_3/

Reed S. ym: A Generalist Agent. 19.5.2022. https://arxiv.org/pdf/2205.06175.pdf

Rivero N.: The best examples of DALL-E 2’s strange, beautiful AI art. Quartz. 10.6.2022.
https://qz.com/2176389/the-best-examples-of-dall-e-2s-strange-beautiful-ai-art/

Romero A.: GPT-4 Is Coming Soon. Here’s What We Know About It. Towards Data Science. 17.4.2022.
https://towardsdatascience.com/gpt-4-is-coming-soon-heres-what-we-know-about-it-64db058cfd45

Artik­ke­likuva: Free Stock photos by Vecteezy