Viime vuosina erityisesti neuroverkkoihin pohjautuvien tekoälysovellusten kehitysvauhti on ollut huima. Neuroverkkoja ja muita tekoälysovelluksia hyödyntävät asiantuntijajärjestelmät ovat tulleet huomaamattomiksi osiksi jokapäiväistä elämäämme. Luon tässä artikkelissa lyhyen, yleistajuisen katsauksen neuroverkkopohjaisten tekoälysovellusten menneisyyteen ja nykyisyyteen. Pohdin myös hieman tekoälyjen esiinmarssin mahdollisuuksia työelämälle ja erityisesti opetustyölle.
Neuroverkkojen historia
Ihmisten ja eläinten hermoston tutkimuksen historia ulottuu tuhansia vuosia taaksepäin. Luonnontieteellisen ymmärryksen kehittyessä tieteilijät pohtivat eläinten liikkeiden ja ajatusten kenties liittyvän jollain tavoin hermoston toimintaan. Hermoston ajateltiin kuuluvan tutkimuskohteena lähinnä lääketieteen, biologian, kemian ja fysiikan sekä kenties myös aavistuksen teologian alaan.
Hermoverkkojen informaatiotieteellinen luonne ymmärrettiin 1900-luvun alkupuolella. Biologiset hermoverkot, kuten vaikkapa ihmisen hermosto, pystyvät välittämään suuria määriä informaatiota käyttäen varsin yksinkertaisia sähkökemiallisia signaaleja. Näiden signaalien yhteisvaikutuksesta emergoituu kokonaisen eläimen käyttäytyminen.
Ymmärryksen karttuessa heräsi halu simuloida, mallintaa ja toistaa hermoston toimintaa myös keinotekoisilla hermoverkoilla. Matemaattista perustaa näiden verkkojen toiminnalle ryhdyttiin luomaan 1940-luvulta alkaen, ja ensimmäiset keinotekoiset hermoverkot rakennettiin 1900-luvun puolivälissä. Nämä olivat vielä hyvin yksinkertaisia, muutamasta solmusta eli keinotekoisesta hermosolusta koostuvia verkkoja. Tällaisista keinotekoisista hermoverkoista käytetään suomen kielessä nimitystä neuroverkko.
Lähes koko 1900-luku kului neuroverkkojen matemaattista ja algoritmista perustaa kehitettäessä. Tietokoneiden laskentateho ja muistin määrä eivät vielä riittäneet kovinkaan tehokkaiden keinotekoisten neuroverkkojen luontiin. Neuroverkkojen hyödyntämisen sijaan tekoälyohjelmat sovelsivat pääosin muita, usein sääntöpohjaisia menetelmiä.
Esimerkkinä sääntöpohjaisesta tekoälystä voidaan mainita shakin maailmanmestarin Garri Kasparovin vuonna 1997 voittanut DeepBlue-tekoäly. Se perustui raakaan laskentatehoon, jossa tekoäly laski shakkipeliä kymmeniä tai satoja siirtoja eteenpäin erilaisia algoritmeja käyttäen. DeepBluen tekoäly ei ollut neuroverkko.
Neuroverkko puolestaan perustuu opetusaineiston käyttöön. Tekoäly opetetaan opetusaineistolla käyttäen erilaisia menetelmiä. Neuroverkko luo aineiston perusteella yhteyksiä, joilla se oppii reagoimaan toivotulla tavalla annettuun aineistoon. Yrityksen, erehdyksen ja niistä oppimisen kautta tapahtuva oppiminen muistuttaa ihmisten ja eläinten oppimisprosessia.
Neuroverkot ovat tulleet osaksi arkea
Viime vuosikymmeninä neuroverkkojen kehitys on ollut huimaa. Menneen 2010-luvun aikana neuroverkkoalgoritmit saavuttivat ja ylittivät ihmistasoiset suoritukset monilla tekoälyn sovellusalueilla. Esimerkiksi vuonna 2016 AlphaGo-neuroverkkotekoäly voitti ihmispelaajan Go-pelissä, jota oli aiemmin pidetty liian vaikeana pelinä tekoälylle.
Go-pelissä eri pelivaihtoehtojen määrä on niin huimaava, ettei shakin kaltaisella puhtaan sääntöpohjaisella laskennalla voida saavuttaa voittoa. Sen sijaan Go:n on koettu edellyttävän ihmispelaajiltaan jonkinlaista intuitiivista osaamista. AlphaGo-tekoäly kykeni simuloimaan tätä intuitota ja löytämään erittäin hyviä siirtoja. Erityisesti tekoälyn tekemän niin sanotun siirto 37:n koettiin olevan ihmispelaajien taitojen ulottumattomissa (Metz 2016).
Lautapelien pelaamisen lisäksi neuroverkoilla on saavutettu viime vuosina huimia tuloksia myös monilla muilla sovellusalueilla. Neuroverkko tunnistaa kasvokuvasta esimerkiksi ihmisen seksuaalisen suuntautumisen (Kosinski 2018) tai puoluekannan (Kosinski 2022) ihmiskatsojaa paremmin. MIT-yliopiston tutkimuksissa neuroverkko pystyi erottamaan röntgenkuvista ihmisen rodun. Tämä on taito, joka ei onnistu ihmislääkäreiltä (Gichoya 2022).
Vuonna 2014 Ian Goodfellow ryhmineen kehitti GAN-tekniikkana tunnetun menetelmän kouluttaa neuroverkkoja peluuttamalla kahta neuroverkkoa toisiaan vastaan (Goodfellow 2014). Generative Adaptive Networks (GAN) -verkkoja hyödyntävät teknologiat ovatkin mullistaneet monia tekoälyn sovelluskohteita alle kymmenen viime vuoden aikana.
Neuroverkkoavusteisen kuvantunnistuksen ja kuvankäsittelyn alalla kuluneet kymmenen vuotta ovat olleet hurjan kehityksen aikaa. GAN-verkkoja hyödyntävä deepfake-menetelmä mahdollistaa kenen tahansa kasvojen vaihtamisen videokuvaan. GAN-verkot kykenevät myös generoimaan loputtomasti uskottavilta näyttäviä ihmiskasvoja, joita ei todellisuudessa ole olemassa.
StyleGAN-neuroverkko luo loputtoman virran tekoälyn generoimia ihmiskasvoja, joita ei todellisuudessa ole olemassa. Muita tekoälyn generoimia kuvagallerioita voi löytää täältä.
Lähes jokaiselle tutun esimerkin neuroverkkoavusteisesta tekoälystä tarjoaa Googlen Translate -palvelu, joka kääntää lähes millä tahansa kielellä kirjoitetun tekstin toiselle ihmiskielelle. Alkuun Googlen käännöspalvelu käytti käännöksissään sääntöpohjaisia statistisia malleja, mutta on siirtynyt neuroverkkopohjaisiin syväoppimismalleihin. Google kehittää jatkuvasti MT (machine translation) -teknologiaansa, lisää eri kielten tukea sekä parantaa käännösten laatua (Bapna 2022).
Neuroverkkopohjaiset tekoälyt ovat tulleet osaksi arkielämäämme kuin huomaamatta. Niiden ohjelmoiminen ja käyttö ei myöskään ole yli-inhimillistä rakettitiedettä. Esimerkiksi Karelia-amk:n lehtori Radu Mariescu-Istodorin kurssilla Self-Driving Car with JavaScript opetellaan yksinkertaisen neuroverkon luontia (Mariescu-Istodor 2022). Kurssi on saavuttanut suuren suosion myös Youtubessa, ja sillä on jo satojatuhansia katsojia. Myös muiden opettajien kursseilla hyödynnetään neuroverkkoja.
Transformer-verkoilla yhä monipuolisempia sovellusmahdollisuuksia
Uusinta uutta neuroverkkojen saralla ovat niinsanotut transformer-verkot, kuten OpenAI:n kehittelemä GPT (General Pre-trained Transformer) sekä Google Deepmindin kehittelemä Gato.
Transformer-verkkojen toimintaperiaate pohjautuu aiemmin kehitettyihin neuroverkkotekniikoihin. Näihin verkkoihin on kuitenkin lisätty erilaisia menetelmiä aiemmin syötetyn sisällön muistamiseksi sekä neuroverkon huomion kiinnittämiseksi syötteen kontekstiin. (Ankit 2022)
Transformer-verkot kykenevät monipuolisiin suorituksiin. Kerran koulutettu neuroverkko saattaa kyetä esimerkiksi generoimaan kaunokirjallisuutta, pelaamaan videopelejä, chattailemaan ihmisten kanssa, ohjelmoimaan, generoimaan kuvia ja suorittamaan monia muita tehtäviä. Transformer-verkot pyrkivät kohti yleistettävyyttä, generalismia.
GPT-3 on GPT-neuroverkon uusin versio. Sitä käyttäen on kehitetty monenlaisia sovelluksia kuten tekstigeneraattoreita, chatbotteja ja koodigeneraattoreita. Tekoäly kykenee tuottamaan lähes virheetöntä englanninkielistä proosaa haluttuun tyylilajiin tai esimerkiksi JavaScript-koodia pelkän sanallisen kuvailun perusteella.
GPT-3-neuroverkolle voidaan esimerkiksi syöttää pätkä tekstiä, jonka jälkeen se generoi tekstille jatkoa. Muita GPT-3:n sovelluskohteita voi löytää täältä.
Yksi visuaalisesti näyttävimmistä GPT-3:n sovelluskohteista on DALL-E, ja sen uusin versio DALL-E 2. DALL-E -neuroverkko generoi sanallisesti annetusta kuvauksesta surrealistisen tai uudessa versiossaan lähes fotorealistisen kuvan. DALL-E:n tuottamia kuvia on kuvailtu taiteeksi, luovuutta edellyttäviksi tuotoksiksi (Newton 2022). DALL-E on viime aikoina herättänyt suuren yleisön mielenkiintoa myös Suomessa sen tuottamien kuvien visuaalisen näyttävyyden vuoksi (ks. esim. Eromäki 2022).
DALL-E -kuvageneraattorin miniversiota voi testata ilmaiseksi verkossa. DALL-E 2:n käyttö on tämän artikkelin kirjoitushetkellä (7/2022) rajoitettua, ja pääsy käyttäjäksi tapahtuu odotuslistan kautta. DALL-E 2:n generoimia kuvia löytyy kuitenkin verkosta lukuisista osoitteista (ks. esim. Rivero 2022).
Tekoäly ja tietoisuus
Neuroverkkopohjainen tekoäly kykenee jo nykyisellään moniin inhimilliseltä tuntuviin ja jopa yli-inhimillisiin suorituksiin. Tekoäly on kuitenkin vielä “tyhmä”, eikä sillä ole tämänhetkisen konsensuksen mukaan tietoisuutta. Sen sijaan transformer-tekoälyt ovat hyvin taitavia ennustamaan, mikä sana tulee esimerkiksi virkkeessä edellisen sanan jälkeen jopa vain muutaman käyttöesimerkin jälkeen (Chan 2022). Tämä on puhdasta todennäköisyyslaskentaa.
Neuroverkko on taitava tulkitsemaan sanojen välisiä suhteita. Se kykenee jopa näyttelemään tietoisuutta johonkin rajaan saakka. GPT:tä tai muita edistyneitä transformer-verkkoja hyödyntäviä chatbox-palveluita käyttävät harrastajat ovat esimerkiksi kokeneet keskustelevansa toisen ihmisen, kuten edesmenneen sukulaisensa kanssa. GPT-verkkojen käyttöehdot kuitenkin kieltävät tämäntyyppisen käytön. Palvelut suljetaan väärinkäytösten ilmetessä (Quach 2021).
Generalismiin pyrkivien transformer-verkkojen esiinnousu on ymmärrettävästi herättänyt eettisiä kysymyksiä. Emme välttämättä ole kovin kaukana siitä, että transformer-verkkoon pohjautuva tekoäly läpäisee Turingin testin ja kykenee näyttelemään tietoisuutta sen kanssa keskustelevan ihmisen kanssa. On esitetty väitteitä, että Google LaMDA-tekoäly olisi tässä mielessä tietoinen jo nykyisin (ks. esim. Levy 2022).
Neuroverkkojen huima suorituskyky herättää myös turvallisuushuolia. Minkälaisia turvamekanismeja tulee kehittää, ettei neuroverkkotekoäly riistäydy käsistä? Tätä kysymystä pohtivat Google Deepmindin tutkijat artikkelissaan A Generalist Agent, jossa he esittelevät Googlen uuden Gato-tekoälyn mahdollisuuksia (Reed 2022).
Klassisen esimerkin tekoälyn mahdollisista vaaroista tarjoaa Oxfordin yliopiston Future of Humanity -instituutin johtaja Nick Bostrom ajatusleikillään tekoälystä, jonka tehtävänä on valmistaa paperiliittimiä mahdollisimman tehokkaasti. Ensin se muuttaa koko maapallon, ja myöhemmin myös koko maailmankaikkeuden jättimäiseksi paperiliitintehtaaksi aivan tavoitefunktionsa mukaisesti (Bostrom 2003). Meidän tuleekin olla varovaisia siinä, mitä toivomme tekoälyiltä.
Neuroverkoilla huima hyödyntämispotentiaali
Neuroverkkojen kehitys jatkuu huimana. Esimerkiksi tuleva GPT-4 -generalistiverkko kykenee todennäköisesti edellistä versiota laajempiin ja parempiin suorituksiin. Tekoälyt ovatkin tulleet jäädäkseen, ja ne kykenevät yhä uskomattomampiin suorituksiin.
Toisaalta neuroverkkojen kouluttamiseen liittyy suuria kustannuksia. GPT-3 -mallin kouluttaminen maksoi arvioiden mukaan noin 10 – 20 miljoonaa dollaria. (Kurenkov 2021) Siten kehittäjät eivät enää pyri pelkkään parametrimäärän kasvattamiseen, vaan edessä on myös tekoälyjen optimointi hyödyntäen tehokkaammin käytettävissä olevia resursseja (Romero 2022). Kun tekoäly on kerran luotu ja koulutettu, sitä on kuitenkin erittäin halpaa hyödyntää.
Tekoälyjen mahdollistama automatisaatio korvaakin tulevaisuudessa ihmisiä rutiinitöissä kiihtyvällä vauhdilla myös valkokaulustöissä. Puhutaan neljännestä teollisesta vallankumouksesta, joka liittyy muun muassa älykkään automaation ja big datan hyödyntämiseen. Oikeastaan vain työntekijöiden taidot ovat esteenä automaation ja tekoälyjen hyödyntämiselle. Erityisesti taitavista ohjelmoijista ja erikoisohjelmistojen osaajista on huutava pula.
Ihmistyönä on turha teettää töitä, jotka tekoäly tekee paremmin, nopeammin ja halvemmalla. Neuroverkkopohjaisten asiantuntijajärjestelmien ja tekoälyjen esiinmarssi tulee olemaan suuri haaste myös koulutukselle. Mitkä työtehtävät ovat sellaisia, että ammattilaisen tulee jatkossakin osata ne itse? Entä minkä voi suosiolla jättää asiantuntijajärjestelmien osaamisen varaan?
Lienee syytä esittää kysymys myös siitä, mitä tuleville asiantuntijoille pitäisi opettaa, jotta he kykenisivät jatkossa hyödyntämään asiantuntijajärjestelmiä optimaalisesti oman työnsä apuna. Ainakaan ohjelmoinnin ja tekoälyn perusteiden opiskelusta ei liene haittaa minkään alan koulutuksessa.
Tekoäly marssii myös opetustyöhön
Viisitoista vuotta sitten, opettaessani ohjelmointia Jyväskylän yliopistossa, tarkistin muiden tuntiopettajien kanssa ohjelmointitenttejä. Tentit tehtiin kynällä kirjoittaen, paperille. Tarkistamista riitti.
Nykyisin sähköisesti palautettavat ohjelmointitehtävät tarkastetaan automatisoidusti testausympäristön avulla. Ihmistyötä ei tarvita. Tämä mahdollistaa esimerkiksi Helsingin yliopiston järjestämien ohjelmoinnin MOOC-kurssien massamaisen pidon. Ohjelmointitehtävien rutiininomainen tarkistaminen ei vaadi neuroverkkoja. Yksinkertainen, sääntöpohjainen tekoäly riittää.
Siinä missä sääntöpohjainen testausautomaatio tarkastaa nykyisin ohjelmistojen oikeellisuutta, muutaman vuoden tai vuosikymmenen päästä neuroverkkopohjainen tekoäly tarkastaa myös luonnollisella kielellä kirjoitetun opinnäytetyön. Samalla neuroverkko etsii merkkejä siitä, onko tuotos luonnollisen ihmisen tuottama, vai onko sen mahdollisesti kirjoittanut toinen neuroverkko.
Opetustyössä neuroverkkotekoälyjen esiinmarssi saattaa näkyä siten, että tulevaisuudessa asiantuntijajärjestelmä hoitaa yhä suuremman osan rutiinitehtävistä. Näitä rutiinitehtäviä voivat olla esimerkiksi palautettujen tehtävien tarkistaminen. Vain käyttäjien osaaminen asettaa rajat automaation hyötykäytölle. Siten myös opettajan oman osaamisen ylläpitoon ja kehittämiseen on syytä varata tarpeeksi resursseja.
Asiantuntijajärjestelmien käyttö vaatii asiantuntijatason osaamista, eikä kukaan voi olla kaikkien alojen asiantuntija. Siten myös erilaiset ihmisasiantuntijoiden tarjoamat mentorointi- ja tukipalvelut tulevat pysyviksi osiksi oppilaitosten toimintaa. Puustisen ja Hyttisen esittelemä digimentorointitoiminta (2022) osoittaa, että tämäntyyppisissä pedagogisissa tukikäytänteissä ollaan Karelia-ammattikorkeakoulussa jo pitkällä.
Kirjoittaja:
Panu Ojala, projektiasiantuntija, UpTech-hanke, Karelia-ammattikorkeakoulu
Lähteet:
Ankit U.: Transformer Neural Networks: A Step-by-Step Breakdown. Built In. 29.6.2022.
https://builtin.com/artificial-intelligence/transformer-neural-network
Bapna, A. ym: Building Machine Translation Systems for the Next Thousand Languages. 6.7.2022
https://arxiv.org/pdf/2205.03983.pdf
Bostrom, N.: Ethical Issues in Advanced Artificial Intelligence. 2003.
https://nickbostrom.com/ethics/ai
Chan S.C.Y. ym: Data Distributional Properties Drive Emergent In-Context Learning in Transformers. 30.5.2022.
https://arxiv.org/abs/2205.05055
Eromäki V.: Uuno Turhapuro kirjoittamassa USA:n itsenäisyysjulistusta ja avokado-nojatuoli – asiantuntija pitää DALL-E -tekoälyä merkkipaaluna. YLE Uutiset. 15.7.2022. https://yle.fi/uutiset/3-12513401
Gichoya J.W. ym: AI recognition of patient race in medical imaging: a modelling study. The Lancet. 11.5.2022.
https://www.thelancet.com/journals/landig/article/PIIS2589-7500(22)00063-2/fulltext
Goodfellow, I. ym: Generative Adversarial Networks. Advances in Neural Information Processing Systems 27 (NIPS 2014). 2014
https://arxiv.org/abs/1406.2661?context=cs
Kosinski M. & Wang Y.: Deep Neural Networks Are More Accurate Than Humans at Detecting Sexual Orientation From Facial Images. Social Psychology February 2018 Vol. 114 Issue 2 Pages 246–257.
https://www.gsb.stanford.edu/faculty-research/publications/deep-neural-networks-are-more-accurate-humans-detecting-sexual
Kosinski M.: Facial Recognition Technology Can Expose Political Orientation from Naturalistic Facial Images. Nature Scientific Reports January 11, 2021 Vol. 11 https://www.nature.com/articles/s41598-020-79310-1
Kurenkov A.: GPT-3 is No Longer the Only Game in Town. Last Week in AI. 6.11.2021. https://lastweekin.ai/p/gpt-3-is-no-longer-the-only-game
Levy S.: Blake Lemoine Says Google’s LaMDA AI Faces ’Bigotry’. Wired.17.6.2022. https://www.wired.com/story/blake-lemoine-google-lamda-ai-bigotry/
Newton C.: How DALL-E could power a creative revolution. The Verge. 10.6.2022.
https://www.theverge.com/23162454/openai-dall-e-image-generation-tool-creative-revolution
Mariescu-Istodor R.: Preparing a course for YouTube. Pulssi. 20.5.2022.
https://www.karelia.fi/2022/05/preparing-a-course-for-youtube/
Metz C.: In Two Moves, AlphaGo and Lee Sedol Redefined the Future. Wired. 16.3.2016.
https://www.wired.com/2016/03/two-moves-alphago-lee-sedol-redefined-future/
Puustinen S. & Hyttinen M.: Karelian digimentorit tukevat pedagogiikan ja opetusteknologian yhdistämisessä. Pulssi. 27.5.2022.
https://www.karelia.fi/2022/05/karelian-digimentorit-tukevat-pedagogiikan-ja-opetusteknologian-yhdistamisessa/
Quach K.: A developer built an AI chatbot using GPT-3 that helped a man speak again to his late fiancée. OpenAI shut it down. The Register. 8.9.2021. https://www.theregister.com/2021/09/08/project_december_openai_gpt_3/
Reed S. ym: A Generalist Agent. 19.5.2022. https://arxiv.org/pdf/2205.06175.pdf
Rivero N.: The best examples of DALL-E 2’s strange, beautiful AI art. Quartz. 10.6.2022.
https://qz.com/2176389/the-best-examples-of-dall-e-2s-strange-beautiful-ai-art/
Romero A.: GPT-4 Is Coming Soon. Here’s What We Know About It. Towards Data Science. 17.4.2022.
https://towardsdatascience.com/gpt-4-is-coming-soon-heres-what-we-know-about-it-64db058cfd45
Artikkelikuva: Free Stock photos by Vecteezy