🧠 Ihminen Q-learning-agenttina

Oppimisen matemaattinen kaava – ja sen inhimillinen ulottuvuus

---

Ainut hetki, joka on, on nyt

Ihmisellä on kuitenkin kyky ajatella tulevaa.
Elävillä olennoilla on olemassa malli maailmasta – se perustuu kokemuksiin ja havaintoihin:

Pallo putoaa maahan.
Aurinko nousee aamulla.

Malli voi olla mitä tahansa, mutta se on aina ennusteiden perusta.
Joskus kokemukset ovat ristiriidassa mallin kanssa – ja silloin, kun opimme, me korjaamme tuota mallia.
Tätä voisi kutsua oppimisnopeudeksi – α.

---

Jos meillä on tavoitteita, suunnittelemme toimintamme mallin pohjalta.
Tavoitteen saavuttaminen on palkintomme.
Emme kuitenkaan yleensä tiedä tarkalleen, miten tavoitteemme saavutamme.

Kun yritämme jotain uutta, poikkeamme vanhasta mallista – ja jos uusi kokeilu toimii, mallimme maailmasta muuttuu.

---

Esimerkki: hetkellinen vs. tuleva palkinto

Kirjoittaessani tätä haluaisin kovasti lähteä ulos.
Lykkään kuitenkin tuota ulos lähtemisen palkintoa, koska haluan saada tämän tekstin valmiiksi.

Lyhyen tähtäimen palkinto olisi siis nousta heti ylös,
mutta olen valmis tinkimään nykyhetkestä saavuttaakseni suuremman palkinnon myöhemmin.
Tämä on kurinalaisuutta – samaa mielen toimintaperiaatetta, jonka koneoppimisessa kuvaisi discount kerroin (γ).

---

🧮 Q-learningin päivityskaava

Q(s, a) ← Q(s, a) + α [ r + γ × max(Q(s’, a’)) – Q(s, a) ]

---

🧩 Selitys suomeksi

Symboli	Merkitys	Selitys
Q(s, a)	Q-arvo (”quality”) (s=state, a=action)	Arvio siitä, kuinka hyvä on tehdä toiminto a tilassa s.
α	Oppimisnopeus	Kuinka paljon uusi tieto painaa vanhan rinnalla.
r	Palkkio	Hetkellinen palkinto toiminnosta.
γ	Kurinalaisuus (discount factor)	Kuinka paljon tulevia palkintoja arvostetaan nykyhetkeen verrattuna.
s’	Uusi tila	Tila, johon päädytään toiminnon jälkeen.
max(Q(s’, a’))	Paras arvio seuraavan tilan Q-arvosta	Arvio parhaasta mahdollisesta toiminnosta uudessa tilassa.

---

Emme oikeastaan tiedä, mitä palkintoa tavoittelemme.
Mutta joka hetki, kun toimimme, päivitämme malliamme maailmasta.
Juuri tämä jatkuva mallin hienosäätö on oppimista — ihmisellä ja algoritmilla.

Ja lisätään nyt vielä loppuun, että koko ajatus on minusta lähinnä hauska – ei mitään sen vakavampaa.
Tällaisesta on kyllä keskusteltu ja väitelty vaikka kuinka paljon, esimerkiksi LeCunin ja Suttonin toimesta.

Tietysti tämän algoritmin avaaminen johtaa vielä mieleinkiintoisempii kysymyksiin: Kuten mikä on se tavoiteltava palkinto ja mitä tarkelleen ottaen on ympäristön tila juuri nyt ja kuinka oikea on meidän mailmankuvamme.

Keskustellaan niistä’ täällä 🙂