Uczący się perceptron zachowuje się podobnie jak człowiek

http://www.enterrasolutions.com/media/images/2013/10/6a00d8341c4ebd53ef019b00368dd7970d-pi.png
W kilku wcześniejszych wpisach opowiadałem o różnych właściwościach maszyn, których budowę i działanie oparto na modelowaniu ludzkiego mózgu. Maszyny te konsekwentnie nazywałem perceptronami, odwołując się do nazwy pierwszej takiej maszyny stworzonej przez prof. Franka Rosenblatta. Ze wszystkich tych opisów wynikało, że właściwości perceptronu zależą w sposób krytyczny od jego uczenia. Dzisiaj chcę opowiedzieć Państwu o tym, jak bardzo podobne jest zachowanie uczącego się perceptronu do zachowania uczącego się człowieka.

Żeby oprzeć rozważania na jakimś konkrecie załóżmy, że rozważany przez nas perceptron ma się nauczyć czterech różnych umiejętności. Mniejsza w tym momencie o szczegóły, jakie to są umiejętności i czego dotyczą. Załóżmy też, że stopień opanowania tych umiejętności można wyznaczyć zliczając w nauczonym perceptronie liczbę neuronów, które są zaangażowane w pamiętanie każdej z nabywanych umiejętności. Obejrzyjmy kilka wyników uzyskanych z pomocą tego prostego modelu i zauważmy, że zadziwiająco przypominają one spostrzeżenia, jakie moglibyśmy poczynić obserwując procesy uczenia zachodzące w naszym własnym umyśle. Przyjrzyjmy się najpierw wykresom na rysunku:
W lewej części rysunku pokazana jest statystyka procesu uczenia. Wysokości słupków wykresu reprezentują liczbę pokazów wykonanych w trakcie uczenia, dotyczących odpowiednio czterech wyuczanych umiejętności (oznaczonych numerami od 1 do 4 u dołu wykresu). Słowo „pokaz” w poprzednim zdaniu należy rozumieć jako wykonanie następujących czynności:

- podanie na wejście sieci danych wejściowych dotyczących określonego zadania,

- sprawdzenie przez „nauczyciela” prawidłowości odpowiedzi,

- dokonanie korekty parametrów sieci, tak, żeby lepiej radziła sobie w przyszłości z zadaniami podobnego typu.

W tym momencie zignorujemy podział pokazów na te określone jako „Początek” oraz te, które oznaczono „Dalej”- ten wątek będzie analizowany za chwilę.

Jak widać perceptron nauczano umiejętności nr 1, 2 i 4 dosyć intensywnie, podczas gdy umiejętność nr 3 była wyraźnie lekceważona. Skutki takiego uczenia pokazuje „torcik” (wykres kołowy) po prawej stronie rysunku. Widać na nim, że liczby neuronów zaangażowanych przez perceptron w zapamiętanie umiejętności nr 1, 2 i 4 są znacznie większe, niż liczba neuronów przypisana do umiejętności nr 3. Ponieważ ten efekt powstał spontanicznie w uczącej się maszynie (perceptronie) – więc jest on interesujący, bo widać, że maszyna ta pozostawiona sama sobie w racjonalny sposób dysponowała swoimi zasobami, przeznaczając większą liczbę neuronów do zapamiętania tych umiejętności, na które „nauczyciel” kładł większy nacisk w procesie uczenia. Zapewne podobne procesy zachodzą w naszym umyśle i to wyjaśnia, dlaczego ze szkoły wynosimy zróżnicowane umiejętności w zakresie różnych przedmiotów.

Bardzo ciekawy jest wynik doświadczenia przedstawionego na kolejnym rysunku. Tutaj ujawniło się zjawisko, które w psychologii nazywane jest „prawem pierwszych połączeń”.
Zwykle okazuje się, że to, czego nauczyliśmy się najwcześniej, jest zapamiętywane najtrwalej . Warto przypomnieć przysłowie „czym skorupka za młodu nasiąknie …” Okazuje się, że przy uczeniu perceptronów to zjawisko potwierdza się w całej rozciągłości.

Zwróćmy teraz uwagę na pomijane poprzednio na słupkach obrazujących liczbę pokazów podczas uczenia rozróżnienie na „Początek” i „Dalej” (ciemniejsza i jaśniejsza część odpowiedniego słupka). „Początek” pokazuje statystykę pokazów, które mają miejsce w sieci na samym początku procesu uczenia (10 pierwszych pokazów). „Dalej”, jak nazwa wskazuje, pokazana jest statystyka późniejszych pokazów.
Warto zauważyć, że w doświadczeniu, którego wynik pokazano na rysunku, na początku uczenia „faworyzowana” była umiejętność nr 3. W konsekwencji mimo późniejszego zrównoważenia „wysiłku edukacyjnego” dotyczącego wszystkich umiejętności (nawet z pewną przewagą nacisku kładzionego na opanowanie umiejętności nr 4) – umiejętność nr 3 zdecydowanie dominuje na wykresie pokazującym liczby neuronów zaangażowanych w wytworzenie w sieci śladu pamięciowego poszczególnych umiejętności. To, czego perceptron nauczył się najwcześniej, zapamiętuje najtrwalej.

Na kolejnym rysunku pokazano zjawisko, które w uczeniu perceptronów trudno jest napotkać, więc uzyskanie tego efektu wymagało przeprowadzenia wielu symulacji – ale udało się wyłapać taki interesujący przypadek i można go obejrzeć na podanym niżej rysunku. Jego interpretacja jest prosta: Uczony perceptron wykazywał „wrodzoną niezdolność” do opanowania jednej z nauczanych umiejętności (numer 3), więc mimo równomiernego uczenia wszystkich umiejętności (pokazane po lewej stronie słupki nie wykazują znaczących nierównomierności ani w początkowym nauczaniu, ani w tym, co mogło być określone jako „Dalej”) – to jednak ślad pamięciowy umiejętności nr 3 wcale nie powstał i neurony „obstawiły” wyłącznie trzy pozostałe umiejętności.
Objaśnienie tego fenomenu wiąże się z nie wzmiankowanym jeszcze w tym wpisie faktem, że punktem startowym do procesu uczenia perceptronu jest zawsze tak zwana randomizacja wag, to znaczy nadanie wszystkim parametrom wewnątrz całej sieci neuronowej stanowiącej "mózg" perceptronu całkowicie losowych (przypadkowych)wartości początkowych. Dopiero startując od tego „początkowego zasiewu niewiedzy” perceptron w miarę procesu uczenia wytwarza w swojej strukturze ślad pamięciowy zdobywanych umiejętności.

Proces losowego ustawiania początkowych wartości wag może jednak niekiedy prowadzić do tak dużego niezrównoważenia ich rozkładu, że niemożliwe okazuje się osiągnięcie w toku procesu uczenia tych wartości docelowych wag, które są potrzebne do tego, żeby perceptron zdobył niektóre (zwykle bardzo nieliczne) umiejętności. Taki "pechowy perceptron" po prostu tych umiejętności zdobyć nie zdoła, niezależnie od wysiłku nauczyciela.
Zupełnie jak ci maturzyści, którzy nie mogą się nauczyć matematyki…

I jeszcze jeden ciekawy przykład. Na rysunku poniżej pokazano to, co jest zmorą wszystkich osób uczących się, nie tylko nie umiejących matematyki maturzystów.
Chodzi o proces zapominania nie odświeżanych umiejętności. Wykresy w górnej części rysunku pokazują „perceptron pod koniec studiów”. Był on uczony różnych rzeczy (z pewną przewagą umiejętności nr 1), w wyniku czego neurony w jego pamięci pokrywają poszczególne obszary wiedzy w stopniu logicznie wynikającym ze stopnia intensywności nauczania. Perceptron ma najlepiej opanowaną umiejętność nr 1, a najsłabiej jest wykształcony w zakresie umiejętności nr 3 która była w trakcie nauki traktowana „po macoszemu”.

Ale spójrzmy, co się dzieje dalej (obrazuje to dolna część rysunku). Perceptron po skończonych studiach „idzie do pracy”, gdzie używa tylko umiejętności nr 2, 3 i 4 – natomiast nie wykorzystuje w ogóle umiejętności nr 1. Na mapie neuronów obserwujemy dramatyczne zmiany: używane umiejętności nr 2, 3 i 4 mają nadal bardzo przyzwoitą reprezentację w postaci sporych grup reprezentujących je neuronów, podczas gdy wiodąca niegdyś umiejętność nr 1 zanika

Jeśli brak odświeżania tej umiejętności będzie trwał dalej – dojdzie do tego, że nie zostanie ani jeden neuron związany z tą umiejętnością, czyli zostanie ona całkowicie zapomniana!

Zauważcie Państwo, że z naszym własnym umysłem bywa podobnie. Na przykład podczas wakacji ktoś z nas może zainteresować się botaniką i poznać nazwy wielu roślin, a także nauczyć się je identyfikować i klasyfikować. Jeśli jednak nie będzie do tej wiedzy wracał i nie będzie jej utrwalał - nabyte pojęcia i kryteria rozpoznawania zostaną zatarte przez nowe informacje (na przykład umiejętność rozróżniania nowych marek samochodów), w wyniku czego już na początku kolejnego lata powie z westchnieniem: Jaka piękna łąka! Ile kwiatów! Kiedyś wiedziałem, jak się każdy z nich nazywa...
Trwa ładowanie komentarzy...