O autorze
Jestem profesorem AGH i dodatkowo przez ponad 30 lat byłem profesorem Uniwersytetu Ekonomicznego.

Kieruję utworzonym przeze mnie w 1973 roku Laboratorium Biocybernetyki AGH. Byłem też przez wiele lat kierownikiem Katedry Automatyki i Inżynierii Biomedycznej AGH, którą jednak w 2016 roku przekazałem w ręce jednego z moich dość licznych wychowanków, którzy dziś są już profesorami. Musiałem oddać kierownictwo Katedry ponieważ zaczęła obowiązywać na tym stanowisku kadencyjność. Ale Laboratorium nadal kieruję.

Kilka słów o mojej drodze do tego miejsca, w którym się obecnie znajduję:

Zawsze pasjonowała mnie nauka, więc zostałem naukowcem. A jak stwierdziłem, jaka ta nauka jest fajna, to zacząłem się starać przekonać o tym jak najwięcej ludzi. Przekazuję moją fascynację wiedzą, nauką i techniką moim studentom, w wyniku czego wypromowałem już ponad 300 magistrów i blisko 70 doktorów. Staram się także popularyzować wiedzę na różne sposoby: w książkach, w gazetach, w tygodnikach, w radiu, w telewizji i na odczytach. Zebrało się tego ponad 400 pozycji drukowanych i chyba drugie tyle w formie różnych wystąpień – na żywo i w mediach.

Ponieważ wiedza nieświeża jest równie niesmaczna jak nieświeża kiełbasa – więc staram się zawsze mieć dostęp do wiedzy najświeższej. A ponieważ taką świeżą wiedzę ma się wtedy, gdy się ją samemu wytwarza, więc z zapałem prowadzę badania naukowe. W badaniach tych staram się wykorzystywać moje kwalifikacje inżyniera na potrzeby biologii i medycyny oraz moją wiedzę biologiczną (po doktoracie z automatyki studiowałem na Akademii Medycznej) jako źródło inspiracji dla budowy nowych systemów technicznych. Czasem udaje mi się coś odkryć, a jak już odkryję, to wzorem wszystkich naukowców piszę publikacje. Tak mi to weszło w krew, że napisałem już tych publikacji dosyć dużo, ale jak licznik moich prac w wykazach Biblioteki Głównej AGH przekroczył tysiąc, to przestałem je liczyć.

Opierając się na nie sprawdzonym przekonaniu, że jak ktoś ma osiągnięcia naukowe, to rządzić też potrafi, społeczność mojej uczelni wybrała mnie, żebym pełnił rolę rektora AGH. Potem ten wybór powtórzono jeszcze dwa razy, więc dosyć długo paradowałem w tych królikach udających gronostaje. Potem wybrano mnie na członka Polskiej Akademii Nauk i Polskiej Akademii Umiejętności oraz kilku akademii zagranicznych. W PAN pełniłem funkcję prezesa Krakowskiego Oddziału tej Korporacji.

No a potem zaproszono mnie, żebym pisywał na tym blogu. No to pisuję - najlepiej, jak potrafię!

Uczący się perceptron zachowuje się podobnie jak człowiek

http://www.enterrasolutions.com/media/images/2013/10/6a00d8341c4ebd53ef019b00368dd7970d-pi.png
W kilku wcześniejszych wpisach opowiadałem o różnych właściwościach maszyn, których budowę i działanie oparto na modelowaniu ludzkiego mózgu. Maszyny te konsekwentnie nazywałem perceptronami, odwołując się do nazwy pierwszej takiej maszyny stworzonej przez prof. Franka Rosenblatta. Ze wszystkich tych opisów wynikało, że właściwości perceptronu zależą w sposób krytyczny od jego uczenia. Dzisiaj chcę opowiedzieć Państwu o tym, jak bardzo podobne jest zachowanie uczącego się perceptronu do zachowania uczącego się człowieka.

Żeby oprzeć rozważania na jakimś konkrecie załóżmy, że rozważany przez nas perceptron ma się nauczyć czterech różnych umiejętności. Mniejsza w tym momencie o szczegóły, jakie to są umiejętności i czego dotyczą. Załóżmy też, że stopień opanowania tych umiejętności można wyznaczyć zliczając w nauczonym perceptronie liczbę neuronów, które są zaangażowane w pamiętanie każdej z nabywanych umiejętności. Obejrzyjmy kilka wyników uzyskanych z pomocą tego prostego modelu i zauważmy, że zadziwiająco przypominają one spostrzeżenia, jakie moglibyśmy poczynić obserwując procesy uczenia zachodzące w naszym własnym umyśle. Przyjrzyjmy się najpierw wykresom na rysunku:
W lewej części rysunku pokazana jest statystyka procesu uczenia. Wysokości słupków wykresu reprezentują liczbę pokazów wykonanych w trakcie uczenia, dotyczących odpowiednio czterech wyuczanych umiejętności (oznaczonych numerami od 1 do 4 u dołu wykresu). Słowo „pokaz” w poprzednim zdaniu należy rozumieć jako wykonanie następujących czynności:

- podanie na wejście sieci danych wejściowych dotyczących określonego zadania,

- sprawdzenie przez „nauczyciela” prawidłowości odpowiedzi,

- dokonanie korekty parametrów sieci, tak, żeby lepiej radziła sobie w przyszłości z zadaniami podobnego typu.

W tym momencie zignorujemy podział pokazów na te określone jako „Początek” oraz te, które oznaczono „Dalej”- ten wątek będzie analizowany za chwilę.

Jak widać perceptron nauczano umiejętności nr 1, 2 i 4 dosyć intensywnie, podczas gdy umiejętność nr 3 była wyraźnie lekceważona. Skutki takiego uczenia pokazuje „torcik” (wykres kołowy) po prawej stronie rysunku. Widać na nim, że liczby neuronów zaangażowanych przez perceptron w zapamiętanie umiejętności nr 1, 2 i 4 są znacznie większe, niż liczba neuronów przypisana do umiejętności nr 3. Ponieważ ten efekt powstał spontanicznie w uczącej się maszynie (perceptronie) – więc jest on interesujący, bo widać, że maszyna ta pozostawiona sama sobie w racjonalny sposób dysponowała swoimi zasobami, przeznaczając większą liczbę neuronów do zapamiętania tych umiejętności, na które „nauczyciel” kładł większy nacisk w procesie uczenia. Zapewne podobne procesy zachodzą w naszym umyśle i to wyjaśnia, dlaczego ze szkoły wynosimy zróżnicowane umiejętności w zakresie różnych przedmiotów.

Bardzo ciekawy jest wynik doświadczenia przedstawionego na kolejnym rysunku. Tutaj ujawniło się zjawisko, które w psychologii nazywane jest „prawem pierwszych połączeń”.
Zwykle okazuje się, że to, czego nauczyliśmy się najwcześniej, jest zapamiętywane najtrwalej . Warto przypomnieć przysłowie „czym skorupka za młodu nasiąknie …” Okazuje się, że przy uczeniu perceptronów to zjawisko potwierdza się w całej rozciągłości.

Zwróćmy teraz uwagę na pomijane poprzednio na słupkach obrazujących liczbę pokazów podczas uczenia rozróżnienie na „Początek” i „Dalej” (ciemniejsza i jaśniejsza część odpowiedniego słupka). „Początek” pokazuje statystykę pokazów, które mają miejsce w sieci na samym początku procesu uczenia (10 pierwszych pokazów). „Dalej”, jak nazwa wskazuje, pokazana jest statystyka późniejszych pokazów.
Warto zauważyć, że w doświadczeniu, którego wynik pokazano na rysunku, na początku uczenia „faworyzowana” była umiejętność nr 3. W konsekwencji mimo późniejszego zrównoważenia „wysiłku edukacyjnego” dotyczącego wszystkich umiejętności (nawet z pewną przewagą nacisku kładzionego na opanowanie umiejętności nr 4) – umiejętność nr 3 zdecydowanie dominuje na wykresie pokazującym liczby neuronów zaangażowanych w wytworzenie w sieci śladu pamięciowego poszczególnych umiejętności. To, czego perceptron nauczył się najwcześniej, zapamiętuje najtrwalej.

Na kolejnym rysunku pokazano zjawisko, które w uczeniu perceptronów trudno jest napotkać, więc uzyskanie tego efektu wymagało przeprowadzenia wielu symulacji – ale udało się wyłapać taki interesujący przypadek i można go obejrzeć na podanym niżej rysunku. Jego interpretacja jest prosta: Uczony perceptron wykazywał „wrodzoną niezdolność” do opanowania jednej z nauczanych umiejętności (numer 3), więc mimo równomiernego uczenia wszystkich umiejętności (pokazane po lewej stronie słupki nie wykazują znaczących nierównomierności ani w początkowym nauczaniu, ani w tym, co mogło być określone jako „Dalej”) – to jednak ślad pamięciowy umiejętności nr 3 wcale nie powstał i neurony „obstawiły” wyłącznie trzy pozostałe umiejętności.
Objaśnienie tego fenomenu wiąże się z nie wzmiankowanym jeszcze w tym wpisie faktem, że punktem startowym do procesu uczenia perceptronu jest zawsze tak zwana randomizacja wag, to znaczy nadanie wszystkim parametrom wewnątrz całej sieci neuronowej stanowiącej "mózg" perceptronu całkowicie losowych (przypadkowych)wartości początkowych. Dopiero startując od tego „początkowego zasiewu niewiedzy” perceptron w miarę procesu uczenia wytwarza w swojej strukturze ślad pamięciowy zdobywanych umiejętności.

Proces losowego ustawiania początkowych wartości wag może jednak niekiedy prowadzić do tak dużego niezrównoważenia ich rozkładu, że niemożliwe okazuje się osiągnięcie w toku procesu uczenia tych wartości docelowych wag, które są potrzebne do tego, żeby perceptron zdobył niektóre (zwykle bardzo nieliczne) umiejętności. Taki "pechowy perceptron" po prostu tych umiejętności zdobyć nie zdoła, niezależnie od wysiłku nauczyciela.
Zupełnie jak ci maturzyści, którzy nie mogą się nauczyć matematyki…

I jeszcze jeden ciekawy przykład. Na rysunku poniżej pokazano to, co jest zmorą wszystkich osób uczących się, nie tylko nie umiejących matematyki maturzystów.
Chodzi o proces zapominania nie odświeżanych umiejętności. Wykresy w górnej części rysunku pokazują „perceptron pod koniec studiów”. Był on uczony różnych rzeczy (z pewną przewagą umiejętności nr 1), w wyniku czego neurony w jego pamięci pokrywają poszczególne obszary wiedzy w stopniu logicznie wynikającym ze stopnia intensywności nauczania. Perceptron ma najlepiej opanowaną umiejętność nr 1, a najsłabiej jest wykształcony w zakresie umiejętności nr 3 która była w trakcie nauki traktowana „po macoszemu”.

Ale spójrzmy, co się dzieje dalej (obrazuje to dolna część rysunku). Perceptron po skończonych studiach „idzie do pracy”, gdzie używa tylko umiejętności nr 2, 3 i 4 – natomiast nie wykorzystuje w ogóle umiejętności nr 1. Na mapie neuronów obserwujemy dramatyczne zmiany: używane umiejętności nr 2, 3 i 4 mają nadal bardzo przyzwoitą reprezentację w postaci sporych grup reprezentujących je neuronów, podczas gdy wiodąca niegdyś umiejętność nr 1 zanika

Jeśli brak odświeżania tej umiejętności będzie trwał dalej – dojdzie do tego, że nie zostanie ani jeden neuron związany z tą umiejętnością, czyli zostanie ona całkowicie zapomniana!

Zauważcie Państwo, że z naszym własnym umysłem bywa podobnie. Na przykład podczas wakacji ktoś z nas może zainteresować się botaniką i poznać nazwy wielu roślin, a także nauczyć się je identyfikować i klasyfikować. Jeśli jednak nie będzie do tej wiedzy wracał i nie będzie jej utrwalał - nabyte pojęcia i kryteria rozpoznawania zostaną zatarte przez nowe informacje (na przykład umiejętność rozróżniania nowych marek samochodów), w wyniku czego już na początku kolejnego lata powie z westchnieniem: Jaka piękna łąka! Ile kwiatów! Kiedyś wiedziałem, jak się każdy z nich nazywa...
Trwa ładowanie komentarzy...