Knowledge transfer in deep reinforcement learning
Date
2018-12-20Author
Mulero Martínez, Rubén
Metadata
Show full item recordAbstract
El auge del aprendizaje automático como método para generar una Inteligencia Ar-
tificial (IA), está generando un campo de investigación en el que se están poniendo
en práctica varios conceptos ya formulados en los años 40 y 60 y, que antaño, eran
imposibles de realizar debido a las implicaciones tecnológicas que eran necesarias.
Hoy en día, se dispone de un nivel de potencia en hardware que permite poner en
práctica los postulados que intentaban dar vida inteligente a una máquina. El inte-
rés y la motivación de crear esa vida se está convirtiendo en un motor clave en el
desarrollo de una sociedad tecnológica más avanzada. La potencia alcanzada por
los procesadores gráficos (GPU) ha hecho viable crear redes neuronales complejas
que permiten simular una inteligencia viva, tan viva como lo pudiera ser una per-
sona. Esta inteligencia, es capaz de decidir una serie de acciones en un contexto
determinado y aprender a mejorar para ser más eficiente y adaptable a los cambios.
Dentro de las distintas aproximaciones desarrolladas, podemos encontrar dos de
ellas que hoy en día, están siendo muy relevantes y ambiciosas: 1) el llamado reinfor-
cement learning 1 que busca generar una máquina inteligente a través de un sistema
de recompensas que otorga ciertos puntos a partir de las acciones que realiza en un
entorno; 2) el llamado deep learning 2 que genera un sistema de redes neuronales pro-
fundas para entrenar modelos que son capaces de estudiar cada pixel de una panta-
lla para saber qué puede existir en una región determinada. Haciendo uso de estos
dos conceptos, aparece una nueva aproximación llamada deep reinforcement learning 3
que busca juntar las bondades de las redes neuronales profundas con un sistema de
recompensa que haga que una IA sea capaz de tomar las mejores decisiones posibles
en un entorno determinado.
En esta Tesis Fin de Máster se ha llevado a cabo un estudio por el cual, se ha
experimentado si las redes neuronales profundas son capaces o no de transferir el
conocimiento adquirido mediante un entrenamiento previo. Para demostrar si éste
hecho es o no factible, se ha creado un agente inteligente capaz de jugar a un video-
juego usando únicamente como entrada de datos los píxeles de una pantalla. Con
esta premisa, se ha puesto a prueba la experiencia adquirida por el agente en otro
juego completamente distinto para observar cuál es su nivel de adaptabilidad, y si
la experiencia previa adquirida, juega un papel fundamental a la hora de aprender
a jugar a un video-juego distinto.
1 https://www.cs.ubc.ca/murphyk/Bayes/pomdp.html
2 http://deeplearning.net/
3 https://deepmind.com/blog/deep-reinforcement-learning/