Hands-on reinforcement learning

Seminario de Excelencia

Hands-on reinforcement learning

Departamento de Ingeniería Eléctrica y Electrónica
Home / Programs / Hands-on reinforcement learning

Hands-on reinforcement learning

Reinforcement Learning (RL) o aprendizaje por refuerzo es una técnica del estado del arte en el campo de la Inteligencia Artificial. Ha mostrado ser exitosa para entrenar agentes capaces de tomar decisiones basados en la experiencia adquirida. Por ejemplo, Alpha Go, desarrollado por Google DeepMind, ganó cuatro de cinco juegos de Go (un popular juego de estrategia chino) al jugador profesional surcoreano Lee Sedol. 


Durante el seminario se explorarán los conceptos más importantes de RL, como la caracterización del entorno del agente, la representación de la tarea, y la importancia de la exploración; así como procesos de decisión de Markov y técnicas de aprendizaje típicas tanto para entornos discretos como continuos. Adicionalmente, se abordarán problemas de deep reinforcement learning, donde se requiere la incorporación de redes neuronales densas y convolucionales para que el participante realice el entrenamiento de un agente capaz de desempeñarse en juegos de Atari de OpenAI, como por ejemplo Freeway y Breakout.


Al finalizar el Seminario de Excelencia, el participante contará con una introducción suficiente acerca de aprendizaje por refuerzo que le permitirá profundizar sus intereses en el tema. (p)

Addressed to

Este Seminario de Excelencia está orientado a profesionales y estudiantes interesados en el área de Machine Learning e inteligencia artificial, quienes deseen adquirir conceptos y habilidades prácticas introductorias en el tema de aprendizaje por refuerzo. Conocimientos previos en álgebra lineal, cálculo y habilidades en programación serán útiles para familiarizarse con los conceptos abordados en el curso, así como para implementar algoritmos de RL en entornos y agentes simulados. Aunque las prácticas se realizarán en el lenguaje de programación Python, conocimientos previos en otros lenguajes facilitarán la transición.

Goals

Al finalizar el Seminario de Excelencia, el estudiante estará en capacidad de:
  • Comprender los conceptos base del aprendizaje por refuerzo.
  • Identificar y comprender la funcionalidad de los elementos que debe tener un problema formulado como un proceso de decisión de Markov.
  • Entrenar agentes para resolver tareas en entornos discretos aplicando Q-learning
  • Comprender la arquitectura de Deep Q-learning y la incorporación de redes neuronales densas y convolucionales para entrenar agentes en entornos continuos o que reciben imágenes como observaciones del entorno.
  • Entrenar un agente para resolver tareas en juegos de Atari de OpenAI Gym aplicando Deep Q-learning.

Methodology

El Seminario de Excelencia consta de siete sesiones sincrónicas de 3 horas. Cada sesión tiene un limitado componente magistral para introducir nociones básicas de los conceptos y algoritmos de aprendizaje por refuerzo, pero se enfoca principalmente en talleres tipo “manos a la obra” en notebooks de Python. En estos talleres, los estudiantes podrán editar y completar secciones del material, haciendo uso de los conceptos adquiridos en el transcurso del curso. El objetivo final será entrenar un agente que se desempeñe adecuadamente en un juego de Atari, disponible en los entornos de OpenAI Gym, aplicando Deep Q-learning.

Content

  1. Introducción al aprendizaje por refuerzo
    1. Qué es aprendizaje por refuerzo, RL
    2. Diferencia respecto a otros algoritmos de Machine Learning
    3. Elementos de RL
    4. Tipos de entornos
    5. Notebooks de Python
  2. Procesos de Decisión de Markov
    1. Recompensas y utilidades
    2. Tareas episódicas y continuas
    3. Tasa de descuento
    4. Función de política
    5. Función de valor del par estado-acción
  3. Aprendizaje por diferencia temporal
    1. Técnicas de exploración
    2. Q-learning
    3. SARSA
    4. Diferencias entre Q-learning y SARSA
  4. Introducción a redes neuronales
    1. Representación de funciones
    2. Capas de entrada/ocultas/salida
    3. Funciones de activación
    4. Descenso de gradiente y backpropagation
    5. Aplicación como aproximador de funciones
  5. Redes neuronales convolucionales, CNNs
    1. Arquitectura general de una CNN
    2. Capa convolucional
    3. Capa de pooling
    4. Capa totalmente conectada
    5. Ejemplos
  6. Deep Q-Learning, DQN
    1. Arquitectura para DQN
      1. CNN
      2. Experience replay
      3. Target network
    2. Aplicación de DQN en juegos de Atari
  7. Avances recientes y aplicaciones
    1. Avances
      1. Otros métodos de RL
      2. RL en entornos multi-agente
      3. Inverse Reinforcement Learning
    2. Aplicaciones en: robótica, NLP, vision por computador, entre otras

Professors

Carolina Higuera

Profesora instructora. Departamento de Ingeniería Eléctrica y Electrónica. Magister en Ingeniería Electrónica y de Computadores de la Universidad de los Andes. Docente en el área de electrónica análoga y robótica. Intereses de investigación en el campo de Machine Learning, con énfasis en aprendizaje por refuerzo en casos multi-agente y en aplicaciones a robótica social.

Fernando Lozano PhD

Profesor asociado. Departamento de Ingeniería Eléctrica y Electrónica. PhD University of New Mexico. Profesor del área de Machine Learning desde 2004. Intereses en reinforcement learning, redes neuronales y modelos de aprendizaje sobre estructuras combinatorias aplicadas a drug discovery.

Conditions

Eventualmente la Universidad puede verse obligada, por causas de fuerza mayor a cambiar sus profesores o cancelar el programa. En este caso el participante podrá optar por la devolución de su dinero o reinvertirlo en otro curso de Educación Continua que se ofrezca en ese momento, asumiendo la diferencia si la hubiere.

La apertura y desarrollo del programa estará sujeto al número de inscritos. El Departamento/Facultad (Unidad académica que ofrece el curso) de la Universidad de los Andes se reserva el derecho de admisión dependiendo del perfil académico de los aspirantes.