Graph representations for reinforcement learning

Abstract

Graph analysis is becoming increasingly important due to the expressive power of graph models and the efficient algorithms available for processing them. Reinforcement Learning is one domain that could benefit from advancements in graph analysis, given that a learning agent may be integrated into an environment that can be represented as a graph. Nevertheless, the structural irregularity of graphs and the lack of prior labels make it difficult to integrate such a model into modern Reinforcement Learning frameworks that rely on artificial neural networks. Graph embedding enables the learning of low-dimensional vector representations that are more suited for machine learning algorithms, while retaining essential graph features. This paper presents a framework for evaluating graph embedding algorithms and their ability to preserve the structure and relevant features of graphs by means of an internal validation metric, without resorting to subsequent tasks that require labels for training. Based on this framework, three defined algorithms that meet the necessary requirements for solving a specific problem of Reinforcement Learning in graphs are selected, analyzed, and compared. These algorithms are Graph2Vec, GL2Vec, and Wavelet Characteristics, with the latter two demonstrating superior performance.

El análisis de grafos es un tópico emergente debido a la expresividad de los modelos basados en grafos y al desarrollo de algoritmos para su procesamiento. Un área que puede beneficiarse de estos avances es el aprendizaje por refuerzo, dado que un agente de aprendizaje puede estar imnerso en un entorno modelable como un grafo. Sin embargo, tanto la irregularidad de las características estructurales de los grafos como la ausencia de etiquetas a priori dificultan la incorporación de un modelo de este tipo en los marcos modernos de Aprendizaje por Refuerzo basados en redes neuronales artificiales. En este sentido, los embeddings de grafos permiten aprender representaciones vectoriales de baja dimensión, más adecuadas para los algoritmos de aprendizaje automático, preservando al mismo tiempo las características clave de los grafos. Proponemos un marco para evaluar algoritmos de Graph Embedding y su capacidad para preservar la estructura y características relevantes de los grafos mediante una métrica de validación interna, sin recurrir a tareas posteriores que requieran etiquetas para el entrenamiento. Aplicando este marco con un problema concreto, se seleccionan, analizan y comparan tres algoritmos que cumplen los requisitos necesarios: Graph2Vec, GL2Vec y Wavelet Characteristics, donde los dos últimos muestran un mejor comportamiento.