Papers Consultados
[1] Crop Yield Prediction Using Deep Reinforcement Learning Model for Sustainable Agrarian Applications
En esta investigación se planea predecir el rendimiento de los cultivos en función de variables ambientales como el suelo o el agua. El autor plantea el modelo de proceso de RL, donde el agente aprende interactuando con el medio ambiente, y obtendrá recompensas por acciones correctas realizadas y sanciones por las incorrectas. En este caso, el agente de aprendizaje por refuerzo son las redes profundas Q, las cuales toman a un estado como entrada y para cada acción en el espacio, se generan valores Q. En el proceso de predicción, la red ya entrenada servirá para predecir la siguiente mejor acción que ocurrirá en el medio ambiente. Cuando el valor pronosticado se encuentre cercano al objetivo, el agente obtendrá una recompensa positiva, recibiendo un agregado de puntuaciones por sus acciones realizadas. También en esta publicación, se hace una comparación con otros modelos como LSTM, ANN, Gradiente Boosting, Random Forest, con la métrica de evaluación del error cuadrático medio o también denominado R2, donde resulta con una precisión del 93.7% posicionándose como el modelo con mayor precisión. A diferencia del aprendizaje supervisado, el basado en RL con DQN proporciona una solución completa que de forma independiente extrae el mapeo no lineal entre el cultivo el rendimiento y los parámetros climáticos, del suelo y de las aguas subterráneas.
[2] Effective Management for Blockchain-Based Agri-Food Supply Chains Using Deep Reinforcement Learning
Las transacciones entre los participantes realizadas en los procesos de la cadena de suministros agroalimentario (ASC en inglés), tienen objetivos diferentes. Mientras que los consumidores buscan un producto de calidad que garantice seguridad agroalimentaria, los productores intentar aumentar sus beneficios. Por ello la solución planteada en la investigación es la implementación de un marco basado en Blockchain para asegurar la seguridad, mediante la descentralización de datos de rastreo y de una cadena de suministro usando el aprendizaje por reforzamiento profundo conocido como DR-SCM. Para abordar dichos problemas, es necesario la trazabilidad, la cual en su mayoría de veces se basa en un sistema centralizado donde la falla de uno de los nodos pondrá en graves problemas al sistema en su conjunto. Mientras que en el segundo caso, los métodos tradicionales de aprendizaje por reforzamiento (RL) tienen la capacidad de resolver los problemas en la gestión de ASC hasta cierto punto, como es el caso del Q-Learning, que funciona muy bien e entornos simples donde la función Q(s,a) se puede representar como una matriz de valores, pero cuando se tienen millones de estados, surge como mejor opción las Redes Neuronales profundas y el algoritmo DQN como método óptimo de gestión. De esta forma se aplicará un DR-SCM, para determinar la cantidad de producción y almacenamiento con el fin de lograr las mayores ganancias, a partir de la mejor política de gestión de ASC. Este modelo supera a los métodos heurísticos y Q-Learning, ya que ofrece altos niveles de eficiencia en el aprendizaje, así como flexibilidad en la producción y almacenamiento, obteniendo de esta forma un macro control en ambos procesos.
Conclusiones
La ventaja que ofrece el proceso basado en aprendizaje por reforzamiento con el algoritmo DQN en el primer caso, es que puede llegar a minimizar definitivamente la dependencia de los expertos y sus opiniones acerca del desarrollo de los cultivos, y así logrando obtener un modelo más generalizado para la predicción. Mientras que en el segundo caso, se usa como método para la toma de decisiones en producción y almacenamiento de productos agrícolas obteniendo un macro control eficaz, de forma que la producción de las fábricas puede mantenerse disponible para los minoristas de forma rentable, mientras que el stock de los minoristas puede satisfacer las demandas de los consumidores.
Referencias
[1] D. Elavarasan and P. M. D. Vincent, "Crop Yield Prediction Using Deep Reinforcement Learning Model for Sustainable Agrarian Applications," in IEEE Access, vol. 8, pp. 86886-86901, 2020, doi: 10.1109/ACCESS.2020.2992480.
[2] H. Chen, Z. Chen, F. Lin and P. Zhuang, "Effective Management for Blockchain-Based Agri-Food Supply Chains Using Deep Reinforcement Learning," in IEEE Access, vol. 9, pp. 36008-36018, 2021, doi: 10.1109/ACCESS.2021.3062410.