Research Article
BibTex RIS Cite

Pekiştirmeli Öğrenme ile Tenis Oyunu Simülasyonu Gerçekleştirimi

Year 2023, Volume: 7 Issue: 2, 1724 - 1735, 29.12.2023

Bakhtiyar Ospanov M. Fatih Demirci

https://doi.org/10.56554/jtom.1273051

Abstract

Oyun ve robotik endüstrilerinde, akıllı ve etkileşimli karakterlerin tasarımı, yapay zekadaki ilerlemelerle büyük ölçüde zenginleştirilmiştir. Yapay-zeka tabanlı bu yaklaşımlara, özellikle, geleneksel algoritmaların önceden programlanmış kural-tabanlı olması nedeniyle ihtiyaç duyulmaktadır. Makine öğrenmesi ile oyun karakterleri karmaşık oyunlarda bile özgün ve bağımsız davranışlara sahip olacak şekilde eğitilmektedir. Bu çalışma, henüz yeterince üzerinde çalışılmamış olan tenis oyununda pekiştirmeli öğrenme kullanarak zeki oyuncuların (ajanların) başarılı bir şekilde eğitilebileceğini göstermektedir. Eğitim aşamasında ajanlara temel tenis kuralları ve sonuç (kazanma/kaybetme) hakkında bilgi verilmektedir. Ayrıca, oyun içindeki performanslarına göre ajanlar ödül ya da ceza da almaktadır. Buna göre, ajanlar kendi bulundukları duruma göre en iyi davranışı bulmaya çalışır. Ajanlar, Unity'de uygulanan görsel, fiziksel ve bilişsel olarak zengin bir çevrede eğitilmektedir. Sunulan çalışmanın deneysel değerlendirmesi, genel olarak modelin etkililiğini ve başarısını göstermektedir. Gerçekleştirilen uygulama açık-kaynaktır ve uygulamaya şu adresten erişilebilir: https://bakhtiyar-ospanov.github.io/MLAT/index.html

Keywords

Pekiştirmeli Öğrenme Tenis Oyunu Simülasyonu Makine Öğrenmesi Sinir Ağları

References

  • Akkaya I, Andrychowicz M, Chociej M, Litwin M, McGrew B, Petron A, Paino A, Plappert M, Powell G, Ribas R. (2019). Solving rubik’s cube with a robot hand. arXiv preprint arXiv:1910.07113, 10. https://arxiv.org/abs/1910.07113
  • Albers P, de Vries D. (2001). Elo-rating as a tool in the sequential estimation of dominance strengths. Animal Behaviour, pages 489–495. https://palbers.home.xs4all.nl/AlbersDeVries.pdf
  • Alzubi J, Nayyar A, Kumar A. (2018). Machine learning from theory to algorithms: an overview. In Journal of physics: conference series, volume 1142, page 012012. IOP Publishing. https://iopscience.iop.org/article/10.1088/1742-6596/1142/1/012012/meta
  • Ayodele T. (2010). Types of machine learning algorithms. New advances in machine learning, 3:19–48. https://www.intechopen.com/chapters/10694
  • Burda, Y., Edwards, H., Storkey, A., Klimov, O. (2018). Exploration by random network distillation. arXiv preprint arXiv:1810.12894. https://openreview.net/forum?id=H1lJJnR5Ym
  • Cao Z, Wong K, Bai Q, Lin C. (2020). Hierarchical and non-hierarchical multi-agent interactions based on unity reinforcement learning. Proceedings of the International Joint Conference on Autonomous Agents and Multiagent Systems, pp. 2095-2097. https://www.ifaamas.org/Proceedings/aamas2020/pdfs/p2095.pdf
  • Gao W, Graesser L, Choromanski K, Song X, Lazic N, Sanketi P, Sindhwani V, Jaitly N. (2020). Robotic Table Tennis with Model-Free Reinforcement Learning. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Las Vegas, NV, USA, pp. 5556-5563, doi: 10.1109/IROS45743.2020.9341191. https://arxiv.org/abs/2003.14398
  • Ho J, Ermon S. (2016). Generative adversarial imitation learning. arXiv preprint arXiv:1606.03476. https://arxiv.org/abs/1606.03476 Jaderberg M, Czarnecki W, Dunning I, Marris L, Lever G, Castaneda A, Beattie C, Rabinowitz N, Morcos A,
  • Ruderman A. (2019). Human-level performance in 3d multiplayer games with population-based reinforcement learning. Science, 364(6443):859–865. https://www.science.org/doi/10.1126/science.aau6249
  • Lample G, Chaplot D. (2017). Playing fps games with deep reinforcement learning. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 31. https://dl.acm.org/doi/10.5555/3298483.3298548
  • Millington I, Funge J. (2009). Artificial intelligence for games. CRC Press. https://spada.uns.ac.id/pluginfile.php/629724/mod_resource/content/1/gameng_AIFG.pdf
  • Muelling K, Boularias A, Mohler B, Schölkopf B, Peters J. (2014). Learning strategies in table tennis using inverse reinforcement learning. Biol Cybern 108(5):603–619. https://link.springer.com/article/10.1007/s00422-014-0599-1
  • Silver D, Hubert T, Schrittwieser J, Antonoglou I, Lai M, Guez A, Lanctot M, Sifre L, Kumaran D, Graepel T. (2018). A general reinforcement learning algorithm that masters chess, shogi, and go through self-play. Science, 362(6419):1140–1144. https://www.science.org/doi/10.1126/science.aar6404 Ospanov, Demirci JTOM(7)2, 1724-1735, 2023 1735
  • Pathak D, Agrawal P, Efros A, Darrell T. (2017). Curiosity driven exploration by self-supervised prediction. In International Conference on Machine Learning, pages 2778–2787. PMLR. https://proceedings.mlr.press/v70/pathak17a/pathak17a.pdf
  • Tebbe J, Krauch L, Gao Y, Zell A. (2021). Sample-efficient Reinforcement Learning in Robotic Table Tennis. IEEE International Conference on Robotics and Automation (ICRA 2021), May 31 - June 4. https://arxiv.org/abs/2011.03275
  • Torabi F, Warnell G, Stone P. (2018). Behavioral cloning from observation. arXiv preprint arXiv:1805.01954. https://arxiv.org/abs/1805.01954
  • Torrado R, Bontrager P, Togelius J, Liu J, Perez-Liebana D. (2018). Deep reinforcement learning for general video game ai. IEEE Conference on Computational Intelligence and Games (CIG), 1–8. IEEE. https://arxiv.org/abs/1806.02448
  • Wang X, Liu C., Sun L. (2022). Lightweight Deep Learning Models for Resource Constrained Devices. Computational Intelligence and Neuroscience, vol. 2022, Article ID 4623561, 10 pages. https://www.hindawi.com/journals/cin/si/635175/
  • Weeraman A. (2023). Erişim adresi: https://github.com/aweeraman/reinforcement-learning-tennis. Son erişim: Mayıs 2023.
  • Yurtsever, A., Dengiz, B. , Çakır, B. & Karaoğlan, İ. (2022). Dağıtık üretim içeren dağıtım şebekesi genişleme problemi için yeni bir matematiksel model. Journal of Turkish Operations Management , 6 (1) , 1134-1152. https://dergipark.org.tr/tr/pub/jtom/issue/70951/1106004

Implementation of Tennis Game Simulation with Reinforcement Learning

Year 2023, Volume: 7 Issue: 2, 1724 - 1735, 29.12.2023

Bakhtiyar Ospanov M. Fatih Demirci

https://doi.org/10.56554/jtom.1273051

Abstract

Oyun ve robotik endüstrilerinde, akıllı ve etkileşimli karakterlerin tasarımı, yapay zekadaki ilerlemelerle büyük ölçüde zenginleştirilmiştir. Yapay-zeka tabanlı bu yaklaşımlara, özellikle, geleneksel algoritmaların önceden programlanmış kural-tabanlı olması nedeniyle ihtiyaç duyulmaktadır. Makine öğrenmesi ile oyun karakterleri karmaşık oyunlarda bile özgün ve bağımsız davranışlara sahip olacak şekilde eğitilmektedir. Bu çalışma, henüz yeterince üzerinde çalışılmamış olan tenis oyununda pekiştirmeli öğrenme kullanarak zeki oyuncuların (ajanların) başarılı bir şekilde eğitilebileceğini göstermektedir. Eğitim aşamasında ajanlara temel tenis kuralları ve sonuç (kazanma/kaybetme) hakkında bilgi verilmektedir. Ayrıca, oyun içindeki performanslarına göre ajanlar ödül ya da ceza da almaktadır. Buna göre, ajanlar kendi bulundukları duruma göre en iyi davranışı bulmaya çalışır. Ajanlar, Unity'de uygulanan görsel, fiziksel ve bilişsel olarak zengin bir çevrede eğitilmektedir. Sunulan çalışmanın deneysel değerlendirmesi, genel olarak modelin etkililiğini ve başarısını göstermektedir. Gerçekleştirilen uygulama açık-kaynaktır ve uygulamaya şu adresten erişilebilir: https://bakhtiyar-ospanov.github.io/MLAT/index.html

Keywords

Pekiştirmeli Öğrenme Tenis Oyunu Simülasyonu Makine Öğrenmesi Sinir Ağları

References

  • Akkaya I, Andrychowicz M, Chociej M, Litwin M, McGrew B, Petron A, Paino A, Plappert M, Powell G, Ribas R. (2019). Solving rubik’s cube with a robot hand. arXiv preprint arXiv:1910.07113, 10. https://arxiv.org/abs/1910.07113
  • Albers P, de Vries D. (2001). Elo-rating as a tool in the sequential estimation of dominance strengths. Animal Behaviour, pages 489–495. https://palbers.home.xs4all.nl/AlbersDeVries.pdf
  • Alzubi J, Nayyar A, Kumar A. (2018). Machine learning from theory to algorithms: an overview. In Journal of physics: conference series, volume 1142, page 012012. IOP Publishing. https://iopscience.iop.org/article/10.1088/1742-6596/1142/1/012012/meta
  • Ayodele T. (2010). Types of machine learning algorithms. New advances in machine learning, 3:19–48. https://www.intechopen.com/chapters/10694
  • Burda, Y., Edwards, H., Storkey, A., Klimov, O. (2018). Exploration by random network distillation. arXiv preprint arXiv:1810.12894. https://openreview.net/forum?id=H1lJJnR5Ym
  • Cao Z, Wong K, Bai Q, Lin C. (2020). Hierarchical and non-hierarchical multi-agent interactions based on unity reinforcement learning. Proceedings of the International Joint Conference on Autonomous Agents and Multiagent Systems, pp. 2095-2097. https://www.ifaamas.org/Proceedings/aamas2020/pdfs/p2095.pdf
  • Gao W, Graesser L, Choromanski K, Song X, Lazic N, Sanketi P, Sindhwani V, Jaitly N. (2020). Robotic Table Tennis with Model-Free Reinforcement Learning. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Las Vegas, NV, USA, pp. 5556-5563, doi: 10.1109/IROS45743.2020.9341191. https://arxiv.org/abs/2003.14398
  • Ho J, Ermon S. (2016). Generative adversarial imitation learning. arXiv preprint arXiv:1606.03476. https://arxiv.org/abs/1606.03476 Jaderberg M, Czarnecki W, Dunning I, Marris L, Lever G, Castaneda A, Beattie C, Rabinowitz N, Morcos A,
  • Ruderman A. (2019). Human-level performance in 3d multiplayer games with population-based reinforcement learning. Science, 364(6443):859–865. https://www.science.org/doi/10.1126/science.aau6249
  • Lample G, Chaplot D. (2017). Playing fps games with deep reinforcement learning. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 31. https://dl.acm.org/doi/10.5555/3298483.3298548
  • Millington I, Funge J. (2009). Artificial intelligence for games. CRC Press. https://spada.uns.ac.id/pluginfile.php/629724/mod_resource/content/1/gameng_AIFG.pdf
  • Muelling K, Boularias A, Mohler B, Schölkopf B, Peters J. (2014). Learning strategies in table tennis using inverse reinforcement learning. Biol Cybern 108(5):603–619. https://link.springer.com/article/10.1007/s00422-014-0599-1
  • Silver D, Hubert T, Schrittwieser J, Antonoglou I, Lai M, Guez A, Lanctot M, Sifre L, Kumaran D, Graepel T. (2018). A general reinforcement learning algorithm that masters chess, shogi, and go through self-play. Science, 362(6419):1140–1144. https://www.science.org/doi/10.1126/science.aar6404 Ospanov, Demirci JTOM(7)2, 1724-1735, 2023 1735
  • Pathak D, Agrawal P, Efros A, Darrell T. (2017). Curiosity driven exploration by self-supervised prediction. In International Conference on Machine Learning, pages 2778–2787. PMLR. https://proceedings.mlr.press/v70/pathak17a/pathak17a.pdf
  • Tebbe J, Krauch L, Gao Y, Zell A. (2021). Sample-efficient Reinforcement Learning in Robotic Table Tennis. IEEE International Conference on Robotics and Automation (ICRA 2021), May 31 - June 4. https://arxiv.org/abs/2011.03275
  • Torabi F, Warnell G, Stone P. (2018). Behavioral cloning from observation. arXiv preprint arXiv:1805.01954. https://arxiv.org/abs/1805.01954
  • Torrado R, Bontrager P, Togelius J, Liu J, Perez-Liebana D. (2018). Deep reinforcement learning for general video game ai. IEEE Conference on Computational Intelligence and Games (CIG), 1–8. IEEE. https://arxiv.org/abs/1806.02448
  • Wang X, Liu C., Sun L. (2022). Lightweight Deep Learning Models for Resource Constrained Devices. Computational Intelligence and Neuroscience, vol. 2022, Article ID 4623561, 10 pages. https://www.hindawi.com/journals/cin/si/635175/
  • Weeraman A. (2023). Erişim adresi: https://github.com/aweeraman/reinforcement-learning-tennis. Son erişim: Mayıs 2023.
  • Yurtsever, A., Dengiz, B. , Çakır, B. & Karaoğlan, İ. (2022). Dağıtık üretim içeren dağıtım şebekesi genişleme problemi için yeni bir matematiksel model. Journal of Turkish Operations Management , 6 (1) , 1134-1152. https://dergipark.org.tr/tr/pub/jtom/issue/70951/1106004
There are 20 citations in total.

Details

Primary Language Turkish
Subjects Engineering
Journal Section Research Article
Authors

Bakhtiyar Ospanov 0000-0003-4490-4709

M. Fatih Demirci 0000-0003-1552-0087

Publication Date December 29, 2023
Submission Date March 30, 2023
Acceptance Date June 27, 2023
Published in Issue Year 2023 Volume: 7 Issue: 2

Cite

APA Ospanov, B., & Demirci, M. F. (2023). Pekiştirmeli Öğrenme ile Tenis Oyunu Simülasyonu Gerçekleştirimi. Journal of Turkish Operations Management, 7(2), 1724-1735. https://doi.org/10.56554/jtom.1273051
AMA Ospanov B, Demirci MF. Pekiştirmeli Öğrenme ile Tenis Oyunu Simülasyonu Gerçekleştirimi. JTOM. December 2023;7(2):1724-1735. doi:10.56554/jtom.1273051
Chicago Ospanov, Bakhtiyar, and M. Fatih Demirci. “Pekiştirmeli Öğrenme Ile Tenis Oyunu Simülasyonu Gerçekleştirimi”. Journal of Turkish Operations Management 7, no. 2 (December 2023): 1724-35. https://doi.org/10.56554/jtom.1273051.
EndNote Ospanov B, Demirci MF (December 1, 2023) Pekiştirmeli Öğrenme ile Tenis Oyunu Simülasyonu Gerçekleştirimi. Journal of Turkish Operations Management 7 2 1724–1735.
IEEE B. Ospanov and M. F. Demirci, “Pekiştirmeli Öğrenme ile Tenis Oyunu Simülasyonu Gerçekleştirimi”, JTOM, vol. 7, no. 2, pp. 1724–1735, 2023, doi: 10.56554/jtom.1273051.
ISNAD Ospanov, Bakhtiyar - Demirci, M. Fatih. “Pekiştirmeli Öğrenme Ile Tenis Oyunu Simülasyonu Gerçekleştirimi”. Journal of Turkish Operations Management 7/2 (December 2023), 1724-1735. https://doi.org/10.56554/jtom.1273051.
JAMA Ospanov B, Demirci MF. Pekiştirmeli Öğrenme ile Tenis Oyunu Simülasyonu Gerçekleştirimi. JTOM. 2023;7:1724–1735.
MLA Ospanov, Bakhtiyar and M. Fatih Demirci. “Pekiştirmeli Öğrenme Ile Tenis Oyunu Simülasyonu Gerçekleştirimi”. Journal of Turkish Operations Management, vol. 7, no. 2, 2023, pp. 1724-35, doi:10.56554/jtom.1273051.
Vancouver Ospanov B, Demirci MF. Pekiştirmeli Öğrenme ile Tenis Oyunu Simülasyonu Gerçekleştirimi. JTOM. 2023;7(2):1724-35.

2229319697  logo   logo-minik.png 200311739617396