close_btn
로그인, 회원가입후 더 많은 혜택을 누리세요 로그인 회원가입 닫기

RL4RWS 이용 안내

모두의연구소 2017.09.04 17:27 조회 수 : 1947

RL4RWS 시즌2 연구실
(실물 시스템에 적용하기 위한 강화학습 시즌 2)

books-stack-of-three.png

 

 

RL4RWS 랩은 임베디드와 강화학습을 접목하여 실제 환경에서 작동하는 다양한 모델을 직접 구현해 보는것을 목표로 합니다. 

 

연구실 목표

강화학습을 실물 시스템인 임베디드 시스템에 적용함. (임베디드 시스템을 이용한 실물 강화학습)
 

저희 랩의 시즌1은 2017년09월 12일부터 12월 19일까지 4개월간 진행하였습니다. 강화학습 실물 구현 및 강화학습 세미나를 진행하였습니다. 최대 20여명이 랩에 참여하여 진행하였으며 그 중 많은 분들이 현업에 종사하면서도 높은 연구열을 발휘하였습니다.

 

저희 랩의 시즌 1의 성과는 구성원들이 강화학습에 대한 이해도가 높아졌다는 것입니다. 김성훈 교수님의 강좌를 보고 매회 발표 및 토론을 통하여 강화학습을 공부하였습니다. 대부분의 참여인원이 전기전자 관련 대기업 중소기업에 종사하는 분들로 랩짱부터 연구원 대부분이 강화학습에 대한 기초지식이 없었으나 이번 랩을 통하여 강화학습에 대한 기초를 다지게 되었습니다.

 

그리고 강화학습의 실물환경에 대한 경험을 쌓았습니다. 공개된 강화학습관련 오픈 하드웨어 중하나인 라인트레이서 예제를 직접 PCB제작, 납땜 등을 통하여 실물 보드 작업을 진행하였습니다.

 

아쉬운 점은 실물인 라인트레이서가 예상외로 완성하기가 까다로운 HW 구조로 되어 있어서 완성을 하지 못한 점입니다. 또한 실물에 적용된 강화학습이 큐러닝 기반이 아닌 kohonen network을 사용한 비지도학습을 사용한 예제라서 적용이 쉽지 않았다는 것입니다.

 

강화.png

 

 

결과물

- https://github.com/modulabs/RL4RWS

참조 자료

- https://www.youtube.com/watch?v=xXKnUeN1VgI

- https://www.youtube.com/watch?v=SGaNlbkyQMg

-https://github.com/michalnand/motoko_after_math_linefollower

 

시즌 2의 목표는 구현하기 쉬운 예제를 통한 실물시스템 완성 및 성능 검증 그리고 강화학습 이론 완성입니다.

이번에 선택한 실물예제는 자율 주행 장난감자동차입니다.

 데모영상      :  https://www.youtube.com/watch?v=WtEYMELvRHI

 코드(MATLAB) : https://github.com/kennydl/Reinforcment-Learning-With-Q-Learning

 문서: https://www.dropbox.com/s/mqkjhie1ahnc146/Rapport%201.9%20-%202015.05.22.pdf?dl=0

 

이번에 사용하는 예제는 아두이노 기반의 실물시스템을 선택하여 누구나 구현할 수 있는 실물환경을 제공하고 있으며, 매트랩을 통하여 시뮬레이션 및 실물환경이 하나로 묶여있어서 강화학습 및 임베디드 시스템을 모르는 분들도 참여 할 수 있습니다. 그리고 구현된 알고리즘이 DQN으로 되어있습니다. 이번 랩을 통하여 랩에 참여한 인원이 DQN까지 강화학습을 좀 더 잘 이해하는 것입니다.

 

 위의 예제를 그대로 구현하는 것이 첫번째 목표이며 그 다음은 초음파센서 대신에 레이져 센서를 적용하는 단계로 순차적으로 진행할 예정입니다. 그 다음 순서는 인공지능 임베디드 플랫폼인 NVDIA JETSON TX2를 사용하여 On Device 형식의 강화학습 플랫폼을 만드는 것입니다.

랩 설립 취지

강화학습을 통한 임베디드 시스템 제어(제어이론을 바탕으로 하는 제어영역)는 향후에 일반화 될 것으로 전망합니다. 이를 위해서는 임베디드 분야(HW & SW) 기술과 인공지능 분야의 하나인 강화학습에 대한 기술이 결합이 되어야 한다. 현재 임베디드 분야에 종사하는 분은 인공지능에 대하여 어렵게 생각하고 반면에 인공지능 분야에 종사는 분은 임베디드 분야에 대하여 어렵게 생각하여 상호간에 진입장벽이 높습니다. 이번 랩은 임베디드와 강화학습을 접목하여 서로간의 진입장벽을 낮추어서 실물을 활용한 다양한 모델을 직접 구현해 보고자 합니다.

 

본 랩의 구성원은 임베디드 분야 대기업 중소기업에서 실무를 하고 계시는 분이 많이 계셔서 임베디드분야에 강화학습을 적용하는 데 상호 도움이 될 것입니다.

 

임베디드 분야, 강화학습이론 분야의 기초가 없는 분 들을 대상으로 하는 각 분야 별 집중강좌도 검토 중입니다.

 

 랩 세미나 내용

실물 구현과 강화학습 분야로 나누어서 랩을 운영할 예정입니다. 전체 기간을 3달로 기획하였으며, 3달기간 동안 실물구현 및 테스트 그리고 강화학습 이론 학습에 매진할 예정입니다.

 

1. 실물구현

  • 실물구현을 위한 부품 구매.
  • 구매한 부품 조립 및 테스트
  • 3D프린터 활용 초음파 센서 고정물 제작
  • 매트랩을 통한 학습

2. 강화학습 세미나

강화학습.jpg

 

3. 임베디드 플랫폼 구축 및 강화학습 구현

  • 실물 강화학습을 위한 개발환경 구축
  • 매트랩 및 파이선 응용 시뮬에이션 환경 구축
  • 시뮬레이션을 통한 강화학습 적용
  • 김성훈교수 강좌내용 실습
  • 플랫폼을 기반으로 한 강화학습 적용
  • 자율주행 자동차

연구실 운영방안

 주 1회 (매주 화요일 저녁 7시 30 ~ 9:30)

 

1. 실물 플랫폼 제작 및 강화학습 적용 – 각 기능별 역할분담

  • 매트랩 적용한 강화학습 환경구축 및 소스분석
  • 실물 부품 구매
  • 각 기능별 테스트
  • 통합 테스트

2. 강화학습 세미나

  • 강화학습 초보자 – 김성훈 교수님 강좌 Rotation으로 발표
  • 강화학습 경험자 – 파이썬과 케라스로 배우는 강화학습 교재 Rotation으로 발표

 

연구원 모집 안내

 

<자격요건>

  • 실물강화학습에 관심있는 메이커
  • 실물강화학습에 관심있는 회로 설계 담당자.
  • 실물강화학습에 관심있는 펌웨어 엔지니어
  • 실물강화학습에 관심있는 전산학과, 전자공학, 컴퓨터 공학과 관련자
  • 매트랩 유경험자 매우 우대 

 

<참여방법>

http://pay.modulabs.co.kr/에 회원 가입 및 멤버십 결제를 하시고
랩신청 메뉴에서 RL4RWS 시즌2 랩신청을 해주시면 됩니다.

 

멤버십 안내  : 

 

Basic : 165,000원(3개월)

Premium : 330,000원(6개월)

Platinum : 660,000원(12개월)

 

(3개 이상 참가시 상담 必)

 

랩 시작일

1월 16일(화요일)

랩짱

 

박 철(모두의연구소)