로봇 / STM32
STM32 개발환경 설정하기
STM32 프로그램 개발을 위해 필요한 환경을 설정하는 과정에 대한 설명입니다. 아래 과정은 다음 환경에서 진행했습니다. Windows 11 Home 1. Java 설치하기 STM32 CubeIDE는 Eclipse 프로그램에 플러그인 형식으로 만들어진 개발 프로그램입니다. CubeIDE를 실행하기 위해서는 java를 설치해야 합니다. https://www....
2024년 1월 20일
로봇 / ROS
ROS1에 CygLiDAR 연동하기
LiDAR는 주변상황을 인식하기 위한 장비로 카메라와는 다르게 레이저를 이용해서 객체의 위치와 거리를 정확하게 측정할 수 있습니다. 라이다로 인식된 정보를 subscribe 하는 과정에 대한 설명입니다. 아래 과정은 모두 아래 명령을 통해 Docker Container에 접속한 이후 실행하는 내용입니다. $ docker exec -it ros1 /bin/b...
2024년 1월 20일
로봇 / ROS
ROS1에 YOLO v5 연동하기
카메라는 로봇이 주변 상황을 인식하기 위해 사용되는 장비로 사람의 눈과 같은 역할을 합니다. 카메라로 인식된 영상을 YOLO v5를 이용해 Object Detection을 실행하고 그 결과를 publish 하고 subscribe 과정에 대한 설명입니다. 아래 과정은 모두 아래 명령을 통해 Docker Container에 접속한 이후 실행하는 내용입니다. $...
2024년 1월 19일
로봇 / ROS
Ubuntu에서 Docker를 이용한 ROS1, ROS2 설치
ROS1은 기본적으로 Ubuntu 18.04에서 동작합니다. 그리고 ROS2는 Ubuntu 22.04에서 동작합니다. 즉 ROS1, ROS2를 하나의 Ubuntu에서 실행하기 어렵다는 의미입니다. Docker를 사용해서 ROS1, ROS2가 하나의 Ubunt에서 동작 가능하도록 하는 방법에 대한 설명입니다. 그리고 두 번째 제약사항은 Docker conta...
2024년 1월 19일
강화 학습
바닥부터 배우는 강화 학습 | 10. 알파고와 MCTS
'바닥부터 배우는 강화 학습' 10장에는 MCTS(Monte Carlo Tree Search)의 개념과 알파고에 대해서 설명하고 있습니다. 아래 내용은 공부하면서 핵심 내용을 정리한 것입니다. 참고자료 도서: 바닥부터 배우는 강화 학습 / 10장 알파고와 MCTS 10.1 알파고 알파고는 2016년 3월에 이세돌과 바둑을 뒀던 버전 학습(learning) ...
2024년 1월 18일
강화 학습
바닥부터 배우는 강화 학습 | 09. 정책 기반 에이전트
'바닥부터 배우는 강화 학습' 9장에는 정책 기반 에이전트를 학습하는 방법에 대해서 설명하고 있습니다. 아래 내용은 공부하면서 핵심 내용을 정리한 것입니다. 참고자료 도서: 바닥부터 배우는 강화 학습 / 9장 정책 기반 에이전트 9.1 Policy Gradient 가치 기반 에이전트가 액션을 선택하는 방식은 결정론적(deterministic): 모...
2024년 1월 18일
강화 학습
바닥부터 배우는 강화 학습 | 08. 가치 기반 에이전트
'바닥부터 배우는 강화 학습' 8장에는 가치 기반 에이전트를 학습하는 방법에 대해서 설명하고 있습니다. 아래 내용은 공부하면서 핵심 내용을 정리한 것입니다. 참고자료 도서: 바닥부터 배우는 강화 학습 / 8장 가치 기반 에이전트 이번 챕터에서 다룰 문제◦ 모델 프리◦ 상태 공간 (state space)과 액션 공간(action space)...
2024년 1월 18일
강화 학습
바닥부터 배우는 강화 학습 | 07. Deep RL 첫 걸음
'바닥부터 배우는 강화 학습' 7장에는 무수히 많은 MDP를 풀기 위해 딥러닝을 강화학습에 적용하는 방법에 대해서 설명하고 있습니다. 아래 내용은 공부하면서 핵심 내용을 정리한 것입니다. 참고자료 도서: 바닥부터 배우는 강화 학습 / 7장 Deep RL 첫 걸음 7.1 함수를 활용한 근사 바둑의 경우는 바둑판 $19 \times 19$ 격자의 모든 빈칸이 ...
2024년 1월 18일
강화 학습
바닥부터 배우는 강화 학습 | 06. MDP를 모를 때 최고의 정책 찾기
'바닥부터 배우는 강화 학습' 6장에는 MDP를 모르고 있는 경우 최고의 정책을 찾는 방법에 대해서 설명하고 있습니다. 아래 내용은 공부하면서 핵심 내용을 정리한 것입니다. 참고자료 도서: 바닥부터 배우는 강화 학습 / 6장 MDP를 모를 때 최고의 정책 찾기 동영상: https://www.youtube.com/watch?v=2h-FD3e1YgQ&...
2024년 1월 18일
강화 학습
바닥부터 배우는 강화 학습 | 05. MDP를 모를 때 밸류 평가하기
'바닥부터 배우는 강화 학습' 5장에는 MDP를 모르고 있는 경우 밸류를 평가하는 방법에 대해서 설명하고 있습니다. 아래 내용은 공부하면서 핵심 내용을 정리한 것입니다. ...
2024년 1월 17일