기괴기계 (인공지능, ROS, 확률 통계 etc..)

Markov 모델은 두 가지 기준에 따라 구분될 수 있다.상태가 완전히 관측 가능한가?상태 전이에 대한 제어가 가능한가?상태 전이에 대한 제어가 가능한 상태에서 MDP와 POMDP는 completely observable이라는 기준에 따라 구분된다.이 때, 상태 전이에 대한 제어라는 뜻은 사용자(또는 에이전트)가 상태 전이를 자신의 행동(action)을 통해 조작할 수 있는지에 대한 이야기이다.Markov Chain은 상태 전이가 순전히 확률적으로 결정상태 간 전이가 고정된 확률분포로만 이루어지며, 외부에서 개입할 수 없음.MDP는 에이전트가 행동(action)을 통해 상태 전이에 영향을 미칠 수 있음.$p(s_2|s_1,a_1)$을 흔히 Transition Probability라고 부르는데, 이 때 a..

1. Background강화학습에서 Q함수라는 것은 어떻게 등장하게 되었을까? Q function은 강화학습의 총 보상 식을 변형하는 과정에서 등장하였다. 일단 한국어로 설명을 잘 해놓은 곳이 없어 설명해보고자 한다.가장 흔하게 쓰이는 강화학습의 목적은 아래의 식과 같다.$E_{\tau \sim p_\theta(\tau)}[\sum_{t=1}^Tr(s_t,a_t)]$reward의 합의 기댓값에 대한 식이다. 이 식에서, $τ=(s_1​,a_1​,s_2​,a_2​,…,s_T​,a_T​)$은 정책 pi를 따르면 초기상태 s1부터 차례차례 행동을 선택하고 다음 상태로 넘어가는 Trajectory Tau가 발생한다.이 Trajectory의 특성을 이용하면 아래의 식과 같이 전개할 수 있다. 이 때 필요한 지식이..

제어공학 공부할 일이 생겨서 Murray의 제어공학을 공부하게 되었다.!1.1 What is Feedback?동적 시스템에서의 Feedback의 정의Term feedback: 2개 혹은 그 이상의 동적 시스템이 서로에게 영향을 끼치거나 강하게 연결되어있는 경우의 상황을 의미함. first system이 second system에 영향을 끼치고 반대로 second system이 first system에 영향을 끼치는 과정에 대한 설명(control system에서의 feedback과 동적시스템에서의 넓은 의미의 feedback의 차이가 존재)Closed loop system은 Feedback, Open loop system은 Feedforward1.2 What is Feedforward?피드백 제어기에서는..

티움 투어 후기데보션 영 활동을 하면서 티움 투어라는 것을 하게 되었습니다. 을지로의 T타워에 방문해서 미래 기술을 체험하는 특별한 시간을 가졌습니다. 그래서 티움 투어 후기를 적어보고자 합니다.티움이란?티움은 SK텔레콤이 서울 을지로 본사에 마련한 미래 기술 체험관으로, '테크놀로지(Technology)'와 '뮤지엄(Museum)'의 합성어입니다. SK텔레콤의 철학을 담아 'New ICT 기술로 미래의 싹을 틔우겠다'는 메시지를 전하는 공간이에요.티움의 컨셉은 2050년대의 미래 도시를 배경으로 한 체험형 전시로, ICT 기술과 산업이 융합된 미래를 보여줍니다.https://www.sktelecom.com/view/advertise/tum.do (여기에 들어가면 자세한 설명을 들을 수 있어요)체험 과정..

데보션 영 전용 세미나 후기안녕하세요! 이번에는 8월에 열린 데보션 영 전용 세미나에 대한 후기를 작성해보려고 합니다. 이번 세미나는 정해웅님, 박병선님, 그리고 김한범님이 각각 취업 스토리와 꿀팁, 그리고 현업에서 느낀 점들을 솔직하게 공유해 주셨습니다.저도 이 세미나를 통해 앞으로의 방향성을 고민할 수 있었고, 취업 준비에 있어 더욱 체계적으로 접근해야겠다는 생각이 들었습니다. 그럼 세 분의 강연 내용을 중심으로 후기를 정리해보겠습니다.1. 정해웅님의 세션 - "인턴 4번 하고 취업한 자의 지독한 취업 스토리"정해웅님은 현재 SK하이닉스 솔루션 개발팀에서 근무하고 계신데요. 반도체와 데이터 분석이라는 두 관심사를 모두 잡기 위해 다양한 인턴 경험을 통해 본인의 스토리를 완성하셨다고 합니다.1) 직무와..

데보션 영 전용 세미나 후기: 취준과 나만의 성장 이야기안녕하세요! 이번에는 9월에 열린 데보션 영 전용 세미나에 대한 후기를 작성하려고 합니다. 이번 세미나는 취업과 성장이라는 주제로 다양한 이야기를 들을 수 있었던 시간으로, 김한성 프로님, 정경륜님, 그리고 서희찬 님이 각자의 경험과 조언을 아낌없이 공유해 주셨습니다.저 역시 많은 영감을 얻었고, 세미나를 통해 앞으로 나아갈 방향에 대해 진지하게 고민해볼 수 있었습니다. 그럼 세 분의 강연 내용을 중심으로 제가 느낀 점을 정리해보겠습니다.1. 김한성 프로님의 세션 - "취업 준비생들이 자주 묻는 질문 TOP 5"1) 석사, 부트캠프, 코딩 학원, 해야 할까?김한성 프로님은 취준 기간이 1-2년 이상 길어진다면, 체계적인 학습 환경이 도움이 될 수 있..

지난 데보션 테크 세미나에서는 기술 블로그 글쓰기를 주제로, 유튜브 카일스쿨을 운영하며 '글 쓰는 또라이가 세상을 바꾼다(글또)' 모임을 이끄는 변성윤 님의 강연이 있었습니다. (데보션은 SK의 개발자 커뮤니티입니다. 이 곳에서 좋은 세미나를 주기적으로 제공해줍니다.)https://zzsza.github.io/아마 데이터 분석이나 관련 분야에 관심이 많으신 분들은 높은 확률로 들어가보시지 않았을까 싶습니다.이 세미나는 평소 블로그 글쓰기나 기술 정리에 어려움을 느끼던 저에게 많은 도움이 되었습니다. 이번 후기는 세미나에서 얻은 깨달음과 느낀 점을 중심으로 작성해보려고 합니다.1. 테크 세미나에 참가하게 된 계기저는 약 2년간 블로그를 운영하며 20여 개의 글을 올렸지만, 업로드 주기가 일정하지 않아 꾸준..

안녕하세요! 데보션 영의 활동중에는 도서 스터디가 있는데요. AI/DATA 분야의 다양한 분들과 함께 스터디를 할 기회를 얻었습니다. 저는 이번에 "MLOps 실전 가이드"라는 도서를 통해 많은 것을 배우고 느낀 후기를 남겨보려고 합니다. SKT 측에서 36000원이나 되는 거액의 도서를 무상으로 구매해줬습니다 ㅎㅎ 대기업 최고https://product.kyobobook.co.kr/detail/S000202854952스터디 진행 방식저희는 매주 한 챕터씩 읽고 각자 주요 내용을 정리한 뒤, 발표 담당자가 이를 요약해서 발표하는 방식으로 스터디를 진행했습니다. 이렇게 한 챕터씩 꾸준히 읽어나가다 보니, 처음에는 막연히 어렵다고 느꼈던 내용도 점차 이해가 되기 시작했고, 마지막 즈음에는 책의 전체적인 흐름..