(7/23) LED on/off

1. 이미지 학습 횟수

2. 자율주행 수행 후 결과 및 특이사항

주행은 잘 했으나 몇몇 구간에서 선의 중앙을 따라가는 것이 아닌 선을 무시하고 주행을 하는 경우가 있었다.

지도 학습을 통해 학습을 한 결과. 8자 형태에서 중간 교차점을 잘 지났으나 몇몇 구간에서 선 안쪽으로(인 코스로) 주행하는 경우가 있었다.

8자 트랙의 교차점에서 조금 흔들렸고 약간 인코스로 주행하였다.

차가 선을 잘 따라가긴 하지만 선이 교차하는 곳에서는 원래 가던 선을 이탈하여 다른 선을 따라가는 경우가 나타났다.

학습 한 결과 약간 인코스로 주행하는 경향이 있었다.

이미지를 찍을때 내가 주행을 너무 못해서 음주운전을 하는 것 처럼 학습되었다.

기존 자율주행에서 크로스 구간, 경로 이탈의 문제가 있었으나 새로 진행한 자율주행은 크로스 구간 통과가 확인되었고 전보다는 전체적으로 안정적인 주행을 하였음. 그러나 코너 부분에서 약간의 인코스 주행이 있었음.

결과: 1~2번째 때는 중간 교차로 구간을 이상하게 지나갔으나 3번째 시도에서 교차로 구간을 제대로 잘 지나갔다. 하지만 전체적으로 불안하게 움직이는 점이 있었다.

주행하는데 큰 문제나 이탈은 없었지만 흰 선보다 약간 안쪽으로 주행하였다

이미지 학습 후 자율주행 과정에서 처음엔 잘 안되어 잘못 찍힌 데이터를 삭제 후 학습으 시키니 더욱 더 잘 갔다. 하지만 학습 과정 중 나의 운행 실력에 더불러 여러 문제들이 겹쳐 코스를 정확히 따라가지 못할 뿐만 아니라 교차점 부분에서 그냥 앞으로 가는 사태까지 일어나게 되었다. 이 문제를 해결하기 위해서 학습을 더욱 더 시키고 쓸모 없는 더미 데이터도 더 많이 지워야 할 것 같다.

교차로에서 길을 바르게 인식하지 못하고 라인을 이탈해 주행하는 경우가 다수 있었고 이를 해결하기 위해 여러번 주행을 반복하며 더 정확한 주행을 하기 위해 노력함. 최종 결과물의 경우 코스를 돌 때, 2번까지는 정상적으로 작동했지만 3번째 주행에서 인식오류가 발생했음.

-처음 시도한 자율 주행은 정해진 경로를 한참 벗어나는 경우가 있었는데 반복 적으로 더 시도 해보니 벗어나는 범위가 줄어들었다.

2. 고정속도로 주행하여 약 500장 정도의 이미지를 학습하였다.

3. 다른 자동차와 충돌하여 길이 막히면 주행에 문제가 생겼다.

2.고정 속도로 이미지를 학습하였다.

3.학습을 다시 시켜야 한다.

: 트랙의 거의 모든 구간을 문제없이 달릴 수 있으나 특정 구간에서 라인인식 실패로 트랙 외부로 나가는 경우가 있음.

<이미지 학습 방법>

: 고정속도. 타 차량 개입 시 해당 사진 삭제 후 재촬영

<특이사항>

: 타차량과의 잦은 충돌로 인한 이동경로 변경이 심하여 정확한 파악이 어렵다.

이미지는 총 2000장이 나왔고, 코랩을 통해 학습을 진행했다.

결과적으로 자율주행시에 선을 이탈하는 빈도가 줄어들었지만 여전히 갈림길에서 잘못된 길을 선택하는 경우가 있었다.

갈림길에서의 데이터를 조금 더 추가하여 재학습시킨다면 주행의 정확도를 더 높일 수 있을 것 같다.

환경 변화: 트랙 방향 변경

변속 적용: 직선 구간에서는 속도를 올려서 필요 없는 사진을 촬영하는 것을 줄이고 곡선 구간이나 교차로 구간에서는 속도를 줄여서 직선 구간보다 사진을 더 많이 얻을 수 있게 해주었다.

주행시 영향을 주는 변화 요소는 앞 부분의 차량 여부와 날씨에 따른 주변 광의 변화 값이 자율 주행에 영향을 주는 것 같다.

이미지 수집 개수 : 800장 이상

7월25일 오전 주행(학습일 7월24일 수업 종료전)

직선 구간 : 속도 90

곡선 구간 : 속도 70이하

이미지 수집 개수 : 443

창문에서 들어오는 햇빛이나 다른 차량의 네오 픽셀 빛에 의해 약간 영향이 있었다.

이미지 수집할 때 다른 차량이 지나갔던 길에서 경로를 이탈하였다.

I -> J, L -> M, R -> S 구간에서 이탈

변속을 이용하여 트랙이탈이 빈번히 발생하는 구간의 이미지 학습을 늘림

<결과>

등속으로 촬영한 결과보다 낮은 정확도를 보임.

교차로에서 잘못된 길로 지나가거나 세갈림길 에서 정식 코스는 아니지만 가장 두꺼운 선을 따라가려는 경향을 보임.

<원인분석>

트랙의 위치가 변하면서 빛의 입사 등의 변화로 인식이 어려워짐.

<대처>

1. 등속으로 트랙을 한바퀴 돌며 이미지 학습을 진행시킴

2. 자율주행 테스트를 진행하며 오류가 잦은 구간을 탐색

3. 변속으로 트랙을 한 바퀴 돌며 오류가 잦은 구간에선 저속으로 더 많은 이미지 학습을 진행시킴

4. 테스트를 진행하며 오류가 발생하는 구간탐색

5. 오류가 발생하는 구간만 저속으로 달리며 이미지 학습을 시킴

<결과>

• training lose min - validation loss min 그래프의 형태가 점점 일치하게 변해감(2000장이 넘는 데이터)

  
  

• H구간에 있는 갈림길에서 잘못된 길로 빠지거나 세 갈림길에서 길이 아닌 라인을 따라가는 문제가 발생.

직선과 곡선의 길은 문제없이 잘 갔지만 교차로에서는 올바른 길을 잘 찾지 못하는 모습을 보였다.

곡선 구간을 지날 때 속도의 변화 때문에 선 안쪽으로 깊이 들어왔다.

라이트를 켰을 때와 키지 않았을 때가 주행에 영향을 주는 것 같다. 카메라에 인식되는 밝기가 자료를 수집할 때 일정해야 인식이 더 잘 되는 것 같다.

약 500장 정도의 이미지를 수집하였다.

이미지를 추가적으로 수집하여 차가 선을 이탈하거나 너무 안쪽으로 들어오는 경우가 감소하였다.

-1. 환경변화: 트랙 방향 변경

-2. 변속적용: 직선구간은 가속, 커브구간은 감속하여 반복되고 불필요한 자료를 줄임

-3. 주행 시, 다른 자동차 또는 장애물과 굵은 흰색 라인에 더 영향을 받아 경로를 이탈하기도 함

-4. 이미지 수집 개수: 579장

2.모델 성능 변화

추가 이미지 수집을 통해 모델이 기존보다는 인코스 주행이 감소하고 안정적인 주행 모습을 보였으나 갈림길(H,J구간) 에서 잘못된 흰색 라인 학습으로 인해 여전히 순서가 맞지 않는 방향으로 경로를 이탈하는 모습을 보임.

3. 모델 생성 결과 분석 및 그래프 첨부

표준 편차: 148.96

회귀 결정 계수: 85.99%

1. 환경변화: 트랙 방향 변경

2. 직선구간에서는 속도를 빠르게 유지하였고 코너를 돌때나 갈림길이 나올때는 주행 속도를 낮추며 운행하였다.

3. 아무래도 한번에 여러 차량을 운행시키다보니 중간중간 다른 차들이 시야에 들어와 이미지 학습에 영향을 준 것 같다.

4. 이미지 수집 개수: 585개

2. 직진구간과 두가지 갈림길은 모두 무난하게 지나갔고 트랙 자체를 이탈하는 경우는 없어졌다. 하지만 X자 길이나 3가지 갈림길에서는 다른 길로 트는 경우가 생겼다. AI가 가기 어려운 부분들을 추가적으로 학습 시킨다면 더욱 정확도를 높일 수 있을 것 같다.

문제가 발생한 두 구간만 2번씩 추가적인 주행을 하며 이미지학습을 진행

<결과>

H구간 갈림길에서 잘못된 길로 듦

<대처>

H구간만 2번 이미지 학습. 사진수 : 3210장

<결과>

두 그래프가 더욱 일치하게 변화.

H구간과 세갈림길에서 이전과 동일한 오류 발생

<대처>

해당코스를 4번 반복하여 이미지 학습. 잘못된 길이 보이지 않을 정도로 길을 틀어서 주행하기도 하며 주행에 필수적인 경로만 보이게 촬영하기도 함.

여전히 오류발생. 해당 구간만 약 6번 반복 촬영을 하여 총 4881장의 이미지 학습

해결하려던 문제는 해결이 되었지만 다른 구간에서 문제가 발생.

이를 해결하기 위해 해당 구간을 주행하는 과정을 다시 반복했고 5045장의 이미지를 학습시켰다. 그러나 그 사이 트랙의 장소가 바뀌었고 트랙 밖의 하얀 바닥을 라인으로 인식하는 문제가 추가로 발생하였다.

이후 트랙을 다시 이전에 있던 장소로 옮긴 후 다시 테스트를 진행한 결과 이전에는 문제가 발생하지 않았던 구역Q에서 갈림길을 잘못 드는 문제가 발생했다. 이전 문제를 해결하기 위해 학습시킨 데이터 중 Q코스와 비슷한 구간이 있는데, 이로 인해 잘못된 판단을 한 것으로 보인다.

추가적인 주행은 차량의 배터리 이슈로 X

612장의 이미지를 모델 생성에 사용하였다.

컴퓨터실에서는 교차하는 구간에서 이탈했지만 복도에서는 커브 구간에서 이탈하였다.

학습 중 카메라에 인식되는 밝기나 각도의 영향이 있엇던 것 같다.

여러가지 환경에서 학습을 여러번 시키면 성능이 향상될 것 같다.

도현이의 모델을 다운 받아 내 차에서 실행시켜 트랙을 주행하였을 때 길을 잘 따라 가였다.

2. 결과가 나온 이유 유추해보기

학습 장소 컴퓨터실

학습일 : 7월25일 오전

이미지 학습 개수 : 304

주행 속도 60~75

창문을 통해 들어오는 햇빛을 따라가는 경우가 있었고 굵은 길이 있는 곳에서 이탈하였다. 다른 차량이 있으면 다른 길로 갔다.

학습 장소 복도

이미지 학습 개수 : 3090

주행 속도 40~45

컴퓨터실과 복도에서 햇빛이나 바닥에 반사된 빛을 길로 인식하여 경로를 이탈하는 경우가 나타났다.

곡선 경로 앞 바닥에 빛이 반사된 곳에서 주로 이탈하였다.

복도에서 학습하면서 반사된 빛이 있는 이미지로 학습을 하게 되어 정확도가 낮아진 것 같았다.

성능을 높이기 위해 방해되는 주변 빛을 줄이고 학습을 한 이후에 다시 테스트 해야겠다고 생각하였다.

-컴퓨터실: 더 굵은 흰색 라인에 반응하여 갈림길에서 경로 이탈이 빈번히 발생함

-복도: 타일이 흰색이고 창문으로 빛이 들어오며 기기가 빛에 반응하여 경로를 이탈하는 상황이 자주 보임

2.모델생성에 사용한 이미지 갯수

총 287장 사용

표준 편차: 148.96

회귀 결정 계수: 85.99%

3.자율주행 중 이탈한 곳은?

갈림길에서 올바르지 않은 길로 이동하여 경로를 이탈함

4.학습이 잘못 된 이유?

처음 이미지 수집을 할 때, 기존보다 속도를 높였기 때문에 학습한 내용이 약간 부족하였을 수 있음. 또한 센서가 인식하는데 흰색 라인의 굵기 차이에 따라 이동하는 것도 다르고 색보다는 빛에 더 민감하게 영향을 받기 때문임

5.자율주행 성능을 높이는 방법

카메라 각도를 약간 아래로 더 내려보게 하여 도로의 흰색 라인만 제대로 파악할 수 있도록 함. 빛 감지 센서의 인식 범위를 줄여 기기가 빛에 대해 덜 영향을 받게 함. 이미지 수집과정에서 커브와 갈림길 구간에서 속도를 늦추게 하며 기기가 그 구간에 대해 정확한 학습이 가능하도록 함.

1000학습

따로 심하게 이탈하는 부분은 없었지만 교차로 부분이나 트랙중간에 있는 넓은 흰색 부분에서 계속 이탈을 하였다.

시간에 따른 햇빛의 변화 때문에 이미지를 촬영하는 부분에서 반사 정도에 차이가 나서 학습이 잘 안 된 것 같다.

성능을 높이는 법은 많은 양의 데이터와 그 데이터를 어떻게 가공하는지 따라서 다른 것 같다.

환경2 복도

1005장 학습

햇빛이나 전등의 불빛이 심하게 반사되는 부분에서 이탈을 하였다.

촬영을 할 때 주행이 올바르지 않거나 다른 차량이 사진에 같이 찍히는 경우가 있고 사진의 양이 적어서 학습이 잘 안된 것 같다.

자율 주행의 성능을 높이는 법은 촬영된 데이터의 양을 늘리고 그 데이터를 따로 가공해서 필요 없는 데이터를 지우면 될 것 같다.

동일한 자율 주행 모델 car2로 트랙을 돌았을 때 R과 H부분을 잘 구분을 못하였지만 완주는 문제 없이 완주를 하였다. 같은 환경의 트랙에서 주행을 해서 별다른 문제 없이 잘 주행이 된 것 같다.

• 이미지수 2000장

• 라이트 on

• 고정속도 주행 : 60

• 이미지 수집 특이사항 : 갈림길은 중복 이미지 수집함

  (4회)

  
  

• 이미지 학습: 약 2000장

• 고정속도 60 주행

• 특이사항: 갈림길 구간 중복 이미지 수집

1. 주행 결과

H구간 갈림길, U구간 갈림길은 수월하게 진행되었으나 J구간 진입 갈림길은 더 굵은 흰색 라인 길로 따라가 경로를 이탈하였음.

2. 결과가 나온 이유 유추

J구간 진입에서 경로 이탈이 발생한 이유는 J구간과 V구간 사이 굵은 흰색 라인이 인식에 더 많은 영향을 주었기 때문이라 생각함.

-1. 환경변화: 트랙 방향 변경

-2. 변속적용: 직선구간은 가속, 커브구간은 감속하여 반복되고 불필요한 자료를 줄임

-3. 주행 시, 다른 자동차 또는 장애물과 굵은 흰색 라인에 더 영향을 받아 경로를 이탈하기도 함

-4. 이미지 수집 개수: 579장

2.모델 성능 변화

추가 이미지 수집을 통해 모델이 기존보다는 인코스 주행이 감소하고 안정적인 주행 모습을 보였으나 갈림길(H,J구간) 에서 잘못된 흰색 라인 학습으로 인해 순서가 맞지 않는 방향으로 경로를 이탈하는 모습을 보임.

3. 모델 생성 결과 분석 및 그래프 첨부

표준 편차: 24.61

회귀 결정 계수: 97.27%

그러나 둘 다 포크 모양, 세갈래길에서 이탈이 일어남.

이미지 655개

카메라에 인식되는 밝기와 빛의 세기 등 작은 환경 차이가 결과에 큰 영향을 미친다는 것을 확인할 수 있었음.

자율주행 성능을 높이기 위해서는 더 많은 학습 자료를 확보하고 정확한 운전이 필요함.

2. 결과가 나온 이유 유추해보기

문제 : 직진 주행에서도 차량이 좌우로 흔들리는 모습이 보임. 갈림길을 바르게 가기 위해 학습시킨 데이터들로 인해 차량이 직진보다 회전을 하려는 경향이 커짐.

공동 모델(by do)로 실행

내가 만든 모델보다 좀 더 부드럽게 움직이는 경향을 보임. 차량이 코스를 따라가는 것보다 카메라가 코스를 따라가는 것이 더욱 중점이 되어있다는 느낌을 받음. 그러나 내 모델에서는 문제가 발생하지 않던 코스에서 경로이탈을 하는 모습을 보임.

<결론>

1. 이미지 학습을 많이 하는 것이 꼭 좋은 것은 아니니 양조절

2. 특정 코스에서 문제가 지속적으로 발생하면 해당 코스만 여러번 학습

3. 차량이 코스를 따라가기 보다는 카메라가 코스를 따라가게

4. 차량이 회전할 때, 차량의 회전이 일정하도록 유지. 죄회전하다가 갑자기 우회전하는 그런건.... 변수가 발생!

1.파이썬이란?

변환기: 인터프리터 VS 컴파일러

-인터프리터: 한 줄씩 기계어로 바로 번역, 느림, 수정 바로 가능, 파이썬에서 사용

-컴파일러: 실행속도 빠름, 준비시간 김. 전체프로그램을 한번에 번역

2.반복문, 조건문

for/while , if/elif/if~else

+)언어모델, 생성형 AI

생성형 AI의 정의: 인공신경망을 적용, 머신러닝, 딥러닝 원리에 프롬프트로 작성헤주면 스스로 판단하고 학습하여 답변을 생성하는 AI

-ChatCPT: 자연어의 이해 정확이 매우 높고 맥락을 이해하여 연결질문, 많은 파라미터 값을 여 답변을 출력, 확률에 의해 답을 내놓으므로 거짓정보, 거짓말 등을 알려주술 수 있음.

단점: 환각현상, 데이터편향, 논리적 일관성 부족, 가짜뉴스, 저작권 침해, 표절, 할루시네이션(아무말 대잔치): 한정된 훈련 데이터, 확률에 불과한 결과, 진실여부, LLM의 복잡성

+) 뤼튼 생성형 AI

-프롬프트 작성

페르소나, 작업들을 지정해주고 설명해줘야 효과적인 프롬프트를 작성할 수 있음

-실습

N행시, 이미지 생성, 소설 작성

II. 파이썬 함수

1.파이썬 함수

def 함수명(매개변수):

(실행할 코드)

-실습

각도파악 solution(angle), 숫자동일solution(num1, num2), 출생연도 solution(age) 계산 등

2.모듈

스크립트, 함수를 모아둔 파일

import 모듈명 으로 불러와 사용 가능

-실습

식단 가격 측정 모듈, 문서 단어 변환

3.터틀 그래픽스 모듈

화면에서 거북이를 이용해 그림을 그릴 수 있는 라이브러리

import turtle as t

t=turtle.Turtle()

t.shape("(원하는 모양)")

III.파이썬 실습

1.데이터 분석 라이브러리

라이브러리(=패키지): 함수와 속성으로 이루어진 모듈들의 집합

-배열: 1차원(선), 2차원(가로 세로, 평면), 3차원(가로 세로 높이, 입체)

-numpy란, 다차원 배열을 쉽고 효율적으로 계산할 수 있도록 해주는 패키지, 훨신빠른 연산 가능

-이미지 행렬 처리: 픽셀의 색상 정보를 숫자로 저장하고 표현(검0, 흰1), 검 0, 흰 255로 하여 밝기 표현, 컬러이미지는 3개의 행렬로 이루어짐(RGB)

-실습: 이미지를 numpy배열로 변환

-십습2: 배열을 이미지로 변환

PIL 패키지의 Image.fromarray() 사용

matplotlib: 이미지 시각화

-실습3: 배경 지우기

rembg 라이브러리 사용

-실습4: 이미지 딥러닝 실습

tensorlow_datasets: 사용할 이미지 가져오기

tensorflow: 딥러닝 모델 만들기

'Resnet' CNN 인공지능 모델 사용

결과 예측함수 정의

이미지 예측(예측 확률 확인)

open cv를 활용하여 영상 배속하고 가로로 변경하기.

이미지 학습: 709장

가변속도 주행

표준 편차: 9.29

회귀 결정 계수: 98.46%

+)직선 빠르게 주행

RUN_SPEED = 70

mL = RUN_SPEED + angle #왼쪽 모터 속도 값(PWM)

mR = RUN_SPEED - angle #오른쪽 모터 속도 값(PWM)

if 10> abs(angle) >=0:

alpha = 25

elif 20 > abs(angle) >=10:

alpha = 15

else:

alpha = 0

II. OpenCV의 이해

컴퓨터 비전(CV): 카메라로 얻은 영상들, 컴퓨터에게 어려운 이미지 인식, 컴퓨터가 사물을 이해할 수 있게 도와줌. 자율주행차에서 차선인식, 차량인식, 보행자 검출의 역할 기능, 영상처리 라이브러리

-실습1:얼굴인식 실습 python faced.py

-실습2: 사람얼굴 박스 치기 - 아이유

-실습3: 비디오 수정 - 회전, 재생속도

-실습4: 엔트리 손,얼굴 인식

-실습5: 미디어파이프

III. 신호등 인지

알고리즘

신호등 인식 -> 원 검출 -> 좌표값 기준 박스 생성후 RGB 색상 좌표계를 HSV색상 좌표계 변환 -> 빨,초 구분하여 마스크 생성

-> 정지 및 주행

RGB 좌표계: 각 색상 성분 8비트, 하나의 색상 24비트, 0~255

HSV 좌표계: Hue색상(종류), Saturation채도(탁한정도), Value명도(밝기)

HSV 테스트: python hs.py -> 인식할 수 있는 색 범위 지정

신호등: python ts.py 디렉토리명 -> 신호등 원 모양 인식범위 설정

인공지능: 인간처럼 생각하는 시스템, 인간처럼 행동하는 시스템: Strong AI / 합리적으로 생각하는 시스템, 합리적으로 행동하는 시스템: Weak AI, 지능적인 행동의 자체

강화학습: 학습 과정에서 보상을 받는 과정으로 점점 더 능력을 강화하는 학습, 행동을 수행하는 학습자가 어떤 행동을 해야하는지 알지 못하는 상태에서 행동에 대한 보상을 극대화할지 어떻게 행동해야하는지 학습하는 방법

-체험: 원숭이-악어 강화학습 게임

-체험: AWS DeepRacer 자율주행 강화학습 과정

partyrock