1시 20분: 플렉시스 + 이지은 연구원님 도착, 노트북 5대 세팅

1시 50분: 연구진 전체 도착

2시: 실증 교사단 도착, 1인 1디바이스 세팅

2시 5분: 연구진 소개, 플렉시스 소개, 실증 교사단 인사

2시 10분: 실증 교사단 인증서로 업무 리포트 자동생성 파일럿 자동화 프로세스 실행

2시 20분: 연구 현황 공유 (중간보고자료 활용)

2시 50분: 연구 현황 관련 질의응답

3시: 휴식

3시 10분: 평가 피드백 보조 프로토타입 관련 주관식 의견 수집 및 의견 공유 (패들렛 활용)

3시 40분: 업무 리포트 자동생성 결과 확인

4시: 휴식

4시 10분: 업무 리포트 생성 프로토타입 관련 주관식 의견 수집 및 의견 공유 (패들렛 활용)

4시 40분: 사후 설문 진행, 행정 관련 서류 작성 및 제출

4시 50분: 끝인사

5시: 저녁식사 장소로 이동

맥락: 학생이 시 창작을 하고 자신의 시를 발표하기 위해 작성한 해설문을 평가하기 위해 활용하였다.

긍정적인 점 : 유료로 사용하는 글쓰기, 그림 평가 프로그램을 대체할 수 있다는 생각이 들었다. 생성형 인공지능을 활용하여 교사가 챗봇을 만들거나 일일이 넣어야 하는 것을 간편하게 할 수 있다는 생각이 들었다.

우려되는 점: 평가 기준을 자세하게 제공하지 않았을 경우 기본적으로 제공하는 프롬프트가 거의 없어 너무 평이한 답을 해주므로 루브릭이 자세한 수행평가가 아닐 경우에는 효과가 떨어진다. PDF를 교사가 하나의 파일로 합치지 않고 연속적으로 업로드할 수 있도록 개선해야 한다. 프로젝트형 수업일 경우에는 최종 결과물 평가만 하지 않고 과정을 평가하므로 과정을 기억을 해주었으면 한다. 지난 차시에 내용을 어느 정도 기억을 하고 있어야 유의미하다. 경기도의 경우 논술형 평가 AI가 하이러닝 플랫폼에 도입되어 기능이 중복된다. 과목별로 프롬프트를 설정해주었으면 한다. 혹은 수업 유형을 선택할 수 있게끔 장기적으로 발전했으면 좋겠다. PBL, 프로젝트학습, 협동학습 등 특정 수업 모형으로 수업했을 때 과정을 점검할 수 있었으면 한다.

흥미로운 점 : 생성형 인공지능이 초안을 제안한 내용이 "왜 이렇게 초안을 제안했는지"를 설명해줄 수 있다는 부분이 흥미로웠다. 생성형 인공지능 답변의 이유를 정확히 알 수 없다고 알고 있었는데 만약 이유를 설명해준다면 사용할 의향이 있다.

나만의 배경: 평소 과제를 PDF로 배포하고 웨일북의 화면 필기 기능을 이용하여 이미지 형태로 수합하는데, OCR 기능을 활용하여 평가 피드백 보조가 된다고 하여 사용해보게 됨.

긍정적인 면: 주로 그림 파일로 과제를 받는 교사의 경우 OCR기능으로 피드백 형성이 되는 것이 도움이 많이 됨. 실제 활용해보니 분석 시간이 짧고 학생들도 접속 및 업로드 과정이 쉬워서 초등학교 6학년 학생들도 어려움 없이 사용 가능했음.

우려되는 점: 평가 기준을 '항목을 빠짐 없이 작성'으로 넣었는데, 항목을 다 빠짐없이 작성한 학생들끼리도 점수의 차이가 꽤 많이 났음. 창의성이나 구체성 등이 필요 없는 과제의 경우 이 보조 프로그램의 결과는 특별히 필요하지 않는 것으로 보임.(성실하게 과제를 수행했는지 보는 과제를 말함) 또한 그림 파일만 지원이 되어 종이로 작성한 결과나 슬라이드 등을 한 번 더 손을 대어 업로드 해야 하는 점이 어떤 과제의 경우에는 더 시간을 많이 소요하게 하지 않을까 함.

초등학교 저, 중학년의 경우에는 아직 특정 사이트에 로그인하거나 사진을 업로드하고, 폴더를 검색하는 등의 활동을 잘 못하는 경우가 대다수임. 따라서 고학년 정도에 한하여 활용이 될 것 같은 생각이 들었음. 웨일클래스에서 과제를 받고 있는 입장에서 생각해보면 웨일클래스에서 과제를 받으면 평가 피드백 등을 셀프로 써야 하는 어려움은 있지만 다양한 형식의 파일을 다 제출 받을 수 있고, 그림 파일의 경우 다운로드 필요 없이 바로 채점이 가능하여 굳이 이 평가 피드백 보조 기능을 양쪽으로 쓸까? 하는 의문이 들었음. 양쪽으로 업로드 하게 하면 학생들이 번거로워 할 것 같음.

흥미로운 점: 피드백 보조 결과가 코스웨어나 교육데이터 통계 사이트의 대시보드처럼 제시가 되어 과제별로 누적되면 학생 상담 또는 성적 처리에 도움이 될 것 같음.

건의사항: 이미지 파일 이외 다양한 형식을 지원해야 할 것 같고, 평가 기준을 오픈 형식의 주관식으로 작성하는 것이 아니라 기본 형식을 주고 점수 배점을 각각 다르게 하여 정교한 평가가 되도록 했으면 함. 특정 클래스를 활용하여 평가를 하고 있는 교사의 경우 연동되어 사용할 수 있고, 그 결과가 클래스 상에서 공유가 되도록 하면 좋겠음.

특목고등학교 뉴미디어디자인과 학생들의 전공 교사로 디자인 포트폴리오 제작 수업과 취업 업무를 맡고 있어 학생들의 포트폴리오 평가 및 피드백 업무로 할애하는 시간이 많다.

제가 시간을 오랫동안 들여 프로젝트 결과물을 확인하기 전에 초안을 받아보는 느낌으로 활용하여 약간 시간이 줄어든 것 같았다.

일반 교과목보다 평가기준이 명확하지 않은 부분이 있고 특수성이 있는 교과여서 정확한 평가가 이루어질 수 있을지, 학생 개개인별 지원하는 회사에 맞춘 포트폴리오 제작을 위한 개인 맞춤형 피드백이 가능할지 의문이다.

인문교과 교사들, 여러 학급에서 수업하는 교사들에게 매우 유용할 것 같다. 특히나 텍스트 기반의 프로젝트 평가에 유용할 것 같은데 수행평가 뿐만 아니라 지필고사 주관식 문제 채점에도 활용할 수 있지 궁금하다.

나만의 배경: 한 프로젝트에서 학생 1명당 1개의 결과물을 제출한다고 했을 때 5반 이상을 들어간다고 하면 거의 140개 정도의 결과물을 보고 피드백을 작서해야하는 상황이다. 이때 평가 기준이 흔들리면 안되고, 동일하게 평가해야 하는데 비슷한 결과물을 두고 가끔 다른 평가가 나올 때가 있어 다시 확인해야 하는 경우가 있다. 또한 프로젝트가 1개가 아니기 때문에 굉장히 많은 시간이 소요된다. 이런 상황에서 평가 피드백 보조 기능이 제공된다고 하여 사용해보게 되었다.

긍정적인 점: 1) 교사가 제공한 평가 기준을 바탕으로 객관적인 평가를 할 수 있다. 2) 평가를 하나의 파일로 모아서 비교하며 볼 수 있다. 3)과제를 제출하는 것과 평가가 한 사이트에서 이루어지기 때문에 학생들이 제출한 것을 따로 교사가 모아서 평가해야 하는 번거로움이 줄어든다.

우려되는 점: 1) 하나의 이미지인 포스터 형태가 아니라 PPT형태인 경우 PPT 한 페이지마다 평가가 이루어진다. PPT 전체 페이지에 대한 평가가 이루어지면 좋을 것 같다. 2) 요구하는 평가 기준에 따른 평가가 이루어지지 않는다. (목차에 대해서는 과학적인 분석이 잘 이루어졌다고 평가하고, 피해 원인을 적은 페이지는 부족하다고 평가함), 3) 출처를 평가 기준으로 넣었는데 이를 어떻게 평가한 것인지 모르겠음(출처가 없어도 있다고, 출처가 있어도 없다고 평가함) 이러한 부분은 아직 미흡한 것 같음.

흥미로운 점: 학생의 과제를 다양한 측면에서 평가하여 이미지로 나타나 좋았다. 만약 같은 학생이 여러 과제를 제출한다면, 제출한 과제들을 바탕으로 학생의 총괄적인 평가가 함께 나온다면 더욱 좋을 것 같다.

나만의 배경: 평소 생산 문서가 많음

긍정적인 점: 업무 인수 인계 시 업무포털에서 기안문 일괄 다운로드는 가능하지만 폴더별로 분류는 되지 않아 불편했는데, 실증해보니 자동으로 폴더 형성 및 첨부파일까지 저장이 되어 편리함. 과제카드별 분류도 되어 좋음

우려되는 점: 월 평균 생산문서가 약 20개 정도 될 정도로 많지만 대부분 일과운영관리에 편철되는 업무를 맡고 있는 관계로(연구부장) 오히려 월별 생산 문서 또는 생산문서 키워드 추출을 통한 분류 방법이 더 적합하다고 생각함. 연초에 연구부장을 대상으로 강의할 때도 월별 업무로 분류하여 설명하고, 자료는 업무별로 폴더를 생산하여 공유하였음. 가능하다면 과제카드별 또는 월별 또는 업무 키워드별 분류를 선택할 수 있도록 하여 분류되면 정말 좋을 것 같음.

흥미로운 점: 학년말에 업무 인수인계를 할 때 학교를 옮기는 경우 인수인계 자체가 굉장히 번거롭고 시간이 많이 들어서 대충하는 경우가 많은데, 이 프로그램이 제대로 구현된다면 인수인계의 정확성을 많이 높일 수 있을 것 같음.

건의 사항

가. 인수자 이외의 사람이 등록대장에 접근하여 리포트를 생성하면 좋겠음.(담당자가 타학교로 간 경우가 많음)

나. 공람 문서에도 접근 가능하면 좋겠음. 타 부서와 업무 협조를 하는 경우가 많음.

종합 의견

이 연구에 대해 현장의 관리자 또는 다른 선생님들의 반응이 긍정적이었음. 현재 프로토타입이지만 정교화되고 많은 기능이 추가되어 담당자간의 인수인계 뿐만 아니라 어떤 업무에 관하여 전체 흐름을 알고 싶어하는 경우에도 활용할 수 있으면 좋을 것 같음.

전공 관련 업무, 담임, 취업 업무를 주로 맡고 있어 공문 작성을 많이하지 않는다.

공문 작성을 많이 하는 업무에서 활용하면 매우 유용할 것 같다. 요약표로 정리해주는 기능과 폴더/파일 정리해주는 기능이 좋다.

과제 카드별 분류를 선생님들이 제대로 잘 하지 않는다는 점....?

에듀파인 연계기안 예산 항목과 예산 내역을 정리해주는 기능도 있으면 좋지 않을까 하는 생각이 들었다. 올해 교내 졸업 전시회 업무를 처음 맡았는데 큰 행사여서 여기저기서 예산을 끌어와 한 행사를 진행하는데 약 5천만원 정도를 지출하였다. 업무인수인계를 생각했을 때 우리 학교 같은 경우에는 한가지 큰 행사를 몇천만원씩 예산을 쓰는 경우가 많아서 정해진 예산 항목 내에서만 사용하지 않는 경우가 많아 올해 업무 수행자가 작년에 어떤 예산을 얼만큼씩 사용했는지 모르는 경우가 많아서 예산 항목별 예산 내역을 정리하는 기능과 행사별 예산 내역을 정리하는 기능을 같이 제공하는 등 사용자의 니즈에 맞춰 다양한 카테고리를 설정하여 정보를 검색하고 분류할 수 있는 기능이 있으면 좋겠다.

(이야기 도중 나왔던 과제카드별 분류/사용자명 분류처럼 말이다.)

프로토타입 평가에 대한 나만의 배경(맥락)

- 고등학교 1학년 수학교사. 문제해결형 수행평가 실시. 학습한 내용에 맞는 풀이과정이 작성되었는지와 정답의 정확도를 평가

프로토타입의 긍정적인 점(P)

- 기존 인공지능 챗봇에게 직접 이미지파일과 프롬프트를 입력해야 가능했던 채점 및 피드백을 간단한 인터페이스로 구현한 점이 편의성 측면에서 좋았음. 특히 다른 플랫폼이나 직접 제출의 과정을 거쳐 학생들의 산출물을 교사가 받아 챗봇에 입력해야하는 수고로움을 학생들이 직접 제출할 수 있는 형식으로 구현한 점이 좋았음.

프로토타입의 우려되는 점(M)

- 초기화면에서 타이틀이 없는 상태로 교사와 학생들의 인터페이스가 한 화면에 있어 혼동을 초래할 가능성이 있음. 상단은 학생 과제 제출, 하단은 선생님 메뉴와 같이 타이틀을 달아 처음 사용자들이 혼동을 겪지 않게 했으면 함. 또는 따로 분리하는 것도 좋은 방법이라고 생각함. 학생들의 경우 로그인이 생활화되어 있는 경우 하단 교사메뉴 부분에 로그인을 시도할 가능성도 있음. 그럴경우 과제 제출을 하기 어려울 수 있을 것 같음. 제출방식의 경우 이미지뿐 아니라 텍스트 형식으로의 제출도 같이 받을 수 있었으면 함. 텍스트형식의 과제의 경우 굳이 학생들이 자신이 작성한 글을 사진을 찍어 올릴 필요 없이 직접 입력하여 제출하는 것을 선호할 수 있음. 수학 문항의 채점에 있어서는 학생의 틀린 부분이나 오류를 잡아내지 못하는 경우가 많아 활용이 현 수준에서는 활용이 어려울 것으로 보임. 평가결과에서 보이는 창의성, 가독성, 논리성, 완성도, 분량의 경우 실제 교사의 평가기준과 다를 것으로 보여 5각형 평가의 임팩트는 있으나 활용도가 매우 떨어짐. 때문에 나중 나오는 학생 입력과 피드백이 우선도가 높음.

프로토타입의 흥미로운 점(I)

- 평가 기준에 따라 피드백이 적절하고 간결하게 잘 제공됨.

종합 의견

- 간결한 인터페이스는 유지한 상태로 발전시켜나가면 실제 활용도도 높아질 것으로 생각함. 입력값을 추가할 때는 필수로 하지 말고 선택 입력값으로 추가해 사용시 교사들의 피로도를 줄이는 것을 추천. 평가기준 뿐 아니라 성취기준 등을 추가할 수도 있고 총점, 점수들의 급감, 감점하는 경우들을 포함할 수 있게 하면 보다 정교한 채점이 가능해질 것으로 예상

나만의 배경: 평소 대회나 행사와 같은 기안을 처리하지만 그 중 특정 행사는 가통으로 처리해야 한다.

긍정적인 점: 1) 월별 해야할 일 제공. 새로운 업무를 맡게 될 경우 해야하는 일을 인수인계 받더라도 어떤 시기에 무엇을 해야하는지 파악하기 어렵다. 업무 리포트 생성 기능을 이용한다면 예를 들어 9월 달에 '과학 캠프'를 진행하기 위해 7월 달에 미리 운영 계획, 강사비와 재료비 품의를 올리고, 8월달에 참여 명단 기안을 올린다는 등 시기에 따른 단계적 절차를 파악하기 쉬워 도움이 될 것이다. 2) 처리해야 할 문서의 과제카드 분려라던가 결제 경로 등을 따로 작년도 문서를 하나하나 찾아보지 않고, 엑셀 시트나 파일을 통해 빠르게 찾아볼 수 있다.

우려되는 점: 1) 만약 전임자가 실수나 오류를 행했을 경우 그대로 같은 실수를 범할 수 있음. (예- 대회같은 경우 결재 경로에서 담당자를 협조에서 빼놓아 재 기안한 경우.) 2) 개인정보 노출 가능성. 교사가 하나하나 확인하고 삭제한다면 약간은 번거로울 것 같다. 자동으로 이름이나 번호같은 것을 모자이크화 하는 기능이 도입된다면 더욱 편리하지 않을까 싶다. 3) 부서간 업무 조정이나 부서의 통폐합 등으로 같은 자리더라도 업무가 조정될 수 잇음. 이 경우 각 업무에 해당하는 전임자의 파일을 받아야 하는 것인지..?

&5. 1) 인수인계를 위한 파일을 만드는 것이 사소하지만 번거로운 일이다. 만약 이 프로그램이 보급된다면 교사입장에서 편리할 것 같다. (전임자가 인수인계에서 빼놓는 경우가 종종 있기 때문에 실수할 확률이 적어진다.) 2) 업무에 대한 전체적인 흐름을 빠르게 파악하고 찾아볼 수 있어 신규 교사나 저경력 교사에게 매우 유용할 것 같다.

과목별세부능력특기사항의 경우 프롬프트를 입력해줬으면 좋겠다. 수업 모형별, 과목별, 평가 방법별 등

행동특성 및 누가기록의 경우

만약 교사가 누가 기록을 성실히 입력한다고 하면 누가 기록을 바탕으로 글을 만들어줬으면 좋겠다. 누가 기록을 작성하는 란을 UX/UI로 만들어주었으면 좋겠다.

사용하는 교사가 이전에 사용했던 문체를 반영할 수 있도록 레퍼런스 파일을 업로드할 수 있는 란을 별도로 만들어 주었으면 좋겠다.

프로토타입 평가에 대한 나만의 배경(맥락)

- 고등학교 학교생활기록부 및 나이스 담당 교사. 점검관련 교육청 보고 문서, 학교 자체 연수 등 업무를 기안

프로토타입의 긍정적인 점(P)

- 업무 인수인계용 자료를 거의 자동으로 생성해주는 부분이 인상적임. 특히 공문을 복사해서 사용하기가 상당히 어려운 부분이 있는데 엑셀로 작성해준다면 복사 및 붙여넣기가 편리해져 인수자가 편하게 공문을 작성할 수 있을 것으로 보임.

프로토타입의 우려되는 점(M)

- 시연된 기능만으로는 상용화하기에 기능이 매우 부족함. 첨부문서는 제목만 정리해주며 인계자가 기안한 문서뿐 아니라 업무에는 참고해야할 다양한 문서들이 있기에 수집이 어려울 것으로 보임. 또한 과제카드를 활용하는 측면에서 업무자가 과제카드 분류를 잘못하거나 여러개에 걸쳐 해놓은 경향도 있을 것으로 보임. 이에 따라 수집된 정보가 정교하지 않을 수 있음.

프로토타입의 흥미로운 점(I)

- 자동으로 업무포털을 분석해주는 것은 개인적으로 꿈꿔왔던 기능임. 이를 잘 활용하면 단순 업무 인수인계뿐 아니라 다른 용도로도 해당 프로그램을 활용할 수 있을 것으로 생각함. 그러면 보다 제품의 경쟁력과 매력을 높일 것으로 보임.

종합 의견

- 많은 교사들이 꿈꿔왔지만 지금까지 만들어지지 못한 프로그램인데는 이유가 있을 것이라고 생각함. 학교마다, 사람마다 천차만별인 환경 속에서 해당 프로그램이 경쟁력을 확보하려면 범용성과 편의성을 확보하는 것이 중요할 것으로 생각함. 수없이 쏟아지는 공문 속에서 설정해둔 옵션에 따라 관심가거나 필요한 공문만 정리해준다든지(개인별 맞춤화 크롤링), 에듀테크와 관련된 공문만 모아준다든지 등 활용가능성을 확대하는 것도 고려해보면 좋을 것 같음.

공문의 형식을 자동으로 입력해주는 보조도구 : FGI결과에도 있지만 공문 작성시 교사들은 기존 형식을 답습하거나 검색을 통해 그 형식을 확인하고 작성하는 경우가 많음. 공문 작성 가이드라인이 있음에도 교사별로 공문이 제각각인 이유이기도 함. 공문 작성 보조도구가 있어 예산 기안 양식, 행사 보고 양식 등을 기본 제공한다면 편리하게 사용할 것으로 생각함. 여기에 인공지능 기능을 활용해서 내용을 줄글 형식으로 제공하면 알아서 공문에 맞게 작성해주면 좋을 것 같음. 교사는 인공지능의 초안에 약간의 수정만으로 공문을 손쉽게 작성할 수 있을 것으로 기대함.