[한이음 드림업(구.ICT멘토링)]2025 ICT드림업 공모전을 마무리하면서----.

 

주제 선정

1년간 큰 공모전을 준비하면서 많은 일이 있었다. 

주제를 찾는 것부터가 일이었는데, 이거다!! 하는 주제를 찾기위해서 몇달간 nn번의 주제를 찾아보고, 3번정도 주제를 엎었던 것 같다.

주제가 된장 레시피 제작 부터 ~ LLM과 RAG를 이용한 도슨트 서비스가 되기까지 nnn번의 회의를 진행했다. 

공모전은 주제가 거의 반이고 주제를 정말 깊이있게 고민을 해보는 경험이었다. 솔직히 개발보다도 주제를 잡는게 너무 어려웠다.

 

팀 빌딩

우리팀은 프론트1, 백엔드 모델 3, 하드웨어 모델1 로 팀이 구성되어있다.

우리 5명의 팀은 드림업이 맺어준 인연이다.

 

2023년 한이음이라는 공모전을 알게 되고, 학교 커뮤니티에서 백엔드 3명이 모였다. 임산부 좌석 알림 서비스를 기획했는데, 아쉽게 신청단계에서 떨어져서 그 이후부터 셋이서 토이 프로젝트를 진행하고, 2년동안 알차게 학교 활동을 했다. 

 

프론트1명은 2024년에 ICT프로보노 프로젝트에서 처음 만났다.

작년에는 지적장애아동을 위한 인터렉티브 수업 제작 플랫폼을 주제로 프로젝트를 진행했다. 아쉽게 2차는 붙지 못했지만 새로운 기술들도 많이 써보고 논문을 작성하는 법도 알게되었다. 또한 공모전의 전체적인 시퀀스를 겪어어보니 어떻게 드림업을 공략해야 할 지 알 것 같았다.

 

하드웨어 팀원은 이번 프로젝트로 만나게됐다.

이렇게 5명이 드림업(구 한이음)의 인연으로 모이게 됐다고도 할 수 있겠다.(ㄷㅂ)

개발

처음 사용해보는 기술들이고, 방향을 어떻게 잡아야 할 지 고민이 많았다.

그림 정보를 api로 가져오는 것 부터~ 객체별로 인식/저장 ~ 그림설명과 객체 매칭 ~ 시선 트래킹 ~ 하드웨어 개발 ~ 아이웨어 제작까지

이 많은 것들을 했어야 했는데 다 해본 적이 없는 기술들이라 인터넷에 있는 모든 api, 모델들은 다 써본 것 같다.

이런저런 많은 모델들을 사용해봤는데 우리 프로젝트에 바로 적용할 만한 것들은 없고 그냥 잘 안됐다.

 

llm은 ollama, gemini, gpt 다 써보고 골랐는데 처음에는 비용이슈로 무료 ollama, gemini써봤는데 역시 gpt를 이길 수는 없다.

무조건 그냥 바로 gpt를 쓰는 것을 추천한다.

 

시선 인식도 github에 있는 아이트래킹 모델들도 다 써봤지만 우리 프로젝트에 딱 맞는 게 없어서 그냥 직접 만들 수 밖에 없었다.

opencv에서 제공하는 시선트래킹도 한쪽 눈으로는 잘 안되고.... 거리와 동공으로 캘리브레이션 해서 시선 파악하는 모델도 움직이면서 하는 우리의 프로젝트에는 정확도가 너무나 떨어졌다. 이런저런 시행착오를 정말정말정말 많이 겼었지만 그래도 점점 하나씩 구현해가는 재미도 있었다.

 

정말 어디서든 개발을 했는데, 졸프실, 도서관 스터디룸, 카페, 야외 테라스, 학교 영근터 학교의 온 곳을 돌아다니며 개발을 한 것 같다. 

 

1차 공모전

중간에 개발 마감을 지키기 위해 자체 해커톤도 진행했다. 개발 계획에 기능을 기간에 구현 못 하면 디데이 해커톤을 하기로 잡아놓으니까 미리미리 열심히 하게 됐던 것 같다. 그래도 결국 해커톤이 개최되긴했지만-----. 조용한 졸프실에 우리끼리 밤을 새니 몸은 힘들었지만 뿌듯하고 재미도 있었다. 1분짜리 공모전 영상을 만들면서 팀원들이 편집할때, 누끼까지 따면서 만든 걸 보면서 정말 대단하고 이런 팀원이 있어서 든든한 마음이 들었고, 모두 뭘 하든 열심히 해줘서 너무 고마웠다. 

 

2차 공모전

2차 공모전에 감사하게도 붙으며 더욱 바쁜 생활을 하게됐다. 주요 개발도 마무리하고, 우선순위가 2순위인 기능들도 전부 개발해서 전체적인 완성도를 높였다. 한 가지 큰 문제가 있었는데, 바로 하드웨어를 바꾸게 된 것이다. 라즈베리파이에서 모델을 api로 돌리고 카메라 2대를 연결했는데, 라즈베리파이 사양이 안 좋아서 그런지 좋은 카메라를 연결해도 화질이 너무 깨지는 문제점이 생겼다. 그래서 젯슨 나노를 구입해서 OS 설치부터 다시 하게됐다. 이 부분은 하드웨어 팀원이 맡았는데 처음 해보는 것이기도 하고, 하나 할 때마다 문제가 생겨서 힘들어 하는 모습을 보고 마음이 안 좋았지만, 결국 하나하나 해결해 나가는 모습을 보고 대단하고 멋있다고 생각이 들었다. 우리 팀원들 최고야 정말

 

스마트 아이웨어도 3D로 다시 프린팅했다. 기존에는 아이웨어 옆 테가 너무 길어서 착용하기 어려웠는데 이 부분을 보완하고, 사이즈를 전체적으로 줄여 다시 프린팅했다. 그리고 착용 시 무게를 줄이기 위해서 하드웨어는 허리춤에 차는 걸로 바꾸고 카메라 2대는 플라스틱 케이스를 벗겨냈다. 2차 공모전 전날에 학교 작업실에서 드라이버로 분해해서 다시 붙이고 시선 추적용 led조명도 톱으로 잘라내면서 3년치 미세 플라스틱을 다 먹은 것 같았다. 이렇게 모든 장비의 무게를 줄여 최종 스마트 아이웨어가 만들어졌다.

 

2차 공모전을 준비하면서 한가지 웃픈 에피소드가 있었는데, 개발보고서 파일이 날아간 사건이다... 한컴독스에 파일을 올리고 5명이서 공동 작업을 했는데, 어느 날 손상된 파일이라며 파일이 날라갔다. 앱으로 다운도 받아보고 고객센터에 문의도 해봤지만.. 당장 해결할 수 없었다. 다행히 팀원이 전날 버전으로 pdf로 다운받은 게 있어서 이걸 보고 다시 작성하면서 하루를 보냈던 기억이 인상깊다. 그래서 2차 공모전 준비할 때는 (yyyy.MM.DD)_n차 수정본 파일명으로 작업하는데, 막 17차까지 수정되는데, 항상 백업을 생활화해야 한다고 생각했다.

 

발표 전날에는 살짝 갈등이 있었다. 우리 팀은 단 한번도 갈등이 없었는데 전날 발표 피드백을 받고 토론을 하게됐다. 멘토님이 발표가 조금 딱딱하고 ppt 구성을 수정하면 좋겠다는 피드백이 있었다. 그런데 당장 내일 발표이고 밤 10시 정도여서 어떻게 할 지 토론을 엄청 하다가 두 의견을 절충하기로 결정했다. ppt는 피드백을 반영하여 수정하고, 시연도 경험이 들어가서 공감을 얻을 수 있게 말투 정도 수정을 하게 됐다. 비록 전날에 갑작스러운 수정이었지만 수정을 함으로써 더 좋은 발표가 된 것 같다고 생각한다. 이렇게 수정된 내용을 적용하는데도 부담이 컸을텐데 잘 해준 발표자 정말 멋지다! 

 

마지막으로 발표날이 되어 준비한 모든 것을 보여줬다. 준비한 만큼 발표를 잘 해줬고, 시연도 성공적으로 마무리됐다. 심사위원 질문이 조금 예상 밖의 내용이라 당황스러웠지만 그때는 최선을 다해서 답을 했다. 틈틈히 서비스 코드 다시 훑어보고 질문 리스트를 만들어 숙지 했기 때문에 당황스웠지만 어느정도 커버가 가능했고 준비한 만큼 보여줬다!

 

1년간 프로젝트 진행하면서 우여곡절이 정말 많았는데 차근차근 이겨내고 함께 즐겁게 프로젝트 해 온 팀원들 정말 고맙고 고생 많았어💕

 

쇼츠 공모전

드림업 공모전 외에도 여러 이벤트를 많이 하는데, 숫자로 표현하는 공모전이랑, 쇼츠 제작 공모전에 참여했다. 쇼츠는 요즘 유행하는 릴스에 맞춰 제작했는데 킨텍스에서 2차가 진행된다고 하니 너무 기대되고 꼭 대상을 타고 싶다. 프로젝트를 하면서 웃긴 에피소드들, 개발하면서 일상의 모습을 담은 쇼츠를 만들었다. 팀원들과 개발뿐만 아니라 학교 활동들도 같이 참여하면서 즐거웠다.

 

기타

2차 발표때 입을 후드티도 제작하고 커스텀 뱃지도 제작해서 달고가고 팀 사진도 찍고 재밌었다 ㅎㅎ

 

코엑스로 짐 옮기기 위해 전날 비오는날 그림 2점을 옮기는데 너무 힘들고 웃겼다. 두사람이 그림이 담긴 박스를 양 옆에서 들고 한명이 우산 두개를 씌워주는 해괴해보이는 자세로 이동했는데 그 덕분에 그림은 멀쩡했지만 양 옆의 두 사람은 촉촉하게 집에 돌아올 수 있었다.