설탕빵의 설탕공방다들 오늘 열심히 멘토링 한거 같은데
우리 멘토님들도 소개하겠다.
부대권 멘토님
MLOps/AI 엔지니어
AI 인프라 구성 측면부터 웹 개발에 대한 이해까지 되게 다양한 범위의 경험을 가지심
정소라 멘토님
우리 웜업데이에 사회 봐주신분
AI 기업에서 전략과 기획을 담당해온 AI 기획자
내용중에 공유하면 좋을만한 내용을 우선으로 공유하겠다.
부대권 멘토님 멘토링
MLOps 엔지니어는 어떤 역량/경험을 보유해야 하는가?
일단 DevOps와 결이 비슷하다.
다만 우린 GPU가 자원이기에 GPU 연결 및 활용과 관련 툴을 다룰 줄 알면 좋다.
인프라적인 부분에서 모델이 올라갈때 VRAM, 성능, 각 매개변수 변경시 어떤 영향을 끼치는지 등의 기본적인 내용을 알고 있어야 한다.
멘토님은 별도로 모델 학습을 직접 해보는걸 추천하는데,
GPU를 병렬로 멀티 GPU 환경 구성과 학습 경험을 쌓는것을 추천했다.
결국 GPU 써보고, LLM 학습해보고 추론 인자 조절해보고
devOps관련 도커와 쿠버네티스 관련 이해가 있어야 한다.
AI 엔지니어가 아닌 웹 개발자가 AI 역량을 키우는 방법
이쪽도 DevOps 관점에서 인프라 경험이 추천된다.
다만 우리의 도메인이 웹이라면 LLM과의 상호작용을 많이 다룰 것이다.
지금 모델 가져다가 장기 기억이나 에이전트 이것저것 붙여보는 등, 이러한 역량이 도움이 된다는 것이다.
AI 사이드 프로젝트 방법
사이드 프로젝트에서 LLM API 가져다 쓰는거에 대해서 두려움을 느낄 필요가 없다.
어차피 우리 사이트 이용하는 사람도 적을 것이고,
사실 토큰을 암만 써봐도 너무 과도하게 프롬프트 구성하는게 아니라면 다 쓰기 어렵다
그러니 토큰 쓰는 거에 대해서 너무 비용적인 걱정 하지 말고 가져다 써라
참고로 보안은 신경써야한다 무한 API 호출로 거덜나는 수가 있으니
서비스의 차별성에 대해
사실 우리가 기술이 있나, 데이터가 있나, 특수 도메인(이건 잘 하면 있겠지만)이 있는가
뭐도 없는데 차별성을 어케 만들꺼냐 라는 질문에서
답은 "에이전트"다.
시스템에서 질문을 단순히 던지는게 아니라,
질문에 대한 판단, 분류 에이전트
분류한 기반으로 가져오는 에이전트
취합해서 답변 검사하는 에이전트 등등...
시스템을 품질 측면에서 고도화 하기 위한 다양한 에이전트 들이 차별성이 될 수 있다.
파인 튜닝시 주의사항
베이스 모델 = 테라 바이트로 학습
우리 데이터 = 몇 MB 안됨
에폭 높이면서 튜닝하면? 오버피팅 미친듯이 올라감
즉 파인 튜닝 하려면 기가 급 데이터는 가지고 와야하는데 가능?
난 잘 모르겠다.
차라리 퓨샷이나 프롬프트나 투자하자
정소라 멘토님
솔찍히 내가 이분의 멘토링을 온전히 소화하지는 못했다.
그래서 조심스럽긴 하지만 일단 내용을 작성해보겠다.
AI 서비스 차별성 어떻게 가져가는가
서비스에 대한 분류가 되야한다.
순수 AI 서비스냐,(당연히 빡세겠지? GPT가 버티고 있다)
일반 서비스에 AI를 붙이느냐
태생적으로 AI 기술만 가지고 뭘 하려하면 어렵다.
좀 니치한 시장을 찾는게 더 나을 것이다.
이미 고객이 있고 AI를 붙이는 상황에는 좀더 희망적이다.
하지만 이때도 개인의 재량과 운에 영역인데,
멘토링님 경험으로는 분석하고 시장에 다 올린게 성공하는건 아니고,
때로는 수요 없으면 망하기도 한다.
일단 차별성 자체는 나중에 가져갈수도 있다.
마치 우리 머니몽 프로젝트가 단순한 리포트 분석 AI 하고 있는데,
만들어 나가는 과정에서 차별화를 따로 붙이려고 하듯이
여기까지 글 읽었으면 뭔가 어? 내용이 빠진건가,
뭔가 어색한데를 느끼셨으면 정답이다.
어쩌겠는가 내가 소화를 못했는데
기획이란 어떻게 익혀야하는가
결국 남에거 듣는게 좋다
멘토님은 세미나 중에서 베스트 프렉티스(기술을 어떻게 접목하고 성공했는가에 대한 강의)를 주로 듣는데,
MS 이그나티으 같은데 보면 기업의 문제를 어떻게 해결했는지에 대해 되게 다양하게 다룬다
내가 가고자 하는 도메인에 대한 인사이트를 찾아 듣기를 권장한다.
개인의 퍼스널 브랜딩
AI 시대 우리 대체되면 어케 살아남음? 관점에서 질문 드렸는데
굉장히 중요하시다고 한다.
특히나 우리가 취직하려면 면접도 보는게 그게 바로 퍼스널 브랜딩에 핵심이다.
우리의 경력을 하나의 일관된 스토리로 어떻게 이야기 할 것인가.
각각의 경험에 대해서 어떻게 인사이트를 얻었는지를 내가 잘 정리해야한다는 것이다.
하나의 줄글로 이야기 못하면, 아무것도 안된다
나만 아는 경험은 내 몸값에 도움이 안된다.
중학생이 들어도 내가 무슨 '대단한' 일을 했는지 알릴 수 있게 연습해라
혼자 힘들면 한번 정리해서 하나씩 AI 넣고 돌리는 것도 추천한다.
참고로 AI는 졸라 뻥튀기를 잘 해주는데, 문제는 면접이 아주 딥하다는 것이다.(물론 운빨이지만)
대충 또는 가라로 준비하면 아주 개 털릴 수 있다는 말이다.
(꼬리 물기 질문 기억하시죠?)
구글폼으로 수요 조사좀 해라
이거 여기저기 멘토링에서 제법 공통적으로 나온거 같은데,
결국 우리 프로젝트를 어떻게 팬시하게 홍보할 것인가.
어떻게 남길것인가가 중요하다.
구글폼 돌리는게 어렵지도 않고,
작은 데이터인데 프로젝트 기획의 타당성을 확보하는데 도움이 된다는 것이다.
우리 중간 발표도 해야하는데
수요조사 하고 싶으면 일단 생성형 AI 김윤교한테 주십시오
성실하게 답변 드립니다.