최근에 핫한 직업인 생성형 AI엔지니어의 트렌드에 대해서 적어보고자 합니다. 인도 천재인 친구인데 인터뷰를 작년에 빅테크들 다 보고, OpenAI나 엔트로픽도 보고 잘나가는 친구와 나눈 대화를 정리해봤습니다.
단순히 '무엇을' 했는지에 집중하지 말고, '왜' 했는지를 먼저 설명해야 합니다.
많은 사람들이 프로젝트에서 '무엇을' 했는지에 대해서는 잘 설명하지만, '왜' 그 선택을 했는지는 간과하는 경우가 많습니다.
Gen AI는 머신러닝과 매우 유사하며, 결과보다는 프로세스 중심으로 평가됩니다. 특히나 Individual contributor 일 경우에는 프로세스에 대한 이해도가 중요합니다.
예를 들어, "우리는 최근에 어떠한 연구 프로젝트에서 선형회귀를 통해 90%의 정확도를 달성했습니다"라고 말할수 있습니다. 하지만 그결과는 데이터셋마다 결과가 바뀌기 때문에 이 회사에서는 필요가 없을수 있습니다.
결국 다음과 같은 질문에 답할 수 있어야 합니다:(밑의 질문은 그가 가장 많이 받은 질문의 예시입니다)
•
왜 벡터 DB를 선택했나요? (혹은 왜 사용하지 않았나요)
•
왜 파인튜닝 대신 RAG를 사용했나요? (반대의 경우도 동일)
•
왜 키워드 기반 검색 대신 하이브리드 검색을 선택했나요?
LLM(대규모 언어 모델)의 내부 동작을 이해하세요
LLM의 작동 원리를 이해하는 것이 중요합니다. 특히 어텐션 메커니즘과 토크나이저, 위치 인코딩(position encoding) 등 내부 구성 요소에 대한 최신 연구를 숙지하세요. 기본적인 연구의 이해 없이 활용만 하는 사람들은 그 깊이가 부족해질수 있습니다.
평가 지표에 대한 이해도는 필수입니다
프로덕션 수준의 LLM 사용 사례를 가진 경우에도 평가 데이터를 모르는 사람들이 많습니다. 평가는 단순히 RAGAS 점수뿐만 아니라 지연(latency), 처리량(throughput), 첫 토큰 생성 시간(time to first token), 쿼리당 비용(cost per query)을 포함해야 합니다.
전처리 과정에 대한 연습은 필수입니다
많은 사람들이 이 단계를 무시 하지만, 이는 Gen AI 프로젝트에서 가장 중요한 단계 중 하나입니다. 특히 큰 테이블, 차트, 그래프 등을 처리하는 방법을 알아야 합니다. 생성형 AI는 다양한 인풋을 처리하고 아웃풋을 낼수 있어야 하기 때문입니다.
LLM 파인튜닝은 중요한 기술입니다
대형 기술 회사의 몇몇 고위 관계자들과 대화한 결과, 시장 트렌드는 언어 모델 파인튜닝 쪽으로 이동하고 있습니다. 단순히 LoRA나 QLoRA를 이론적으로 배우는 것만이 아니라, 다음과 같은 질문에 답할 수 있어야 합니다:
•
얼마나 많은 데이터로 LLM을 튜닝했나요?
•
데이터를 어떻게 생성 관리 했나요?
•
GPU 크기 추정은 어떻게 했나요?
•
병렬 처리(parallelism) 기법은 어떻게 구현했나요?
LLM “시스템” 설계에 대한 이해
이 부분은 매우 중요합니다. LLM 엔지니어링은 전체 시스템의 일부일 뿐입니다. LLM 모델/에이전트뿐만 아니라 관측 및 모니터링(observability and monitoring), 스케일링(scaling), 비용 및 지연 최적화에도 집중하세요. 2025년에는 특히나 중요한 요소는 AI Agent 입니다. AI agent를 위한 다양한 수집형 기술들도 중요해질 가능성이 높습니다.
AI agent 관련해서 좋은 기사로는 구글에서 발표한 내용이 있습니다.
https://www.kaggle.com/whitepaper-agents
인터뷰에서 수십가지의 RAG 기법에 대해 질문받은 적은 없으니 너무 걱정하지 않으셔도 됩니다. 오히려 기본이 가장 중요한것 같습니다.