LLM을 업무에 붙이기 전에 정해야 하는 세 가지

어디에 쓸지보다 어디에 쓰지 않을지를 먼저 정하는 편이 빠릅니다. 정비·정산처럼 숫자가 확정되는 업무에 AI를 붙일 때의 기준을 정리했습니다.

"AI를 어디에 쓸 수 있을까"로 시작하면 후보가 끝없이 나오고, 대부분 데모까지만 갑니다. 저희가 실제로 진도를 낸 순서는 반대였습니다. 쓰지 않을 곳을 먼저 정하고, 남은 곳에서 가장 지루한 일을 골랐습니다.

1. 쓰지 않을 곳을 먼저 정한다

언어 모델은 그럴듯한 문장을 만드는 데 강하고, 값이 정확히 하나로 확정되어야 하는 일에는 약합니다. 정비 견적 금액, 부품 소요량, 정산 합계가 그렇습니다. 99%가 맞는 정산은 틀린 정산입니다.

그래서 기준을 이렇게 잡았습니다.

• 결과가 금액·수량으로 확정되는 계산 → 코드로. 모델에 맡기지 않습니다.
• 권한·승인 판정 → 코드로. 규칙이 설명 가능해야 합니다.
• 흩어진 텍스트를 정리·분류·요약하는 일 → 모델이 잘하는 영역입니다.
• 형식이 제각각인 문서에서 항목을 뽑아내는 일 → 모델이 잘하지만 검증이 필요합니다.

“틀렸을 때 누가 어떻게 알아채는가”에 답할 수 없으면, 그 자리에는 아직 붙이지 않습니다.

2. 모델보다 입력 구조를 먼저 정리한다

흔한 순서는 모델을 고르고, 성능이 안 나오면 검색 증강(RAG)을 붙이고, 그래도 안 되면 미세조정을 검토하는 것입니다. 실제로 효과가 컸던 것은 그 앞 단계였습니다. 입력 데이터를 사람이 봐도 헷갈리지 않는 형태로 정리하는 일입니다.

예를 들어 검수 항목이 담당자마다 표현이 다르면, 그 데이터를 아무리 잘 검색해 와도 모델이 같은 항목인지 판단하기 어렵습니다. 항목을 표준 체크리스트로 고정하면 모델에 넣기 전에 이미 문제의 절반이 사라집니다.

데이터가 정리되지 않은 상태에서 모델을 붙이면, 모델이 데이터의 혼란을 자연어로 매끄럽게 덮어 줍니다. 그게 가장 위험한 상태입니다. 틀렸는데 읽기 좋으니까요.

3. 출력을 검증 가능한 형태로 받는다

자유 문장으로 답을 받으면 검증할 수 없습니다. 답의 형태를 미리 정해 두고 그 형태로만 받으면, 형식이 맞는지 기계적으로 확인할 수 있고 틀렸을 때 다시 요청할 수 있습니다.

여기에 두 가지를 덧붙입니다. 첫째, 모델이 "모르겠다"고 답할 수 있는 선택지를 반드시 남깁니다. 그 선택지가 없으면 모델은 확신 있는 오답을 만듭니다. 둘째, 근거를 함께 반환하게 합니다. 원문의 어느 부분에서 뽑았는지 알 수 있으면 사람이 확인하는 시간이 크게 줄어듭니다.

그래서 어디서부터 시작하는가

저희가 보는 첫 후보는 화려한 예측이 아니라 기록 정리입니다. 상담 내용을 요약해 이력에 남기는 일, 형식이 다른 문서에서 항목을 뽑아 입력 화면을 미리 채워 주는 일. 틀려도 사람이 바로 알아채고, 맞으면 매일 반복되는 타이핑이 줄어드는 종류의 일입니다.

반대로 사진으로 손상 여부를 판정하거나 재입고 위험을 예측하는 것처럼 판단을 대신하는 영역은, 판단의 근거를 사람에게 보여줄 수 있게 된 뒤에 검토하려고 합니다. 정비는 결과에 책임이 따르는 일이고, 책임을 지려면 설명할 수 있어야 합니다.