9장. AI 파이프라인 운영과 책임
AI 결과의 출처와 버전 관리, 처리량과 비용 산정, 개인정보·권리 문제, 생성형 AI의 환각과 프롬프트 인젝션 대응, 단계적 도입 로드맵을 실제 실험 결과와 함께 다룹니다.
8장에서 AI 기술을 한 단계씩 돌려 보았다면, 이 장은 그것을 운영 시스템에 올릴 때 생기는 문제를 다룹니다. 데모는 잘 돌아가는데 운영에서 무너지는 이유는 대개 모델이 아니라 아래 같은 주변 문제입니다.
- 같은 영상을 다시 분석했더니 결과가 달라졌는데 무엇이 바뀐 것인지 알 수 없다
- 1,000시간 분량을 분석하려니 얼마나 걸리고 얼마가 드는지 모른다
- 분석 결과 안에 개인정보가 들어 있고, 외부 서비스로 나가고 있다
- 영상 속 자막이 AI에게 명령을 내려도 막을 방법이 없다
- 어디서부터 어디까지 자동으로 믿어도 되는지 기준이 없다
이 장의 글은 같은 환경(윈도우 PC, 로컬 qwen3.8:27b)에서 직접 측정하거나 실행한 결과를 바탕으로 합니다. 측정값은 그 환경의 값이며, 비용은 금액이 아니라 내 장비에서 재는 방법과 계산식으로 제시합니다.
- 9.1AI 결과의 출처와 버전 관리 - 같은 입력, 다른 결과모델 이름과 digest, 프롬프트 해시, 입력 해시를 결과와 함께 저장하는 SQLite 스키마와 코드, 프롬프트만 바꾼 두 번의 실행 결과를 SQL로 비교한 실험, 재처리와 사람 수정 보존 정책을 설명합니다.
- 9.2처리량과 비용 산정 - 내 장비에서 직접 재서 계산하기오디오·프레임 추출, 비전 모델, LLM의 실측 처리 시간을 바탕으로 샘플링 간격과 중복 제거가 전체 처리 시간에 미치는 영향을 계산하고, 로컬과 클라우드 선택 기준, 측정 절차와 큐 설계를 설명합니다.
- 9.3개인정보·초상권·저작권 - AI 분석에서 지켜야 할 것영상 AI 분석에서 생기는 개인정보와 권리 문제(얼굴·음성, 대본 속 식별 정보, 외부 전송, 파생 데이터 삭제)를 정리하고, 외부 전송 전 정형 개인정보를 가리는 코드와 그 한계를 실행 결과로 보여 줍니다.
- 9.4생성형 AI의 한계 - 환각, 프롬프트 인젝션, 검증 장치로컬 모델 실험에서 관찰한 환각 사례, 영상 자막에 심은 명령문(프롬프트 인젝션) 실험의 결과와 한계, 지시문 탐지 정규식이 놓친 사례, 출력 검증과 AI 생성 표시를 포함한 방어 설계를 설명합니다.
- 9.5도입 로드맵과 체크리스트 - 작게 시작해 검증하며 넓히기영상 AI를 MAM에 단계적으로 도입하는 순서(정답 세트, 오프라인 파일럿, 그림자 운영, 제한 공개, 확대)와 단계별 성공 기준, 기능별 도입 우선순위, 쓰지 말아야 할 경우, 8·9장 전체 체크리스트를 정리합니다.