AI 데이터 R&D 프로젝트 기획 체크리스트는 데이터 파일을 잘 보관하는 문서가 아닙니다. 과제 제출 전부터 "이 데이터로 학습할 권리가 있는가", "이 모델 성능을 어떤 조건에서 평가할 것인가", "개인정보와 저작권 위험을 어떤 증거로 줄였는가", "컴퓨팅 비용과 실패 실험을 감당할 수 있는가"를 같은 표에서 결정하는 작업입니다. 일반 R&D 데이터 관리계획이 파일 생애주기와 연구기록을 다룬다면, 이 글은 AI 모델을 만들거나 평가하는 팀이 데이터셋 권리, 모델 평가, 개인정보 비식별화, 벤치마크 지표, 컴퓨팅 리소스 계획, 책임 있는 AI 증거를 제출 전 고정하는 데 집중합니다.
**빠른 결론**
AI 데이터 R&D는 "데이터가 있다"보다 "학습·검증·공개·재사용 권리가 구분되어 있고, 모델 평가가 실제 사용 조건과 연결되어 있으며, 개인정보 비식별화와 책임 있는 AI 증거가 검토 기록으로 남아 있다"가 더 중요합니다. 제출 전에는 데이터셋 권리표, 평가 지표표, 개인정보 처리표, 컴퓨팅 자원표, 책임 있는 AI 증거표를 따로 만든 뒤 하나의 의사결정 로그로 묶어야 합니다.
AI 데이터 R&D 프로젝트 기획 체크리스트는 데이터 보유량보다 사용 권리에서 시작합니다
AI 과제에서 가장 위험한 문장은 "공개 데이터와 자체 데이터를 활용한다"입니다. 공개 데이터라고 해서 모델 학습, 재배포, 상업적 실증, 논문 공개, 파생 데이터셋 공개가 모두 허용되는 것은 아닙니다. 한국저작권위원회의 생성형 AI 저작권 안내서는 AI 사업자와 이용자, 저작권자 관점에서 학습 단계와 산출물 단계의 쟁점을 구분해 안내합니다[S6]. AI-Hub의 인공지능 학습용 데이터 품질관리 가이드라인도 데이터 구축 과정에서 품질뿐 아니라 구축 절차와 데이터셋 관리가 필요하다는 전제를 둡니다[S5]. 따라서 과제 기획서에는 "데이터 출처"가 아니라 "권리별 사용 가능 범위"가 먼저 들어가야 합니다.
권리표는 최소 다섯 칸으로 나눕니다. 첫째, 원천 데이터의 출처와 수집 근거입니다. 자체 생성, 공동기관 제공, 공공 데이터, 구매 데이터, 크롤링 데이터, 고객 제공 데이터는 같은 줄에 놓으면 안 됩니다. 둘째, 학습 사용 권리입니다. 모델 학습에 쓸 수 있는지, 전처리한 파생본까지 쓸 수 있는지, 외부 클라우드에서 처리할 수 있는지 구분합니다. 셋째, 검증 사용 권리입니다. 테스트셋이나 벤치마크셋은 학습셋과 다르게 잠가야 하므로 접근자와 사용 목적을 별도로 적습니다. 넷째, 공개와 제출 범위입니다. 최종보고서, 논문, 특허, 데모, 오픈소스 저장소에 무엇을 공개할 수 있는지 판단합니다. 다섯째, 종료 후 재사용 권리입니다. 후속 R&D와 사업화에서 같은 데이터셋을 계속 쓸 수 있는지 확인합니다.
| 데이터셋 권리 항목 | 제출 전 확인 질문 | 남겨야 할 증거 |
|---|---|---|
| 수집 근거 | 누가 어떤 조건으로 데이터를 만들거나 제공했는가 | 계약서, 동의서, 이용약관 캡처, 출처 URL |
| 학습 사용 | 모델 학습과 전처리 파생본 생성이 허용되는가 | 라이선스 조건, 내부 검토 메모 |
| 검증 사용 | 테스트셋이 학습셋과 독립되어 있는가 | 분리 기준, 접근 권한, 샘플링 로그 |
| 공개 범위 | 논문·보고서·데모에 원자료나 예시를 보여 줄 수 있는가 | 공개 가능 필드표, 비공개 사유 |
| 후속 사용 | 과제 종료 뒤 재학습, 이전, 사업화 사용이 가능한가 | 재사용 조항, 보존 기간, 폐기 기준 |
이 권리표는 법률 검토를 대체하지 않습니다. 다만 과제 기획 단계에서 위험을 드러내는 데 충분히 강합니다. "라이선스 검토 예정"이라고 쓰면 평가자와 내부 의사결정자는 무엇이 막힐 수 있는지 알 수 없습니다. "S 데이터셋은 학습은 가능하지만 원문 재배포는 제외, T 고객 로그는 가명처리 후 내부 검증에만 사용, U 공개 데이터는 출처 표시 조건 때문에 데모 화면의 예시 노출을 제한"처럼 써야 실행계획이 됩니다.
모델 평가는 정확도 숫자보다 벤치마크 지표와 실패 조건을 먼저 정해야 합니다
AI 모델 평가에서 단일 정확도는 매력적이지만 부족합니다. MLCommons는 AI 개발을 책임 있게 이끌기 위한 품질, 성능, 안전 측정 도구와 벤치마크를 제공한다는 방향을 제시합니다[S7]. NIST AI RMF Core도 AI 위험관리를 Govern, Map, Measure, Manage 기능으로 설명하며, 측정은 AI 생애주기 전반의 위험을 다루는 활동 중 하나로 제시합니다[S1]. 이 관점을 R&D 과제에 적용하면 모델 평가는 "점수 하나를 높이는 일"이 아니라 "사용 조건별로 어떤 지표가 통과·보류·재설계를 결정하는가"를 쓰는 일입니다.
먼저 기준 모델을 정합니다. 기존 규칙 기반 방법, 공개 모델, 이전 과제 모델, 사람 검토 결과, 상용 API 중 어떤 대상을 기준으로 삼을지 써야 합니다. 기준 모델이 없으면 개선 폭을 설명하기 어렵습니다. 다음으로 데이터 분할을 고정합니다. 학습, 검증, 테스트, 외부 검증 데이터를 섞지 않고, 도메인 이동이나 계절성, 기관별 편차가 있으면 별도 테스트셋으로 둡니다. 세 번째로 지표를 여러 층으로 둡니다. 분류 과제라면 정확도만이 아니라 정밀도, 재현율, F1, 민감군별 성능 차이, 오탐·미탐 비용을 함께 봅니다. 생성형 AI나 검색 증강 모델이라면 정답성, 근거성, 유해 응답, 저작권 위험, 지연시간, 운영비를 함께 봐야 합니다.
**모델 평가표에서 빠지면 안 되는 실패 조건**
- 전체 평균은 통과했지만 특정 기관, 지역, 장비, 문서 유형에서 성능이 급락하는 경우
- 학습 데이터와 비슷한 테스트셋에서는 좋지만 외부 검증셋에서 재현되지 않는 경우
- 정확도는 높지만 오탐이나 미탐 비용이 실제 사용 조건에서 감당하기 어려운 경우
- 모델 추론 비용, 지연시간, GPU 사용량이 실증 환경의 예산과 맞지 않는 경우
- 생성형 모델이 근거 없는 답변, 개인정보 노출, 저작권 침해 가능 문구를 반복하는 경우
벤치마크 지표는 과제 목표와 이어져야 합니다. "F1 0.85 이상"은 그 자체로 좋은 목표가 아닙니다. 어떤 데이터셋에서, 어떤 클래스 분포에서, 어떤 기준 모델 대비, 어떤 오류 비용을 감수하고, 어떤 현장 조건에서 측정하는지 붙어야 합니다. 예를 들어 제조 불량 탐지 과제라면 평균 정확도보다 희귀 불량 재현율과 검사 지연시간이 더 중요할 수 있습니다. 행정 문서 분류 과제라면 전체 F1보다 특정 문서 유형의 미분류율과 사람 검토 절감 시간이 더 중요할 수 있습니다. 의료·안전·권리 판단에 닿는 과제라면 단순 자동화율보다 사람 검토로 넘기는 기준이 더 중요할 수 있습니다.
개인정보 비식별화는 데이터셋 설계와 모델 출력 검사를 같이 봐야 합니다
개인정보 비식별화는 데이터 수집 뒤에 덧붙이는 절차가 아닙니다. 개인정보보호위원회는 2026년 3월 개정 가명정보 처리 가이드라인을 현재 안내서로 게시하고 있습니다[S2]. 또 생성형 AI 개발·활용을 위한 개인정보 처리 안내서도 현재 안내서 목록에 포함되어 있습니다[S2]. AI 데이터 R&D 팀은 이 흐름을 "개인정보가 있으면 가명처리"로만 이해하면 안 됩니다. 학습 데이터, 검증 데이터, 로그 데이터, 모델 출력, 데모 화면, 오류 분석표가 모두 개인정보 위험을 만들 수 있습니다.
가장 먼저 데이터 흐름도를 만듭니다. 원천 데이터가 어디서 들어오고, 누가 전처리하고, 어떤 저장소에 놓이며, 어떤 모델 학습 작업에서 사용되고, 어떤 결과물이 외부에 나가는지 한 장으로 그립니다. 그다음 식별자, 준식별자, 민감정보, 자유입력 텍스트, 이미지·음성·영상, 위치·시간 로그를 구분합니다. 표 형태의 데이터보다 자유입력 텍스트와 이미지가 더 까다로울 수 있습니다. 이름을 지워도 문장 속 직장, 사건, 희귀 질환, 장비 번호, 얼굴, 차량번호, 위치 조합이 남을 수 있기 때문입니다.
비식별화 표에는 기법 이름보다 검증 방법을 적어야 합니다. 마스킹, 범주화, 총계처리, 샘플링, 합성 데이터 생성 같은 선택지는 데이터 유형과 사용 목적에 따라 달라집니다. 중요한 것은 처리 후 데이터가 모델 성능을 왜곡하지 않는지, 재식별 가능성이 줄었는지, 추가정보가 분리 보관되는지, 접근 권한이 제한되는지입니다. AI 모델은 학습 데이터의 흔적을 출력할 수 있으므로 모델 출력 검사도 계획에 넣어야 합니다. 특히 생성형 AI 과제에서는 프롬프트 테스트, 민감정보 유출 검사, 근거 없는 개인정보 추론 방지, 로그 보존 기준이 필요합니다.
| 개인정보·비식별화 점검 | 데이터셋 단계 | 모델 평가 단계 |
|---|---|---|
| 식별 위험 | 원자료 필드와 자유입력 텍스트의 식별 가능성 확인 | 출력문에 개인·기관 식별 단서가 재생성되는지 검사 |
| 처리 방식 | 가명처리, 마스킹, 범주화, 삭제, 합성 데이터 사용 여부 기록 | 처리 방식이 성능과 편향에 미치는 영향 비교 |
| 접근 통제 | 원자료, 처리본, 학습본, 테스트셋 권한 분리 | 평가자와 개발자의 테스트셋 접근 범위 제한 |
| 추가정보 | 추가정보 분리 보관과 결합 제한 | 오류 분석 시 원자료 재조회 절차 기록 |
| 반출·공개 | 데모, 논문, 보고서에 노출 가능한 예시 제한 | 모델 카드나 평가표에 비공개 사유 명시 |
이 부분은 기존 rndatlas의 [R&D 데이터 관리계획과 연구기록 체크리스트](/guide/rnd-data-management-plan-checklist)와 이어지지만 목적이 다릅니다. 데이터 관리계획 글이 파일과 연구기록의 생애주기를 다룬다면, 이 글의 개인정보 비식별화 항목은 AI 모델 학습과 출력 평가에서 생기는 위험을 다룹니다. 즉 저장소 정리가 아니라 "이 데이터와 모델을 이 조건에서 돌려도 되는가"를 판단하는 표입니다.
컴퓨팅 리소스 계획은 GPU 예산보다 실험 설계와 반복 실패 비용을 계산해야 합니다
AI R&D에서 컴퓨팅 리소스 계획은 장비 목록이 아닙니다. 모델 학습 횟수, 하이퍼파라미터 탐색 범위, 데이터 전처리 시간, 평가 반복, 외부 검증, 추론 데모, 실패 실험 재실행까지 포함한 실행 예산입니다. ISO/IEC 42001은 조직이 AI 시스템의 책임 있는 개발·제공·사용과 관련된 목표와 프로세스를 운영하는 AI 관리시스템을 설명하며, AI 프로젝트의 위험 평가와 위험 처리를 통합적으로 다루는 방향을 제시합니다[S8]. R&D 팀에는 이 관점이 "컴퓨팅 자원도 위험관리 대상"이라는 뜻으로 읽힙니다.
기획 단계에서는 세 가지 자원표를 나눕니다. 첫째, 개발 자원표입니다. 데이터 정제, 임베딩 생성, 기본 모델 학습, 반복 실험, 평가 자동화에 필요한 CPU, GPU, 메모리, 저장공간, 네트워크, 클라우드 비용을 적습니다. 둘째, 검증 자원표입니다. 테스트셋 고정, 외부 검증기관 전달, 사람 평가, 안전성 테스트, 민감군 성능 비교에 필요한 시간을 적습니다. 셋째, 운영 가정표입니다. 과제 종료 후 데모나 실증에서 추론 지연시간, 월간 호출량, 로그 저장량, 장애 대응 비용이 어느 정도인지 추정합니다.
컴퓨팅 리소스 계획이 약하면 일정표도 약해집니다. "2개월 모델 개발, 1개월 검증"이라고 쓰면 실제 병목이 보이지 않습니다. 데이터 정제에 3주가 걸리는지, GPU 예약 대기 때문에 학습 반복이 주 2회밖에 안 되는지, 외부 검증셋 반출 심의가 필요한지, 사람 평가자 교육에 시간이 드는지, 실패 실험 후 재학습 비용이 예산 안에 있는지 써야 합니다. 성능 목표가 높을수록 실패 실험 비용도 커집니다. 실패를 예산에 넣지 않은 과제는 성공 실험 하나에 모든 설명을 걸게 됩니다.
**컴퓨팅 리소스 계획에 넣을 최소 항목**
- 데이터 전처리 1회에 걸리는 시간과 저장공간
- 기준 모델 학습 비용과 목표 모델 학습 비용의 차이
- 반복 실험 횟수, 실패 실험 재실행 가능 횟수, 중단 기준
- 평가 자동화와 사람 평가에 필요한 인력 시간
- 외부 검증, 데모, 실증 단계의 추론 비용과 지연시간 목표
- 클라우드 반출 가능 여부, 개인정보·영업비밀 데이터의 처리 위치
이 표는 과제비 산정 글과도 다릅니다. 예산 항목을 맞추는 것이 아니라 AI 모델의 실험 구조를 현실적인 자원으로 번역하는 작업입니다. 같은 1억 원 과제라도 공개 소형 모델을 미세조정하는 과제와 대규모 멀티모달 데이터를 새로 구축하는 과제의 리소스 위험은 다릅니다. 과제 기획자는 GPU 종류보다 "몇 번 실패할 수 있는 계획인가"를 먼저 물어야 합니다.
책임 있는 AI 증거는 원칙 선언이 아니라 의사결정 로그로 남겨야 합니다
책임 있는 AI는 윤리 문장 한 단락으로 끝나지 않습니다. NIST AI RMF는 AI 제품·서비스·시스템의 설계, 개발, 사용, 평가에 신뢰성 고려를 반영하는 데 도움을 주기 위한 자발적 프레임워크로 설명됩니다[S1]. 한국의 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법은 2025년 1월 제정되어 2026년 1월 22일부터 시행되는 법률로 공표되어 있습니다[S3]. 과학기술정보통신부의 인공지능 투명성 확보 안내 지침 공개 자료도 기본법상 투명성 확보 의무와 계도기간을 설명합니다[S4].
이 자료들을 과제 기획서 언어로 바꾸면, 책임 있는 AI 증거는 네 가지 질문에 답해야 합니다. 첫째, 누가 AI 시스템의 사용 목적과 금지 용도를 정했는가. 둘째, 어떤 데이터와 모델 선택이 위험을 키우거나 줄였는가. 셋째, 어떤 평가에서 성능, 공정성, 프라이버시, 안전성, 설명 가능성을 확인했는가. 넷째, 문제가 발견되면 누가 중단, 수정, 사람 검토, 공개 제한을 결정하는가. 책임 있는 AI는 "원칙을 준수한다"보다 "위험을 발견했을 때 무엇을 바꾸는가"가 강한 증거입니다.
의사결정 로그는 복잡할 필요가 없습니다. 날짜, 결정 주제, 선택지, 선택 이유, 참고 출처, 남은 위험, 후속 조치만 있으면 됩니다. 예를 들어 "고객 상담 데이터를 학습셋에서 제외하고 합성 데이터와 비식별 사례만 평가셋에 사용한다"는 결정은 성능을 낮출 수 있지만 개인정보 위험을 줄입니다. "희귀 클래스 성능이 낮아 자동 판정 대신 사람 검토로 넘긴다"는 결정은 자동화율을 낮출 수 있지만 안전성을 높입니다. 이런 로그가 있어야 최종보고서에서 성능 숫자와 위험관리 판단을 함께 설명할 수 있습니다.
제출 전 60분 AI 데이터 R&D 체크 순서
과제 제출 직전에는 긴 회의보다 순서가 중요합니다. 첫 10분은 데이터셋 권리표를 봅니다. 출처, 학습 사용, 검증 사용, 공개 범위, 후속 사용 중 비어 있는 칸이 있으면 본문 문장을 줄이고 해당 칸부터 채웁니다. 다음 15분은 벤치마크 지표를 봅니다. 기준 모델, 테스트셋 분리, 외부 검증셋, 지표별 통과 기준, 실패 조건이 없으면 모델 개발 목표를 낮추거나 평가 계획을 다시 씁니다. 다음 10분은 개인정보 비식별화와 출력 검사를 봅니다. 원자료 처리만 있고 모델 출력 검사가 없으면 생성형 AI나 분류 모델 모두 위험합니다.
그다음 10분은 컴퓨팅 리소스 계획을 봅니다. 학습 1회 비용, 반복 실험 횟수, 실패 실험 재실행 예산, 사람 평가 시간, 외부 검증 일정이 실제 과제 기간 안에 들어오는지 확인합니다. 다음 10분은 책임 있는 AI 증거를 봅니다. 위험 식별, 평가 결과, 중단 기준, 사람 검토, 공개 제한, 수정 로그가 있는지 확인합니다. 마지막 5분은 내부 링크와 후속 독서 경로를 정합니다. 데이터 파일과 연구기록의 생애주기가 더 문제라면 [R&D 데이터 관리계획과 연구기록 체크리스트](/guide/rnd-data-management-plan-checklist)를 이어서 봅니다. 일반 제안서 평가항목 해석이 필요하면 [정부 R&D 평가지표 체크리스트](/guide/rnd-evaluation-indicator-checklist)가 맞습니다. 기술 진척 증거가 약하면 [R&D 프로토타입 TRL 검증 체크리스트](/guide/rnd-prototype-trl-validation-checklist)를 먼저 확인합니다. 제품 규제·인증·보안 범위가 걸려 있다면 [R&D 규제·인증 리스크 체크리스트](/guide/rnd-regulation-certification-checklist)로 분리해 판단합니다.
AI 데이터 R&D 프로젝트 기획 체크리스트의 목적은 선정 가능성을 보장하는 것이 아닙니다. 데이터와 모델을 다루는 과제가 스스로 설명하지 못할 위험을 줄이는 것입니다. 데이터셋 권리, 모델 평가, 개인정보 비식별화, 벤치마크 지표, 컴퓨팅 리소스 계획, 책임 있는 AI 증거가 분리되어 있으면 과제는 더 보수적으로 보일 수 있습니다. 그러나 보수적인 기획은 약한 기획이 아닙니다. 나중에 문제가 되었을 때 무엇을 알고 있었고, 무엇을 결정했고, 무엇을 아직 모른다고 표시했는지 설명할 수 있는 기획입니다.
참고 출처
- [S1] [NIST AI Risk Management Framework Core](https://airc.nist.gov/airmf-resources/airmf/5-sec-core/)
- [S2] [개인정보보호위원회 현재 안내서 목록 및 가명정보 처리 가이드라인(2026.3 개정)](https://www.pipc.go.kr/np/cop/bbs/selectBoardArticle.do?bbsId=BS217&mCode=D010030000&nttId=11931)
- [S3] [인공지능 발전과 신뢰 기반 조성 등에 관한 기본법, 국가법령정보센터](https://www.law.go.kr/lsInfoP.do?lsiSeq=268543)
- [S4] [과기정통부 인공지능 투명성 확보 안내 지침 공개 자료, KDI 경제정보센터](https://eiec.kdi.re.kr/policy/materialView.do?num=276195)
- [S5] [AI-Hub 인공지능 학습용 데이터 품질관리 가이드라인 v2.0 공개](https://aihub.or.kr/aihubnews/qlityguidance/view.do?currMenu=131&nttSn=9831&topMenu=103)
- [S6] [한국저작권위원회 생성형 AI 저작권 안내서](https://www.copyright.or.kr/information-materials/publication/research-report/view.do?brdctsno=52591)
- [S7] [MLCommons Benchmarks](https://mlcommons.org/benchmarks/)
- [S8] [ISO/IEC 42001:2023 AI management systems](https://www.iso.org/standard/42001)