R&D 시험 샘플 수 산정에서 가장 위험한 문장은 “관례상 3회 반복”입니다. 3회가 틀렸다는 뜻은 아닙니다. 문제는 3회가 무엇의 반복인지, 어떤 차이를 검출하려는지, 제외된 값이 결과를 바꾸는지 설명하지 못할 때 생깁니다. 같은 숫자 3도 한 시료를 세 번 재측정한 기술 반복인지, 서로 다른 배치 세 개를 시험한 공정 반복인지, 다른 날과 다른 작업자를 포함한 중간 정밀도 확인인지에 따라 증거의 무게가 완전히 달라집니다[S1][S2].
이 글은 특정 산업의 인허가 전략이나 법적 자문이 아닙니다. 대신 연구소, 품질팀, 정부과제 실무자가 시험계획서를 쓰기 전에 “샘플 수를 왜 이렇게 잡았는가”를 설명할 수 있도록 돕는 기록 체크리스트입니다. 계산식을 하나 더 외우는 것보다 먼저 정해야 할 것은 시험 목적, 표본 단위, 반복 구조, 허용 오차, 제외 기준입니다. 이 다섯 가지가 빠진 샘플 수는 숫자가 커도 방어력이 약합니다.
빠른 결론
R&D 시험 샘플 수 산정은 “몇 개를 시험할까”가 아니라 “어떤 주장에 필요한 증거를 어느 단위에서, 어느 정도의 불확실성으로 남길까”를 정하는 일입니다. 계획서에는 표본 단위, 반복수의 종류, 목표 정밀도나 검정력, 변동 추정 근거, 제외 기준과 재시험 조건을 함께 적어야 합니다.
R&D 시험 샘플 수 산정은 표본 단위부터 분리해야 한다
샘플 수 검토의 첫 줄에는 시험 대상의 단위를 적어야 합니다. 한 제품에서 잘라낸 세 조각, 같은 시료를 장비에 세 번 올린 측정값, 서로 다른 배치에서 뽑은 시료는 모두 “n=3”으로 보일 수 있습니다. 그러나 통계적으로는 같은 정보를 주지 않습니다. 같은 시료를 반복 측정하면 장비와 분석 절차의 흔들림은 볼 수 있지만, 배치 간 차이나 제조 공정의 변동까지 대표한다고 말하기 어렵습니다.
시험계획서에는 최소한 세 단위를 구분해 둡니다. 첫째, 관찰 단위입니다. 실제로 측정값 하나가 생기는 대상입니다. 둘째, 실험 단위입니다. 처리 조건이 독립적으로 적용되는 대상입니다. 셋째, 판단 단위입니다. 합격, 비교, 개선 여부를 결론 내릴 대상입니다. 이 셋이 다르면 샘플 수 근거도 달라져야 합니다.
예를 들어 코팅 내구성 시험에서 한 시편의 세 지점을 측정한 값은 표면 균일성의 단서가 됩니다. 하지만 “공정 개선 후 내구성이 좋아졌다”는 주장을 하려면 개선 전후의 독립 배치, 생산일, 장비 조건까지 고려해야 합니다. NIST 통계 핸드북이 가설검정의 표본 수를 유의수준, 베타 위험, 검출하려는 차이와 연결해 설명하는 이유도 여기에 있습니다[S3]. 단순히 측정값 행이 많아졌다고 독립 표본이 늘어난 것은 아닙니다.
반복수 체크리스트: 기술 반복, 시료 반복, 조건 반복을 따로 적는다
반복수는 한 줄 숫자로 쓰면 오해가 생깁니다. ICH Q2(R2)는 분석 절차의 정밀도를 반복성, 중간 정밀도, 재현성 수준으로 나누어 설명합니다[S1]. 이 구분은 의약품 분석에만 쓰라는 뜻이 아니라, R&D 시험에서도 “어떤 변동을 반복으로 잡았는가”를 분리하라는 실무 힌트로 쓸 수 있습니다.
| 반복 구분 | 계획서에 남길 질문 | 결과 해석에서 조심할 점 |
|---|---|---|
| 기술 반복 | 같은 시료를 같은 조건에서 몇 번 측정했는가 | 장비·분석 절차의 산포를 보여주지만 시료 대표성은 보장하지 않는다 |
| 시료 반복 | 서로 독립적인 시료나 배치를 몇 개 시험했는가 | 공정·재료 변동을 일부 반영하지만 표본 추출 방식이 함께 필요하다 |
| 조건 반복 | 날, 작업자, 장비, 장소가 달라지는가 | 중간 정밀도나 재현성 논리에 가까우며 원인 분리가 필요하다 |
| 재시험 | 실패나 이상값 때문에 다시 측정했는가 | 사전 기준 없이 좋은 값만 남기면 선택 편향이 된다 |
좋은 기록은 “각 조건 n=5”에서 끝나지 않습니다. “각 배치에서 독립 시료 5개를 무작위 선택하고, 각 시료를 동일 장비에서 2회 측정하며, 결과 판정은 시료 평균이 아니라 배치별 독립 시료 값을 기준으로 한다”처럼 판단 단위를 드러냅니다. 이 문장이 있어야 나중에 평균, 표준편차, 신뢰구간, 합격률을 계산할 때 어떤 값이 독립 관측치인지 혼동하지 않습니다.
ICH Q14가 분석 절차 개발을 과학·위험 기반 접근으로 설명하는 점도 참고할 만합니다[S2]. 반복수는 실험실 편의만으로 정하는 숫자가 아니라, 측정 절차가 의도한 목적에 맞는지 보여주는 증거 설계의 일부입니다. 따라서 위험이 큰 성능 항목, 변동이 큰 원재료, 고객 클레임과 직접 연결되는 기준은 단순 기술 반복보다 독립 시료 반복이나 조건 반복을 우선 검토해야 합니다.
통계 근거 체크: 검출 차이, 허용 오차, 기존 변동값을 먼저 잠근다
샘플 수 계산은 공식을 고르는 단계가 아니라 입력값을 잠그는 단계입니다. 평균을 추정하려는지, 규격 밖 비율을 보려는지, 두 조건의 차이를 검정하려는지에 따라 필요한 근거가 달라집니다. ASTM E122는 로트나 공정 특성의 평균 또는 부적합 비율을 정해진 정밀도로 추정하기 위한 샘플 수 산정 목적을 제시합니다[S4]. ISO 2859-1은 속성 검사에서 AQL 기반의 합격 샘플링 체계를 다룹니다[S5]. 두 기준은 모두 “샘플 수”라는 같은 단어를 쓰지만 질문이 다릅니다.
계획서에는 다음 네 가지를 숫자 또는 문장으로 남깁니다. 첫째, 검출하거나 추정하려는 대상입니다. 평균 차이, 불량률, 규격 충족 여부, 동등성 중 무엇인지 적습니다. 둘째, 허용할 오류입니다. 유의수준, 검정력, 신뢰수준, 허용 오차 중 무엇을 쓰는지 정합니다. 셋째, 예상 변동입니다. 파일럿 시험, 과거 배치, 문헌, 장비 검증 자료 중 어느 값에서 표준편차나 변동률을 가져왔는지 적습니다. 넷째, 실무 제약입니다. 시료 파괴, 비용, 윤리, 장비 시간 때문에 계산값을 그대로 못 쓰는 경우 보완 논리를 남깁니다.
샘플 수 근거 문장 틀
- 시험 목적: 이 시험은 평균 차이 검출 / 규격 외 비율 추정 / 공정 안정성 확인 중 하나를 목표로 한다.
- 효과 또는 정밀도: 실무적으로 의미 있는 최소 차이는 ○○이며, 허용 오차는 ○○로 둔다.
- 변동 추정: 표준편차 또는 변동률은 파일럿 n=○, 과거 배치 ○개, 또는 공식 기준 ○○에서 가져왔다.
- 반복 구조: 독립 시료 ○개, 시료당 기술 반복 ○회, 조건 반복 ○수준으로 분리한다.
- 제약과 보완: 계산상 필요한 n과 실제 가능한 n이 다르면 탐색시험, 신뢰구간 제시, 후속 확인시험으로 보완한다.
이 틀의 장점은 계산 도구가 바뀌어도 기록이 남는다는 점입니다. NIST의 표본 수 예시는 평균 검정, 비율 검정, 표준편차 검정에서 유의수준과 베타 위험을 먼저 정하게 합니다[S3]. 따라서 “통계 프로그램으로 계산했다”보다 “어떤 차이를 어느 위험 수준에서 보려 했는지”가 더 중요한 감사 흔적입니다.
제외 기준은 시험 전 기준과 원자료 보존 원칙으로 방어한다
샘플 수를 정교하게 계산해도 제외 기준이 약하면 결과 신뢰도가 무너집니다. 이상값을 빼고 나서 결론이 좋아졌다면, 독자는 당연히 묻습니다. 왜 그 값을 뺐는가. 언제 그 기준을 정했는가. 빼지 않은 결과도 봤는가.
NIST는 Grubbs 검정이 정규분포를 따르는 단변량 데이터에서 단일 이상값을 탐지하는 방법이라고 설명하고, 여러 이상값이 의심되면 다른 방법을 고려하라고 안내합니다[S6]. 이 말은 이상값 검정 하나만으로 모든 제외를 정당화할 수 없다는 뜻입니다. 장비 전원 오류, 시료 라벨 오류, 전처리 누락처럼 원인이 확인되는 경우와 통계적으로 멀리 떨어져 보이는 경우를 분리해야 합니다.
FDA의 생물분석 방법 검증 지침은 반복 분석 사유를 사전에 정한 SOP나 지침으로 두고, 할당 가능한 원인이 있을 때 반복 분석을 허용하는 취지를 제시합니다[S7]. OECD GLP 원칙은 연구를 재구성하고 평가하는 데 필요한 원래 관찰과 기록을 원자료로 봅니다[S8]. 두 관점을 합치면 제외 기준의 핵심은 간단합니다. 제외 여부는 시험 후 결론을 보고 정하지 말고, 원자료는 남기며, 제외 전후가 결론에 미치는 영향을 보고서에서 숨기지 않는 것입니다.
제외 기준 금지 문장
“튀는 값이라 제외”, “명백한 오류로 보임”, “평균을 왜곡해 제외”처럼 사후 판단만 남기면 방어력이 약합니다. 대신 오류 유형, 확인 증거, 적용한 통계 기준, 제외 전후 결과, 재시험 여부를 함께 남겨야 합니다.
시험계획서에 남길 샘플 수 산정 체크리스트 12개
아래 체크리스트는 계산 전, 시험 전, 결과 보고 전 세 번 확인하는 용도입니다. 모든 항목이 필요한 것은 아니지만, 빠진 항목이 있다면 왜 제외했는지 남겨야 합니다.
| 단계 | 체크 항목 | 남길 기록 |
|---|---|---|
| 목적 | 시험 결론이 평균, 비율, 차이, 동등성, 안정성 중 무엇인가 | 판정 문장과 통계 질문 |
| 단위 | 관찰 단위와 판단 단위가 같은가 | 시료, 배치, 조건, 측정값의 관계 |
| 반복 | 기술 반복과 독립 시료 반복을 구분했는가 | 반복수 표와 평균 처리 방식 |
| 변동 | 표준편차나 불량률 추정 근거가 있는가 | 과거 데이터, 파일럿, 문헌, 기준서 출처 |
| 오류 | 유의수준, 검정력, 신뢰수준, 허용 오차를 정했는가 | 선택한 값과 선택 이유 |
| 무작위화 | 시료 선택과 시험 순서에 편향을 줄였는가 | 추출 방법, 시험 순서, 블록 기준 |
| 층화 | 배치, 생산일, 장비, 작업자 같은 층을 고려했는가 | 층별 n과 합산 방식 |
| 파괴 시험 | 시료 손실 때문에 n이 제한되는가 | 제한 사유와 후속 확인 계획 |
| 제외 | 제외 가능한 사유를 시험 전에 정의했는가 | 장비 오류, 전처리 실패, 라벨 오류, 통계 이상값 기준 |
| 재시험 | 재시험을 언제 허용하는가 | SOP 번호, 재시험 횟수, 원결과 보존 방식 |
| 보고 | 제외 전후 결과를 모두 볼 수 있는가 | 원자료 위치, 분석 코드, 버전 |
| 결론 | n의 한계를 결론에 반영했는가 | 탐색, 확인, 검증 중 어느 수준인지 명시 |
이 표에서 특히 자주 빠지는 항목은 무작위화와 층화입니다. 시험 순서가 항상 A 조건 다음 B 조건이면 온도 상승, 장비 드리프트, 작업자 피로가 조건 효과처럼 보일 수 있습니다. 반대로 배치 차이가 큰데 모든 조건을 한 배치에서만 시험하면 결과가 좋아 보여도 공정 일반화가 어렵습니다. 샘플 수 산정은 숫자를 늘리는 작업이 아니라, 편향을 줄이고 변동의 출처를 기록하는 작업입니다.
결과보고서에는 계산값보다 판단 한계를 먼저 적는다
결과보고서에서 샘플 수 근거는 부록에만 두지 않는 편이 좋습니다. 본문 결론 바로 앞에 “이 시험이 말할 수 있는 것과 말할 수 없는 것”을 짧게 적어야 합니다. 예를 들어 “본 시험은 파일럿 단계의 조건 비교를 목적으로 하며, 독립 배치 2개와 배치당 시료 5개를 사용했다. 따라서 조건 간 큰 차이의 탐색에는 적합하지만, 양산 공정 전체의 장기 안정성 결론으로 확대하지 않는다”처럼 범위를 닫아 줍니다.
제외값이 있었다면 제외 전후 결과를 같은 표에 넣습니다. 제외 후 평균만 제시하면 결과를 고른 것처럼 보일 수 있습니다. “시료 B-03은 전처리 누락이 원자료 사진과 작업 기록으로 확인되어 사전 제외 기준 E2에 따라 주 분석에서 제외했다. 제외 전 평균은 ○○, 제외 후 평균은 ○○이며, 결론 방향은 동일하다”처럼 적으면 판단 과정이 보입니다. 결론 방향이 달라졌다면 더 조심해야 합니다. 이 경우에는 추가 시험이나 민감도 분석 없이는 강한 결론을 쓰지 않는 편이 안전합니다.
내부 검토자에게는 계산 파일보다 추적표가 더 유용할 때가 많습니다. 각 숫자가 어디에서 왔는지, 어떤 버전의 데이터로 계산했는지, 누가 제외를 승인했는지 한 줄로 보이기 때문입니다. OECD GLP의 원자료 관점과 ISO/IEC 17025의 유효한 결과에 대한 신뢰 관점은 모두 “나중에 재구성 가능한 기록”을 요구하는 방향으로 읽을 수 있습니다[S8][S9].
rndatlas에서 이어서 볼 내부 경로
샘플 수 근거를 세운 뒤에는 시험 데이터의 출처와 외부 근거를 함께 관리해야 합니다. 시험 설계 전 단계에서 국가 R&D 과제와 특허 신호를 같이 보는 흐름은 NTIS 과제검색과 KIPRIS 특허검색으로 R&D 투자지형 검증하기를 참고할 수 있습니다. 과제 일정과 내부 준비 시점을 맞춰야 한다면 2026 R&D 정책지원사업 모니터링 워크플로이 다음 단계입니다. 시험 데이터 자체를 읽는 기본 단위가 헷갈린다면 국가 R&D 데이터를 읽는 법에서 용어를 먼저 정리하는 편이 좋습니다. 연구개발 예산과 시험 설계가 연결되는 큰 그림은 국가 R&D 투자 구조로 넘겨 보면 됩니다.
마지막 10분 점검: 샘플 수 숫자보다 근거 문장을 본다
초안 검토 회의에서는 계산식부터 열지 말고 네 문장을 먼저 읽어 보십시오. 첫째, 이 시험의 판단 단위는 무엇인가. 둘째, 반복수는 기술 반복, 독립 시료 반복, 조건 반복 중 무엇인가. 셋째, 샘플 수 입력값은 어떤 과거 데이터나 공식 기준에서 왔는가. 넷째, 제외 기준은 시험 전에 정해졌고 원자료는 남아 있는가.
이 네 문장이 막히지 않으면 샘플 수 산정은 이미 절반 이상 정리된 것입니다. 반대로 숫자는 있어도 이 네 문장이 비어 있으면 보고서의 신뢰도는 약합니다. R&D 시험은 늘 비용, 시간, 시료 수 제약을 받습니다. 그래서 더더욱 “완벽한 n”보다 “한계를 알고 해석할 수 있는 n”이 중요합니다. 시험계획서에 반복수, 통계 근거, 제외 기준을 함께 남기는 이유가 바로 여기에 있습니다.
공식·1차 출처
- [S1] ICH, Validation of Analytical Procedures Q2(R2), 2023. https://database.ich.org/sites/default/files/ICH_Q2%28R2%29_Guideline_2023_1130.pdf
- [S2] ICH, Analytical Procedure Development Q14, 2023. https://database.ich.org/sites/default/files/ICH_Q14_Guideline_2023_1116.pdf
- [S3] NIST/SEMATECH e-Handbook of Statistical Methods, Sample sizes required. https://www.itl.nist.gov/div898/handbook/prc/section2/prc222.htm
- [S4] ASTM E122-17(2022), Standard Practice for Calculating Sample Size to Estimate, With Specified Precision, the Average for a Characteristic of a Lot or Process. https://www.astm.org/e0122-17r22.html
- [S5] ISO 2859-1, Sampling procedures for inspection by attributes. https://www.iso.org/obp/ui/
- [S6] NIST/SEMATECH e-Handbook of Statistical Methods, Detection of Outliers and Grubbs' Test. https://www.itl.nist.gov/div898/handbook/eda/section3/eda35h.htm
- [S7] FDA, Bioanalytical Method Validation Guidance for Industry, 2018. https://www.fda.gov/files/drugs/published/Bioanalytical-Method-Validation-Guidance-for-Industry.pdf
- [S8] OECD, Good Laboratory Practice, OECD Principles and Guidance for Compliance Monitoring, 2005 edition. https://www.oecd.org/content/dam/oecd/en/publications/reports/2005/12/good-laboratory-practice_g1gh5db5/9789264012837-en.pdf
- [S9] ISO, ISO/IEC 17025 Testing and calibration laboratories. https://www.iso.org/ISO-IEC-17025-testing-and-calibration-laboratories.html