"Power calculation for comparing diagnostic accuracies in a multi-reader, multi-test design." Biometrics, 70: 1033-1041.

 

[전문가 인터뷰 14] 김은희 박사_첨부자료.pdf

 

 

 

1. 먼저 본인의 간략한 소개를 부탁드립니다.

안녕하세요. 저는 미국의 National Institutes of Health (NIH) 에서 Statistician 으로 재직중인 김은희입니다. University of North Carolina at Chapel Hill 에서 2009년 Biostatistics 로 박사학위를 받은 후, NIH 에 일하기 전까지 Brown University 의 Department of Biostatistics 에서 조교수로 근무했었습니다.
주요 관심분야는 statistical methods in diagnostic medicine, longitudinal data analysis, classification and prediction methods 입니다.

 

 

 

2. 상기 논문의 아이디어를 어떻게 얻었는지, 진행과정에 서 어떤 어려움이 있었는지, 그리고 어떻게 극복했는지에 대해 말씀해 주시겠습니다?

브라운 대학에 재직 중일때, American College of Radiology Imaging Network (https://www.acrin.org) 라는 암 연구 기관에서 lead statistician 으로 cancer imaging과 관련된 여러 clinical research에 참여하였는데요. 제일 처음 프로젝트를 시작할때 제가 하는 일이 study design 과 sample size 를 결정하는 것이었어요.
Radiology 와 관련된 여러 공동 연구에 참여하면서, multi-reader, multi-test study 를 시작할때 sample size/power calculations 는 핵심적인 부분에도 불구하고 이 분야에 대한 통계 방법론은 거의 없다는 것을 알게되었고, 필요에 의해 자연스럽게 study design 관점에서 이 연구를 시작하게 되었습니다.
연구 진행 과정에서 특별한 어려움은 없었는데, power formula 를 만들때 이 디자인에서 나온 데이터의 복잡한 correlation structure 를 어떻게 단순화할지가 제일 도전적인 부분이었고, 완성하는데 시간이 오래 걸렸습니다.

 

 

 

3. 논문의 내용에 대한 설명을 부탁드립니다.

Multi-reader, multi-test design 는 MRI나 CT와 같은 diagnostic tests 를 평가, 비교할때 주로 사용되는데, 그 이유는 다른 디자인에 비해 가장 적은 참가자 수를 필요로 하기 때문입니다 (Zhou et al., 2002). Diagnostic tests 는 readers (radiologists) 의 주관적인 평가에 의해 영향을 받을 수 있기 때문에, 여러 readers 가 같은 imaging exams 을 평가하도록 디자인을 하는 경우가 많습니다 (multi-reader study). Multi-reader, multi-test study 에서는 참가자 집단이 두개 또는 그 이상의diagnostic tests를 거치게 되고, 같은 reader 그룹이 여러 tests 를 모두 해석하는 디자인을 말합니다.
이 논문에서는 generalized two-sample U-statistics 이용하여 multi-reader, multi-test design에서 나온 correlated area under the ROC curves (AUCs) 를 평가하고 비교하는 nonparametric approach 를 소개하였습니다. 그리고, nonparametric AUCs 의 asymptotic normality 를 이용하여 power formula 를 개발하였습니다. 이 디자인에서 나온 nonparametric AUCs 의 variance expression 과 power 계산을 위해 11개의 대표 correlations 을 도출한 과정은 논문에 자세히 설명하였습니다.
현재 multi-reader diagnostic accuracy studies 에서 Obuchowski and Rockette (1995) 의 mixed-effects ANOVA models 를 적용한 power calculation 이 가장 많이 이용되고 있습니다. 이 방법은 reader 의 수가 적을때 (예를 들면 < 8), type I error rate 가 커지는 걸로 알려져 있고, 이때 power calculation 의 결과를 신뢰하기가 어렵습니다. 반면, 이 논문에서 쓰여진 nonparametric method 는 asymptotic approximation 가 총 참가자의 수에 의존하기 때문에 asymptotic results 가 더 reliable 하고, reader 의 수가 적을때에도 효과적으로 쓰일 수 있다는것을 보였습니다.

 

 

 

4. 이 논문의 시사점은 무엇이며 후속 연구를 어떤 방향으로 진행되고 계신지요?

Multi-reader studies 에 관련된 통계 방법론을 연구할때 reader variability 를 어떻게 설명할것이지, 모델을 개발할때 reader effect 를 위에서 소개된 Obuchowski and Rockette (1995) 처럼 random 으로 가정할것 인지, 아니면 제가 적용한 fixed effect 로 가정할 것인지, 그리고 correlated 된 AUCs 들의 variance 를 어떻게 계산할것이지 등이 핵심적인 질문인것 같습니다.
Receiver operating characteristic (ROC) analysis 는 reference 또는 gold standard 가 binary ( 예를 들면 diseased vs non-diseased subjects, 또는 benign vs malignant tumors) scale일때 사용가능합니다. 최근에는 기존의 연구를 확장해서 reference standard 가 survival time 과 같은 continuous scale 일때 biomarkers를 평가하는 time dependent ROC analysis 에 관한 연구를 진행하고 있습니다.

 

 

 

5. 본인의 연구분야에 대해 통계마당 회원들에게 소개하고 싶으신 점이 있다면?

주로 biomarkers 를 평가하기 위한 semi-parametric 또는 nonparametric methods를 연구해왔는데요. 구체적으로는, biomarker 가 하나 이상 있는 경우, 여러 biomarkers 의 정보를 결합하여 classification 또는 disease detection를 optimize 하는 방법론에 관심이 있습니다. 이와 연관된 연구로 semi-parametric transformation model for multiple biomarkers 을 개발 (Kim, E., Zeng, D., Zhou, X.H., 2015) 하였고, 이 모델은 Biometrical Journal 에 실릴 예정입니다. 현재는 new drug clinical study에서 treatment response 의 예측을 위해 longitudinal biomarkers 를 이용한 diagnostic measure 을 연구하고 있습니다.

 

 

 

6. 기타 하고 싶으신 말씀이 있다면?

Diagnostic medicine 분야의 통계 방법론이 아직 많은 분들에게 생소할 수도 있을 것 같습니다. 통계 마당을 통해, 제 연구 분야에 관심이 있거나, 이 분야의 연구를 하시는 분들과 더 활발한 교류가 이루어졌으면 좋겠습니다.

 

 


* 참고문헌

· Kim, E., Zeng, D., Zhou, X.H. (2015).“Semi-parametric transformation models for multiple biomarkers in ROC analysis." Biometrical Journal. DOI: 10.1002/bimj.201400043 [Epub ahead of print]
· Obuchowski N. A. and Rockette H. E. (1995). Hypothesis testing of diagnostic accuracy for multiple readers and multiple tests: An ANOVA approach with dependent observations. Communications in Statistics - Simulation and Computation 24, 285-308.
· Zhou X. H., Obuchowski N. A., and McClish D. K. (2002). Statistical Methods in Diagnostic Medicine. New York: Wiley.






제목 날짜
태그 목록