① 실험 설계
실험을 어떻게 설계해야 실제 활용가능한 인사이트를 도출할 수 있을까?
1 인과관계 파악이 가능한 실험의 조건
어떤 행동이 특정한 결과 도출에 원인이었는지 여부를 과학적으로 규명하기 위해서는 다른 조건은 모두 동일하게 만들어 놓고, 단 하나의 요인만을 바꾸었을 때, 그것이 결과값을 변경시켜서 차이가 나게 만드는지, 아닌지를 보면 될 것이다.
- 예를 들어 의사가 특정한 약을 처방했을 때, 그 처방으로 인해 병이 호전된다는 결론을 내기 위해서는 비슷한 조건의 환자들을 2개의 그룹으로 나누어서 한 그룹에는 그 약을 처방하고, 다른 그룹에는 가짜 약을 처방하여 병이 나은 사람의 수가 차이가 있는지 아닌지를 봐야 한다는 것이다.
그럼 우리와 같은 초미세먼지 농도 관측결과를 가지고 이러한 실험 환경을 만들 수 있는가?…
성향 점수 매칭이라고 해석되어서 이해하기가 매우 곤란한데, 우리의 경우를 예로 들면 지난 4년간의 초미세먼지 농도와 역궤적 산출결과와 기상조건(풍향, 풍속, 습도, 일사량, 혼합고 등)을 놓고, 서산이나 당진시를 경유한 역궤적이 발생한 시간과 유사한 기상조건을 가진 무경유(neither) 사례들을 비교할 수 있도록 점수화(propensity score)하여 가장 가까운 점수끼리 잘 골라서 짝짓기(matching) 해서 분석하면, 다른 조건은 동일한데, 서산이나 당진시를 경유했는지 안했는지만 차이가 나므로 농도차이의 원인이 역궤적 경로가 다름에 있다고 판단할 수 있다고 볼 수 있다.
2 실험 설계 케이스 구성 전략
앞의 연재 소개편에서 보여드린 바와 같이 화성시 권역내 에어코리아 관측소에 도착한 10m 역궤적이 어느 지자체를 경유했는가에 따라, 다음 네 가지 유형으로 구분될 수 있으며, 각각의 부류 구분에 해당하는 데이터 건수가 아래와 같이 집계되었다.
| 부류 구분 | 처치(경유) | 사례수(n) |
|---|---|---|
| 유형1 | 당진 only | 18,704 |
| 유형2 | 서산 only | 2,205 |
| 유형3 | 두 도시 모두 경유 both | 36,263 |
| 유형4 | 무경유 neither | 182,412 |
- 우선 차이를 비교하는 대상이 될 대조군으로는 무경유 neither를 사용하면 될 것이다. 위에서 정의한 도시를 공기가 지나지 않았으므로 차이를 보기 적당하다고 생각된다. 하지만 기상조건이 다른 날들도 많으니, PSM이라는 고급 통계분석 기법을 적용해서 인과적인 해석이 가능하도록 해주어야 한다.
그 다음으로는 분석자의 취향에 따라 다른데, 현실적인 분석 여건을 고려하여, 서산 only의 사례수가 너무 작으므로 이를 제외하고 ①유형1 당진 only vs 대조군, ②(유형1 당진 only + 유형3 both) vs 대조군, ③(유형2 서산 only + 유형3 both) vs 대조군, ④ (유형1 + 유형2 + 유형3 두 도시 경유 전체) vs 대조군과 같은 4개의 실험사례를 설계하여 비교하면, 서산과 당진의 영향력이 차이가 있는지 없는지를 간접적으로나마 비교해 볼 수 있지 않을까 하는 생각이 들었다.
3 실험 설계(안) 비교 이미지
그냥 말로만 설명드리면 실감이 안 나실 것 같아서 각 사례의 이미지를 아래에 제시해 드린다. 우선 공통적으로 사용되는 2개의 유형이다.
- 아래는 대조군으로 사용될 두 도시 모두 경유하지 않는 (Neither) 사례이다. 좌측은 10m 24시간 역궤적·TMS 사업장(점 크기=배출량)·측정소 위치 등을 지도위에 표시한 것이고, 우측은 사건시각 전후의 PM2.5·풍향·풍속 시계열(빨간 수직선=사건시각)을 3단으로 나누어 한꺼번에 시각화한 것이다.
우측 3단 그림중에는 녹색의 수평선을 제시해 드렸는데, 상단의 녹색 수평선은 초미세먼지 주의보 발령 판단의 기준이 되는 75㎍/㎥선이며, 중간 그래프의 녹색 수평선은 북서풍 판단의 기준이 되는 풍향 270도 선이며(즉, 이 선 위에 그래프가 보이면 북서풍이 부는 것이다), 제일 하단의 녹색 수평선은 시속 11km로 유추가능한 풍속 초당 3 m/s선이다.
- 다음으로는 두 도시를 모두 경유하는 유형3의 사례 이미지이다. 좌/우측 그래프의 해석 방법은 위와 동일하므로 생략한다.
3.1 Case1 : 유형1 vs 대조군 (“당진 only”)
남동풍을 타고 이동하던 기류가 급작스럽게 변하는 북서풍 방향의 풍계의 영향을 받아 화성시에 영향을 주었음을 역궤적과 풍향/풍속 추이를 비교해 보면 파악 가능하다.
3.2 Case2 : 유형1 + 유형3 vs 대조군 (“당진 any”, 유형3 이미지 생략)
위의 Case1과 유사하나, 거의 Direct로 기류가 이동하는 상황이다.
여기서 기상상식 하나를 알려드리면, 풍향에서 0도와 360도는 같은 의미가 아닙니다. 기상학에서 사용하는 풍향 0도는 바람이 전혀 불지 않는 상태(Calm)를 의미하며, 정북풍은 360도로 표현하는 오래된 관행이 있습니다. 우측의 중간그림에 AWS의 풍향이 0도 이기 때문에 이 근처에는 바람이 없었다는 의미이지만, 수원 ASOS에는 북풍이 불어 전반적인 풍계는 “북서풍이다”라고 해석할 수 있다.
3.3 Case3 : 유형2 + 유형3 vs 대조군 (“서산 any”, 유형3 이미지 생략)
공기가 바람처럼 자유롭게 움직이는 모습을 볼 수 있다.
3.4 Case4 : 유형1 + 유형2 + 유형3 vs 대조군 (“통합 Treated any”, 유형3 이미지 생략)
역시 각 날짜와 시간에 따른 기상조건하에서 물리법칙을 따라 공기가 얼마나 다양하게 움직일 수 있는지, 그 모습을 확인할 수 있다.
