728x90
반응형
SMALL

목차

1. 인간대상연구와 역사적 사건의 의미

2. 인간대상연구 관련 윤리적 기준

3. 벨몬트 보고서 (인간대상연구에 관한 윤리원칙)

 

 

[1. 인간대상연구와 역사적 사건과 그 의미]

-> 미국의 터스키기 매독 연구(1932~1972)

: 미 보건국(PHS)이 가난한 아프리카계 미국 흑인 남성들을 대상으로 매독의 자연경과를 기록하려는 목적의 연구

 

: 매독에 감염된 수백 명의 남성(시험군)과 매독에 감염되지 않은 건강한 수백 명의 남성(대조군)이 연구에 참여: 해당 연구대상자들은 충분한 설명에 근거한 동의 없이 연구에 모집됨.

 

: 연구자들은 일부 절차의 필요성에 대해서는 의도적으로 그 목적을 기만. 예를 들어, 척수천자를 필수적이고 특별한 무료 치료법이라고 설명.

 

: 심지어 1940년 중반에 매독에 대한 안전하고 효과적인 치료법인 페니실린이 발견된 후에도, 연구자들은 연구대상자들에게 이를 투여 배제.

 

: 매독 연구는 28명의 사망자와 100여건의 장애, 그리고 19건의 선천적인 매독을 초래

) --> 

윤리적 문제: 충분한 설명에 근거한 동의의 부재. 기만, 이용 가능한 치료의 보류. 연구 대상자와 그 가족들을 위험에 방치, 연구참여로부터 이득을 얻지 못하는 취약한 환경의 연구대상자에 대한 착취.

) --> 

[나치의 인체 실험]

 

-2차 세계대전 후, 23명의 나치의사와 과학자들은 강제 수용소 수감자들을 대상으로 자행했던 실험에 대해 살인혐의로 전범재판에 기소

 

-뉘렘버그에서 열린 재판에서, 23명 중 15명이 유죄판정(*7명에게는 교수형이, 8명에게는 각각 종신형에서 10년에 이르는 징역형이 선고), 나머지 8명은 사면.

 

-뉘렘버그 전범재판을 통해 인간대상연구에서 연구자가 반드시 지켜야 할 10가지 윤리적 기본원칙이 제정됨.

) -->

 

[일본 731 부대 생체실험]

 

-중국 헤이룽장성 하얼빈에 있던 일제 관동군 산하 세균전 부대

 

-1936년에서 1945년 여름까지 3000명을 대상으로 각종 세균실험과 약물실험 등을 자행

 

-1936년 만주 침공시 하얼빈 남쪽 20km 지점에 설립한 세균전 비밀연구소로 출발하였으며, 당시 방역급수부대로 위장하였다가 1941년 만주 731부대로 명칭을 변경.

 

-설립 당시의 사령관은 1930년대 초 유럽 시찰을 통해 세균전의 효용을 깨닫고 이에 대비한 전략을 적극 주창한 사람인 세균학 박사 이시이 시로 중장.

) --> 

-부대 예하에는 바이러스, 곤충, 동상, 페스트, 콜레라 등 생물학 무기를 연구하는 17개 연구반이 있었고, 각각의 연구반마다 마루타라고 불리는 인간을 생체실험용으로 사용

 

-1940년 이후 해마다 600명의 마루타들이 생체실험에 동원되어 최소한 3000여 명의 한국인, 중국인, 러시아인, 몽골인 등이 희생된 것으로 추정

 

-또한 1945년 제 2차 세계대전이 끝나자 만행의 흔적을 없애기 위해 살아남은 150여 명의 마루타들까지 모두 처형

 

-종전 후 이시이 시로를 비롯한 부대원들은 세균전 연구결과를 모두 미군에 넘기는 조건으로 전범재판에 회부되지 않고 면책됨.

) --> 

: 731 부대의 인체 대상 실험은 독일의 뉘렘버그 재판과 비교되는 사건으로서 두 가지 윤리적 이중성을 보여주고 있는 사건이다.

) --> 

 

[Willowbrook 간염 연구]

 

-1955, 뉴욕 Staten island 에 위치한 정신지체아들을 위한 시설에서는 바이러스성 간염의 자연 경과를 조사하고, 감염 예방을 위한 접종 물질로써 gamma globulin 의 효능을 입증하기 위한 연구가 시행됨.

 

-연구자들은 고의적으로 아동들을 약한 형태의 간염 바이러스에 감염시킴

 

-부모들로부터 아동들의 연구참여에 대한 사전 허락을 받긴 했지만, 부모들은 연구와 관련해 발생 가능한 위험요소들에 대한 충분한 정보를 제공받지 못함.

 

-또한 부모가 동의서에 서명하지 않으면 아동들이 해당 시설에 입소하지 못할 것이라고 부모들이 믿도록 유도한 증거들도 발견됨.

) --> 

윤리적 문제: 취약한 환경의 연구대상자에 대한 착취, 위험에 대한 정보제공의 보류, 아동들을 자발적으로 참여하도록 부모들에게 가해진 부당한 압력이나 강요.

) --> 

[탈리도마이드 사건]

 

-탈리도마이드는 독일 제약회사 그뤼넨탈이 1957년 출시한 임산부 입덧 방지약의 주성분

 

-당시 이 약을 먹은 여성들은 팔, 다리뼈가 없거나 극단적으로 짧아 손발이 몸통에 붙어 있는 1만 명 이상의 기형아를 출산

 

-약을 출시하기 전 쥐와 개, 고양이를 대상으로 한 동물실험에서는 나타나지 않았던 현상.

 

-뒤늦게 인간과 좀 더 유사한 원숭이를 대상으로 실험한 결과 기형아를 낳는 결과가 나왔고, 약은 결국 시장에서 퇴출됨.

 

-반대로 백혈병 치료제로 잘 알려진 글리백은 쥐에서는 독성을 보였지만, 원숭이와 사람에게 투여했을 때는 효과가 좋았다.

 

-아스피린과 페니실린 등 많은 의약품이 인간과 다른 동물에게서 전혀 다른 반응을 나타냈음.

) --> 

의의: 동물 실험을 전제로 한 독성 실험 결과가 인간 실험에서는 전혀 다른 불행한 결과가 나타날 수 있음을 알려 준 사건들이다.

) --> 

                -thalidomide 의 부작용으로 인한 결과-

 

[밀그램(Milgram) 복종실험]

 

-1961년 예일 대학교의 심리학과 조교수 스탠리 밀그램(Stanley Milgram)이 실시한, 권위에 대한 복종에 대한 실험

 

-사람들이 파괴적인 권위에 굴복하는 이유가 성격보다 상황에 있다고 믿고, 굉장히 설득력 있는 상황이 생기면 아무리 이성적인 사람이라도 윤리적, 도덕적인 규칙을 무시하고 명령에 따라 잔혹한 행위를 저지를 수 있다는 증명을 하는 실험.

) --> 

 

[실험참가자의 모집]

 

-‘학습 효과에 대한 과학실험에 참가할 실험대상자를 시간당 4달러를 대가로 공개모집.

 

-실험 대상자들은 어떤 특별한 교육, 훈련도 필요 없고 누구나 다 할 수 있는 자리라고 소개함.

 

-참가 실험 대상자들에게는 당시로는 큰 금액인 시간당 4달러를 제공하겠다고 공고문에 제시함.

 

-주차비로 50센트를 더 주겠다고 공고를 냄.

) --> 

[실험방법과 윤리적 쟁점]

 

-실험 참가자는 각각 선생과 학생 역할로 나눔(사실 학생 역할의 피실험자는 배우였음.)

 

-실험자는 선생 역할의 피실험자에게는 학생에게 테스트할 문제를, 학생 역할의 배우에게는 암기할 단어를 제시.

 

-그 다음, 선생에게 학생들을 테스트한 후 학생이 문제를 틀릴 때마다 15볼트부터 시작하여 450볼트까지 한번에 15볼트 씩의 전기 충격을 가하라고 지시.

 

-밀그램이 주시했던 것은 선생들이 전압을 높여가는 과정에서 어떤 태도를 보이는 가 였다.

 

-밀그램은 선생들이 과연 15볼트에서 450볼트까지 전압을 높일 것인지에 대해 관찰.

 

-실험자는, 흰색 가운을 입고 전압을 올릴지 말지 고민하는 선생들에게 실험의 모든 책임은 내가 진다며 전압을 올릴 것을 강요.

 

-윤리적 쟁점

 

[1]피실험자들에게 심리적 외상을 줄 수 있었음에도 불구하고 이를 미리 알리지 않았다는 이유로 윤리적으로 많은 비판을 받음.

 

[2]deception(기만) 연구의 특성에 맞는 동의방법 고려와 심리적 위해에 대한 대책수립 고려 필요. -> 기만 연구는 사후 동의 방법이 있긴 하나 IRB 승인을 받는 전제 조건이 필요하다. 이런 기만 연구는 사후에 디브리핑 과정을 통해 설명을 해 주고 피험자의 동의 없이는 연구 결과를 사용 않겠다고 말해줘야 함.

) --> 

비명 지르거나, 그만해 달라고 사정하는 배우도 있었다. 선생님 역할 맡은 사람은 전기의 전압이 올려질 때마다 주저하게 되고, 이를 과연 해야 되는지를 옆에서 감독하고 있던 스탠리 선생님에게 묻기도 했었다. 이 전체 과정을 통해서 연구자인 밀그램이 알고자 했던 건 선생님들이 전압을 높여가는 과정에서 어떤 태도를 보이는지 알고 싶었다.

) --> 

[공공장소에서의 행동관찰 연구]

 

-1970Laud Humphreys 가 공공장소에서 행해지는 동성애 행동관찰과 분석 관한 박사학위논문 연구.

 

-다방(Tearoom): 동성애자들의 만남의 장소인 공중화장실을 의미하는 은어

 

-연구: 70년대 동성애자들에 대한 고정관념을 사회학적인 조사를 통해 동성애자들이 사회적 인구학적 다양성을 지녔음을 연구하고자 함.

) --> 

-연구자는 공공장소인 다방’(공원 화장실)에서 동성애자들의 만남을 경찰로부터 망을 봐주기로 하고, 이들이 타고 온 자동차의 번호판을 기록한 뒤 차량등록국을 통해 동성애자들의 주소를 파악한 다음, 인구조사원을 가장하여 연구대상자들의 가정을 방문하여 이들의 가정환경을 조사함.

 

-윤리적 쟁점

[1] 동의(informed consent)의 부재 [2] 사생활(privacy) 침해

) --> 

이 연구에서 쟁점이 되었던 건 사생활 보호와 관련된 문제였다. 당연히 이 연구는 동의가 이뤄지지 않았으며 자동차 번호판, 차량 등록국 등을 통해 개인정보가 부당한 추적을 당하는 방법이 동원되었음. 스스로가 연구자임을 밝히지 않은 채, 조사 대상자 가정을 방문하여 어떻게 살고 있는지를 알아내 버림.

 

-의약품과는 달리 사회행동 과학 영역에서의 사생활 침해는 되돌릴 수 없는 심각한 위해를 가할 가능성이 높아서 이에 대한 연구자들의 주의와 IRB 의 특별한 관심과 보호책이 필요함.

) --> 

[유대인 만성질환 연구]

 

-1963년에 고령의 환자들에게 살아있는 간암세포가 주입

-당사자들은 자신들이 암에 대한 면역 연구에 참여한다는 사실을 모르고 있었음.

-연구자들은 주입된 간암세포들이 체내에서 거부될 것이라고 믿었으므로 환자들이 불안해하지 않도록 연구대상자들에게 해당 사실을 알리지도 않고, 동의를 구하지도 않음.

) --> 

윤리적 문제: 충분한 설명에 근거한 동의의 부재. 취약한 환경의 연구대상자 이용.

) --> 

[San Antonio 피임 연구]

 

-1971년 텍사스 주 San Antonio 에서는 수많은 멕시코계 미국 여성들이 경구피임약의 부작용을 확인하는 연구에 참여함.

-여성들은 단순히 피임약 처방을 받기 위해 병원을 방문한 환자였음.

: 사전 설명 없이, 참여 여성의 절반은 처음에는 경구피임약을 받고 이후에는 위약을 처방받음

:반면, 나머지 절반의 여성들은 처음에는 위약을 받고 이후에는 경구피임약을 투약받음.

:76명의 연구대상자 가운데 10명이 위약을 복용하는 동안에 임신.

) --> 

-윤리적 문제: 충분한 설명에 근거한 동의의 부재. 취약한 환경의 연구대상자 이용. 연구대상자에게 발생 가능한 위험이 이득을 초과함.

) --> 

[정상 연구대상자의 사망사고]

 

-1996331, 19세의 Rochester 대학 학생은 폐포 조직구를 채취하기 위한 기관지경 검사를 받는 임상시험에 동의

 

-기관지경 검사는 어려운 시술이었고, 다량의 리도카인 외용제가 사용됨.

 

-연구자는 연구대상자에게 실험을 계속 진행할 수 있는지 반복적으로 물어보았고, 연구대상자는 승낙함.

 

-실험이 끝나고 연구대상자는 리도카인 과잉복용으로 심장마비를 일으켜 응급실에 내원했지만 199642일에 사망함.

 

-연구계획서에는 리도카인의 용량 제한이 없었으며, 사용량도 명시하지 않았고, 기관지경 검사 후에 연구대상자의 건강을 확인하지 않았으며, 리도카인의 혈중농도를 IRB 의 승인 없이 증량했다는 것이 밝혀졌습니다.

) --> 

[유전자 치료 시험 중 사망]

 

-1999년 가을, 18세의 Jesse Gelsinger 는 그가 참여하던 유전자 이식 시험 때문에 사망함

 

-Jesse 는 희귀한 신진대사 장애를 앓고 있었는데, 이는 약무치료와 식이요법으로 조절되는 ornithin transcarbamylase 결핍 증후군(OTC)

 

-Pennsylvania 대학의 연구자들은 아데노바이러스를 이용한 유전자 이식을 이용한 혁신적인 기법을

  시행

 

-Jesse Gelsinger에게 다발성 장기부전이 발생했고 결국에는 사망함.

 

-이해상충, 데이터 안전성 모니터링, 그리고 충분한 설명에 근거한 동의와 관련된 심각한 문제들로 인해

 

-Jesse Gelsinger 사건은 인간대상연구의 윤리적 진실성에 대해 지속적인 의구심을 갖게 하는 현 시대의 대표적인 본보기가 되었음.

) --> 

이 연구에 참여한 연구자가 창립을 한 벤처회사에서 개발한 약품이 실험에 활용되는 문제

) --> 

02. 인간대상연구관련 윤리적 기준

 

[뉘램버그 강령]

 

-나치의 2차 세계대전 중 인체실험에 대한 전범재판에서 재판부가 허용가능한 인체실험(Permissible Medical Experiments)으로 채택한 문헌으로 이후 뉘램버그 강령(Nuremberg Code)이라 불리게 됨.

 

-인간대상 연구윤리에 관한 최초의 국제적 기준으로 의미

 

-10가지 인간대상 연구에 관한 윤리적 기준 중 가장 중요한 항목

 

: 연구대상자의 충분한 정보에 근거한 자발적인 동의(voluntary consent)는 절대적으로 필수적이라고 규정

 

: 이것은 실험대상자가 동의를 할 수 있는 법적 능력이 있어야 한다는 의미이다.

 

: 어떠한 폭력, 사기, 기만, 협박, 술책의 요소가 개입되지 않고, 압박이나 강제가 존재하지 않는 가운데 스스로 자유롭게 선택할 수 있는 권한이 주어진 상태이어야 한다.

 

: 이해와 분명한 지식에 근거한 결정을 할 수 있도록 충분한 지식과 주관적인 요소들에 대한 정보를 제공하여야 한다는 의미이다.

) --> 

[터스키기 연구의 영향]

 

 

-미 보건국(PHS)의 매독연구는 인간대상연구에 대한 대중의 인식을 높이는 데 큰 영향을 줌.

 

-언론이 PHS 매독연구에 대해서 보고한 후, 미 의회는 특별 위원회(AD Hoc Panel)를 설치.

 

-위원회는 향후 임상시험에 참여하는 연구대상자들을 보호하기 위해 미 연방정부 차원의 규제가 마련되고 이를 실행해야 한다고 권고함.

 

결과적으로 [1] 국가연구에 관한 법률(National Research Act) [2] 미 연방규정 45 CFR 46 [3] 미 연방규정 21 CFR 50을 비롯한 연방법들이 입법 이 제정됨.

 

[CIOMS 가이드라인]

 

-세계보건기구(WHO) 산하의 협회인 국제의학기구협회’(CIOMS: The Council for international Organization of Medical Sciences)1982년에 사람을 대상으로 하는 생명의학연구에 대한 국제윤리가이드라인(International Ethical Guidelines for Biomedical Research involving Human Subjects)를 제안함.

 

-생명의학연구 수행의 윤리적 원칙을 개발도상국과 같은 특수한 상황에서 효과적으로 적용할 수 있는 방법에 대하여 제안하고 있다.

 

-199315개 항목의 최초 공표된 가이드라인은 개정작업을 거쳐 20021월에 21개 항목으로 발표되었다.

 

-임상시험자, 윤리심의위원회, 임상 시험의 피험자 및 임상시험 의뢰자에 대한 권환과 의무에 대하여 설명.

) --> 

[CIOMS(씨옴쓰) 핵심내용]

 

임상시험은 [1] 연구 피험자를 존중하고 보호하는 방법으로 수행되고 [2] 연구의 피험자에게 공정하며 [3] 연구가 수행되는 공동체 안에서 도덕적으로 수용 가능한 경우에만

윤리적으로 정당화될 수 있다.

-> 이게 대 전제다.

) --> 

[CIOMS 구성]

 

Guideline1 : 사람을 대상으로 하는 생명의학연구의 윤리적 정당성 및 과학적 유용성

Guideline2 : 윤리심의위원회(IRB)

Guideline3 : 외부 의뢰 연구의 윤리적 검토

Guideline4 : 개인 동의서

Guideline5 : 동의서 취득 - 예상 연구 피험자들에 대한 필수 정보

Guideline6 : 동의서 취득 - 임상시험의뢰자와 임상시험자의 의무

Guideline7 : 참여 유도

Guideline8 : 연구 참여의 이익과 위험

Guideline9 : 동의를 할 수 없는 사람들을 대상으로 하는 연구에서의 위험에 대한 특별한 제한점들

Guideline10 : 제한된 자원을 가진 집단과 지역사회에서의 연구

Guideline11 : 임상시험에서의 대조군 선택

Guideline12 : 연구에서 피험자군 선정에 있어 부담과 이익의 합리적인 분배

Guideline13 : 취약한 피험자를 대상으로 하는 연구

Guideline14 : 소아를 대상으로 하는 연구

Guideline15 : 정신 또는 행동 장애에 의하여 적절한 동의를 할 수 없는 개인을 대상으로 하는 연구

Guideline16 : 연구피험자로서의 여성

Guideline17 : 임산부의 연구 참여

Guideline18 :

) --> 

) --> 

) --> 

[세계의사회(WMA) 헬싱키 선언]

 

-인간 대상 의학연구 윤리 원칙(World Medical Association Declaration of Helsinki: Ethical principles for medical research involving human subjects)

 

-1964년 핀란드 헬싱키에서 개최한 제18차 세계의사회 총회에서 채택

 

-200810월 한국 서울에서 개최한 제 59차 세계의사회 총회에서 제 6차 개정

 

-201310월 브라질 포르탈레자에서 개최한 제 64차 세계의사회 총회에서 제 7차 개정

) --> 

헬싱키 선언은 인간을 대상으로 하는 의학연구의 의사로서의 윤리적 원칙을 제시함.

) --> 

[헬싱키 선언의 구성]

 

01. 서문: 세계의사회는 헬싱키 선언을 통하여 개인을 식별할 수 있는 인체유래물이나, 정보를 이용하는 연구를 포함한 인간 대상 의학연구의 윤리원칙을 제안하고 발전시켰다.

02. 일반 원칙

03. 위험, 부담 및 이익

04. 취약한 집단 및 개인

05. 과학적 요건 및 연구계획서

06. 연구윤리위원회(IRB)

07. 사생활과 비밀유지

08. 충분한 설명에 의한 동의

09. 임상시험 후 지원

10. 연구등록 및 결과의 출간 및 배포

11. 임상 실무에서 입증되지 않은 시술

) --> 

03. 벨몬트 보고서 (인간대상연구에 관한 윤리원칙)

 

-미국 국가위원회는 1979년 벨몬트 보고서(Belmont Report)를 발간

 

-벨몬트 보고서는 미국내 인간대상연구에 참여하는 연구자의 필수 지침서

 

-벨몬트 보고서는 인간대상연구의 기초가 되는 세가지 기본 윤리원칙들

 

[1] 인간존중 [2] 선행 [3] 정의의 원칙

) --> 

[벨몬트 원칙]

 

-인간대상연구의 세가지 윤리원칙

 

[1]인간존중(Respect for persons)

[2]선행(Beneficence)

[3]정의(Justice)

 

-이 세가지 윤리원칙이 미국내 인간대상 연구와 관련된 법규정의 근간이며 해석과 적용의 기본원칙으로 채택 됨.

) --> 

[인간존중]

 

<인간 존중을 구성하는 두 가지 개념>-모든 개인은 자율적 존재(autonomous agents)로 대우해야 한다.

-자율성이 결여된 개인(diminished autonomy)은 추가적 보호(additional protections)를 제공해야 한다.

) --> 

[자율성]

 

-정신적 역량, 정보를 이해하고 처리할 수 있는 능력

: 정신적 역량, 정보를 이해하고 처리할 수 있는 능력

: 자발성, 다른 사람의 영향이나 통제로부터의 자유

) --> 

-그러므로, 연구대상자가 정보를 이해하고 처리할 수 있는 역량을 가지고 다른 사람으로부터의 강제나 부당한 영향 없이 연구참여를 결정할 수 있는 자유를 가지고 있을 때 완전한 자율성 확보

) --> 

-인간존중의 원칙으로부터 파생된 규정들

: 충분한 설명에 근거한 동의(informed conset) 취득과 관련된 규정

: 연구대상자의 사생활 존중과 관련된 규정

) --> 

[선행]

 

-위험은 최소화 하고 이득은 최대화 해야 한다.

-선행의 원칙으로부터 파생된 규정들

: 위험은 최소화하고 이득은 최대화하는 절차를 사용하도록 하는 규정

: 연구자들이 연구절차를 수행하면서 충분히 위험을 관리할 수 있는지 여부를 확인하도록 하는 규정

: [위험-이득]의 관계가 적절하지 않은 연구를 금지하도록 하는 규정

-이 원칙에서 선행은 보다 강한 의무(obligation)로서의 윤리적 책무를 의미함.

) --> 

단순한 도덕적 선행이 아니라 의무로서의 윤리적 책무를 의미함.

) --> 

[선행]

 

-선한 행위를 의미하는 두 가지 기준

[1] 사람에게 해를 끼치는 행위를 하지 말 것

[2] 가능한 이득(benefits)은 극대화 하도록 노력하고, 위해(harms)는 최소화하도록 노력해야 한다.

-선행의 원칙이 인간대상연구에 적용되는 방법

[1] 연구로 인한 잠재적 이득과 위해의 수준을 평가하고

[2] 잠재적 위해가 이득보다 크지 않도록 노력해야 한다.

) --> 

[정의]

 

-정의의 원칙은 사람들을 공정하게 대하고

-연구의 위험과 이득이 공평하게 분배될 수 있도록 연구를 설계해야 한다.

-정의의 원칙으로부터 파생된 규정

[1] 공정하게 연구대상자를 선정하도록 하는 규정

[2] 취약한 환경의 연구대상자나 이용하기 쉬운 연구대상자들을 착취하지 않도록 하는 규정

) --> 

[세 가지 윤리원칙의 균형]

 

-벨몬트의 세가지 원칙이 각각 동등한 도덕적 영향력을 갖는 것이 국가위원회의 의도

 

-이는 어떤 상황에서는 세 가지 원칙이 서로 충돌할 수 있다는 것을 의미

 

-예를 들어, 인간 존중의 원칙에 따라, 아동들은 스스로 선택할 능력이 없기 때문에 아동들의 연구 참여를 제한하자고 할 수 있음.

 

-그러나, 정의의 원칙에 따르면, 아동들도 연구에 참여하여 연구로부터 이득을 얻을 수 있는 기회를 가질 수 있어야 한다.

 

-벨몬트 보고서는 한 원칙이 항상 다른 원칙을 우선하는 것은 아니라고 기술

 

-세 가지 원칙들을 모두 존중하면서도 각각의 경우를 개별적으로 고유의 장점들을 참작하여 심의해야 한다.

) --> 

) --> 

  ) -->  kairb.org 온라인 강의 필기

) --> 

728x90
반응형
LIST

WRITTEN BY
케노시스
다양한 주제의 이야기들을 나누는 공간입니다.

,