기술블로그 ChatGPT(챗봇 GPT)의 정보와 사용법, SW testing 관점에서의 해석 ②
2023-07-06
지난 ChatGPT(챗봇 GPT)의 정보와 사용법, SW testing 관점에서의 해석 ①편에서는 'ChatGPT'가 무엇인지 알아보고 실제로 사용까지 해보았습니다.
본 리포트에서는 'ChatGPT'를 소프트웨어 테스팅 관점에서 바라본 내용을 다루고자 합니다.
9.'ChatGPT'의 소프트웨어 테스팅 관점 포커스
인공지능 언어 모델인 ‘ChatGPT’는 일반 소프트웨어와 동일한 방식으로 테스트할 수 있는 전통적인 소프트웨어 애플리케이션이 아닙니다. 소프트웨어 테스팅 관점에 포커스 해서 파악해야 할 부분을 기재해 보겠습니다. ‘ChatGPT’의 소프트웨어 테스팅을 위해서는 인공지능 기반 시스템에 대한 기본 개념을 알고 있어야 합니다. 그래서 ISTQB Certified Tester AI Testing에 정의된 개념을 알아보도록 하겠습니다.
9-1. 인공지능 기반 시스템 명세
기존 시스템의 명세가 중요하듯이 인공 지능 기반 시스템 명세는 매우 중요합니다. 하지만, 기존 시스템 명세 방법과 달리 인공 지능 시스템 명세가 더 어렵습니다. 그 이유는 하기와 같이 요약할 수 있습니다.
9-1-1. 인공 지능 시스템은 탐색적 성격을 가지고 있습니다
9-1-2. 인공 지능 기반 시스템의 정확도는 독립적인 테스팅의 결과가 나올 때까지 알 수 없는 경우가 대부분입니다
9-1-3. 예측 정확도 등과 같은 일부 기대 품질 요구 사항에 대해서는 허용 오차를 지정해야 할 수 있습니다
9-1-4. 자연어 인식, 컴퓨터 비전, 인간과의 상호 작용과 같은 사용자 인터페이스 구현을 위해 인공 지능을 사용하는 경우, 시스템의 높은 유연성을 보여야 합니다.
9-1-5. 적응성, 유연성, 진화, 자율성과 같은 인공 지능 기반 시스템 품질 특성이 고려되어야 합니다.
9-2. 인공지능 기반 시스템의 테스트 레벨 (CTFL AI Testing'에서 정의)
‘ISTQB CTFL AI Testing’에서는 인공 지능 기반 시스템의 테스트 레벨을 상위 와 같이 정의하고 있습니다. 이번 기술 리포트에서는 ‘ChatGPT’에 대해 ‘입력 데이터 테스팅’을 SW Testing 관점에서 실습해 보겠습니다.
9-3. SW Testing 관점 - ’ChatGPT’ 입력 데이터 테스팅.
인공지능 모델은 일반적으로 입력된 데이터에 대한 학습을 기반으로 작동함으로 입력 데이터 테스팅은 인공지능 모델이 다양한 입력 데이터를 올바르게 처리하고 예상한 대로 동작하는지 확인하는데 매우 중요합니다. ’ChatGPT’는 대화 기반의 자연어 처리 모델로, 다양한 문장 구조 및 언어 스타일을 가진 문장을 사용하여 모델이 문장을 올바르게 처리해야 하는지 확인해야 합니다
그리고 입력된 데이터가 일상의 대화나 질문<->응답 형식으로 구성되어 있습니다. 테스트를 위해서는 하기와 같은 방법이 필요합니다
9-3-1. Sample Data set 사용
’ChatGPT’ 모델을 처음 사용하는 경우, Sample Data set을 사용하여 모델을 테스트할 수 있습니다.
<사진. PersonaChat data examples set>
출처: https://www.kaggle.com/datasets/atharvjairath/personachat
9-3-2. 실제 데이터 사용
모델이 실제 데이터에서 작동하는지 확인하기 위해서는 해당 도메인에서 수집된 대화 데이터를 사용하는 것이 좋습니다. 의료 분야를 예로 들면 ‘PubMedQA’를 이용하여, ‘ChatGPT’가 의료분야에 대해 정확한 정보를 제공하고 있는지 확인할 수 있습니다.
< 사진. PubMedQA Data set>
출처: https://aclanthology.org/D19-1259/
9-3-3. 인공적으로 생성된 데이터 사용
예를 들어 ‘ChatGPT’에게 뉴스 기사를 요청을 하여 생성한 후 이전 문장을 제공하고 이어지는 문장을 생성하도록 요청할 수 있습니다. 이를 통해 ‘ChatGPT’가 문맥을 이해하고 의미 있는 답변을 제공하는지 확인할 수 있습니다
9-3-4. 릴리즈 노트와 문서 확인
'ChatGPT’의 릴리즈노트와 문서에서는 모델의 테스트 결과와 함께 언급된 주요 특징들을 확인할 수 있습니다. 이를 통해 ‘ChatGPT’가 어떤 도메인에서 정상 작동하는지, 어떤 제약 조건이 있는지 파악할 수 있습니다.
그러면 ‘ChatGPT’의 입력 데이터 테스팅을 진행을 목표로 입력 데이터 테스팅을 위한 TESTCASE를 예시로 만들어 봅시다. 하기 TESTCASE는 입력 데이터 테스팅을 위한 필자의 샘플이오니, 참고만 부탁드리며, 이견 있으시거나, 개선 필요 항목 존재 시, 댓글 부탁드립니다.
저는 하기와 같이 입력에 대한 특성 별 구분으로 Function을 나누고, 해당 성격에 맞는 질문을 TEST SET으로 만들어 TESTCASE Sample을 작성해 보았습니다.
<입력 문구 특성에 따른 TEST Function 분류 CASE 작업>
상위 Function 구분을 입력 특징에 맞게 기본 대화, 일상 대화, 질문 응답, 명령어, 의미 전달, 자연스러운 대화, 다양한 언어, 전문 지식, 인공 요청, 인물 문의, 주관적 문의로 특징을 구별하여 각 특징에 맞는 CASE를 Sample로 작성해 보았습니다.
TEST CASE를 작성하면서 입출력 테스트만 진행하더라도 인공 지능 모델은 무한한 경우의 수가 있기 때문에, 특성에 따른 분류 및 Pairwise 기법도 활용할 수 있다고 판단됩니다. 검증 범위가 무궁무진하기 때문에 품질 향상을 위한 특성을 잘 파악하고, 분류하여 최대 효과 검증을 진행해야 합니다.
여기까지 SW testing 관점에서 ‘ChatGPT’를 테스트해야 한다면, 여러 TEST 레벨 중 입출력 테스트에 해당되는 내용에 대해 서술해 보았습니다.
10. ‘ChatGPT'로 인해 예상되는 세상의 변화
10-1. 인간과 인공 지능 상호작용의 확대
ChatGPT는 자연어를 이해하고 생성할 수 있는 능력이 있으므로, 사람들은 ChatGPT와 대화를 하면서 일상적인 질문, 정보검색, 추천 등을 받을 수 있습니다. 이를 통해 인간과 인공지능 간의 상호작용이 더욱 증가할 것입니다
10-2. 산업 분야의 변화
ChatGPT 기술은 산업 분야에서도 활용됩니다. 예를 들어, ChatGPT를 활용하여 고객상담을 자동화하거나, 자동번역 기술로 활용될 수 있습니다. 이를 통해 산업 분야에서 더욱 효율적인 업무 처리와 경제적 이득을 얻을 수 있습니다. 반면에 일자리 직종은 감소하는 단점이 있겠습니다.
10-3. 문화와 교육 분야의 변화
‘ChatGPT’는 다양한 언어와 문화를 이해하고 생성할 수 있습니다. 따라서 ‘ChatGPT를 활용하여 다양한 언어와 문화를 배울 수 있는 기회가 더욱 증가할 것입니다. 또한, 인공지능이 인간과 함께 일하는 시대가 도래할 것으로 예상되므로, 교육 분야에서도 인공지능 교육과 관련된 새로운 교육 방법과 교재가 출현할 것입니다. 벌써부터 AI 그림, 소설, 작곡, 작사, 시, 기사 등 창작적인 부분까지 인간의 범위에 크게 영향을 주고 있습니다
10-4. 개인정보 보호의 중요성
‘ChatGPT’기술은 많은 데이터를 수집하고 분석합니다. 따라서 개인정보 보호의 중요성이 더욱 증가할 것입니다. 이를 위해 법적인 규제와 기술적인 보호 대책이 필요합니다.
11. 결론
본 기술 리포트에서는 ChatGPT에 대한 전반적인 이론과 실행 그리고 SW TEsting 관점 – 입력 데이터 테스팅에 대하여 기술하였습니다.
현재 ‘ChatGPT’는 전 세계 센세이션을 일으키고 있습니다. 대형 IT 업계가 인공 지능 접목 및, ‘ChatGPT의 대항마 개발에 착수하였고, 1억 명이 넘는 사용자가 감탄하고 있습니다. 1994년 webBrowser, 1998년 Google 검색 엔진, 2007년 아이폰에 이은 게임 체인저라는 평가를 받을 정도로 무섭게 발전하고 빠르게 성장하고 있습니다. 이에 발맞추어 SW Testing 업계도 인공 지능 SW 평가 기준을 설립하고, 미리 준비해야겠습니다.
12. 마무리하며
본 기술 리포트 작성 시작 시점에는 ‘ChatGPT3.5’ version 이였으나, 마무리하는 지금 시점에 이미 ‘ChatGPT4.0’ 데모 시작 메일이 전달되었습니다.
더 빠르고 더 많은 정보 더 나은 피드백을 제공한다는 정보를 사용자에게 어필하고 있습니다. 인공지능 개발에 속도가 가속화되고 있어 우리 생활에 더 빠르게 스며 들 것으로 예상됩니다. 본 기술 리포트에 관심 가져주셔서 감사합니다.
<사용자에게 전달된 GPT-4 정보 메일>
[추가사항]
2023년 3월 19일 금일 기준으로 뉴스에 ‘ChatGPT’ 신종 앱 사기가 방송되었습니다.
현재’ OpenAI’사의 ‘ChatGPT’는 브라우저(크롬 브라우저 등)를 통해서 PC버전만 사용 가능하며 휴대폰 앱은 미 출시되었으니(23년 3월 기준), 참고 부탁드립니다. 반드시 브라우저를 통한 정식 OpenAI 사이트에서만 사용하시길 권고 드립니다.
<출처>
https://openai.com/
https://news.microsoft.com/ko-kr/2023/02/08/reinventing-search-edge-ai/
https://seo.tbwakorea.com/blog/what-is-chatgpt/
https://namu.wiki/w/ChatGPT
https://blog.naver.com/flitto_inc/222967997835
https://3dplife.tistory.com/entry/%EC%B1%97-GPTChat
https://spartacodingclub.kr/blog/how-to-use-chatgpt
https://www.metroseoul.co.kr/article/20230213500238
https://www.btcc.com/ko-KR/academy/crypto-basics/what-is-chatgpt
http://www.kstqb.org/sw/sw3_6.asp
https://www.kaggle.com/datasets/atharvjairath/personachat
https://aclanthology.org/D19-1259/