마이크로소프트(MS)가 등록한 ‘특정인의 대화 챗봇 생성 ’ 특허  도면(사진 왼쪽)과 마이크로소프트(MS)의 AI서비스(사진 오른쪽)  (*도면 출처: AI특허검색서비스 키워트(keywert)가 도면인식 및 실시간 렌더링 기술을 적용해 개발한 ‘키렌즈(keyLens)’ 서비스가 제공하는 화면이다.)

미국 마이크로소프트(MS)가 특정인의 개인 데이터를 사용하여 AI 챗봇을 구축할 수 있는 ‘특정인의 대화 챗봇 생성’ 특허를 등록했다.

글로벌 경제 미디어 Forbes에 따르면 마이크로소프트(MS)가 풍자적 공상과학 시리즈 블랙 미러 에피소드 ‘Be Right Back’에서 주인공이 사랑하는 사람을 죽음에서 되살려냈던 기술과 비슷한 ‘특정인의 대화 챗봇 생성’ 특허를 미국 특허청(USPTO)에 등록했다.

IP데일리는 워트인텔리전스가 제공하는 특허 전문 인공지능(AI)형 기계번역 서비스 ‘IP KINGKONG(이하, IP킹콩)’ 을 할용해 해당 특허를 분석했다.

IP킹콩은 세계 1위의 기계번역 기술을 보유한 시스트란(Systran)과 AI 특허검색엔진 ‘키워트(keywert)’를 서비스하는 워트인텔리전스가 공동 개발한 솔루션으로 특허문서를 학습해 특허 분야에서 고품질 신경망(AI) 번역 기능을 제공한다.

‘ 특정인의 대화 챗봇 생성 ‘ 특허

미국에서 전설로 회자되는 영화배우이자 젊음과 반항의 아이콘인 ‘제임스 딘’이 사망한지 60년이 넘었다. 하지만 ‘제임스 딘’은 CGI를 이용해 새로운 장편 영화인 ‘잭 찾기’에 출연하게 됐다. 영화에서 그의 모습은 오래된 영상과 사진으로 조합된다. 하지만 그의 목소리는 다른 배우에 의해 구현된다. 만약 고인의 모습과 목소리를 완벽하게 따라할 수 있다면 완전한 ‘제임스 딘’을 만날 수 있다.

마이크로소프트(MS)가 등록한 ‘특정인의 대화 챗봇 생성’ 특허는 특정인의 개인 데이터를 사용해 챗봇을 트레이닝해 특정인이 지닌 개성을 유지한 체 2D와 3D에서 대화할 수 있는 방안을 제시한다.

요약 : 본 개시의 예들은 특정인의 대화 챗봇을 생성하는 시스템들 및 방법들을 설명한다. 일 측면에 있어서, 상기 특정인에 대한 소셜 데이터(예컨대, 이미지, 음성 데이터, 소셜 미디어 포스트, 전자 메시지, 필기체 등)가 액세스될 수 있다. 상기 소셜 데이터는 상기 특정인의 개성을 주제로 특정 지수를 생성 또는 수정하기 위해 사용될 수 있다. 상기 특정 지수은 상기 특정인의 개성을 대화하기 위해 챗봇을 훈련하기 위해 사용될 수 있다. 이러한 대화 동안, 하나 이상의 대화 데이터 저장소 및/또는 API는 소셜 데이터가 데이터를 제공하지 않는 사용자 대화 및/또는 질문에 응답하는데 사용될 수 있다. 일부 양상들에서, 특정인의 2D 또는 3D 모델은 특정인과 연관된 이미지들, 깊이 정보, 및/또는 비디오 데이터를 이용하여 생성될 수 있다.

마이크로소프트(MS)가 등록한 ‘특정인의 대화 챗봇 생성 ’ 특허  도면  (*도면 출처: AI특허검색서비스 키워트(keywert)가 도면인식 및 실시간 렌더링 기술을 적용해 개발한 ‘키렌즈(keyLens)’ 서비스가 제공하는 화면이다.)

마이크로소프트(MS)의 특허는 특정인의 개성을 살린 대화 챗봇을 생성할 수 있게 한다. 특정인은 친구, 친척, 지인, 유명인, 가상의 인물, 역사적 인물과 같은 과거 또는 현재 모습에 해당될 수 있다. 특정인의 개성을 살리기 위해서 그와 관련된 소셜 데이터를 이용한다.

소셜 데이터는 이미지 데이터, 음성 데이터, 이메일, 문자 메시지, 소셜 미디어 포스트, 필기체, 사용자 프로파일 정보, 행동 데이터, 거래 데이터, 지리적 위치 데이터, 그리고 특정인에 대한 모든 형태의 데이터를 의미한다. 그리고 소셜 데이터로 얻은 특정인의 개성을 이용해 개인화된 대화 지수를 생성 또는 수정한다. 이로써 특정인의 모습부터 목소리까지 생성할 수 있다.

【0003】 본 개시의 예들은 특정인(또는 특정 엔티티)의 대화 챗봇을 생성하는 시스템들 및 방법들을 설명한다. 상기 특정인과 관련된 소셜 데이터(예컨대, 이미지, 음성 데이터, 소셜 미디어 포스트, 전자 메시지, 필기체 등)가 액세스될수 있다. 상기 소셜 데이터는 상기 특정인의 개성을 주제로 특정 지수를 생성 또는 수정하기 위해 사용될 수 있다. 상기 특정 지수은 상기 특정인의 개성으로 대화하고 상호작용하기 위해 챗봇을 트레이닝하기 위해 사용될 수 있다.이러한 대화 동안, 하나 이상의 대화 데이터 저장소 및/또는 API는 소셜 데이터가 데이터를 제공하지 않는 사용자 대화 및/또는 질문에 응답하는데 사용될 수 있다. 일부 양태들에서, 특정인의 음성 폰트는 특정인과 관련된 레코딩 및 사운드 데이터를 이용하여 생성될 수 있다. 일부 양상들에서, 상기 특정인의 2D 또는 3D 모델은 상기 특정인과 연관된 이미지들, 깊이 정보, 및/또는 비디오 데이터를 사용하여 생성될 수 있다.

【0014】 본 개시는 특정인(또는 특정 엔티티)의 대화 챗봇을 생성하는 시스템들 및 방법들을 제공한다. 일 측면에 있어서, 상기 특정인과 관련된 소셜 데이터가 액세스될 수 있다. 예를 들어, 상기 특정인은 친구, 친척, 지인, 유명인, 가상의 인물, 역사적 인물, 임의 엔티티등과 같은 과거 또는 현재 엔티티(또는 그 버전)에 해당할 수 있다. 또한, 상기 특정인은 자신(예컨대, 챗봇을 생성/트레이닝하는 사용자), 또는 자신의 버전(예컨대, 특정 나이 또는 삶의 단계에 있는 자신)에 해당할 수 있다. 여기에서 사용되는 바와 같은 소셜 데이터는 이미지, 이미지 데이터, 음성 데이터, 이메일, 텍스트 메시지, 대화 데이터/명령, 소셜 미디어 포스트, 필기체, 사용자 프로파일 정보, 행동 데이터, 거래 데이터, 지리적 위치 데이터, 및 특정인에 대한 다른 형태의 데이터를 의미할 수 있다. 예를 들어, 소셜 데이터는 다양한 데이터 소스에 의해 저장 및/또는 수집될 수 있다. 상기 소셜 데이터(또는 그 일부)는 상기 특정인의 개성을 테마로 개인화된 채팅 지수를 생성 또는 수정하기 위해 사용될 수 있다. 채팅 지수는 대화 데이터의 저장소를 의미한다. 예를 들어, 개인화된 채팅 지수을 생성/수정하는 단계는 특정인의 소셜 데이터에 하나 이상의 규칙 세트 또는 기계 학습을 적용하는 단계를 포함할 수 있다.

【0015】 일 측면에 있어서, 개인화된 채팅 지수는 특정인의 개성을 변환 및/또는 상호작용하기 위해 챗봇 또는 언어 이해(LU) 모델을 트레이닝하기 위해 사용될 수 있다. 본 명세서에서 사용되는 모델은 하나 이상의 단어, 문자 시퀀스 또는 이벤트에 대한 확률 분포를 결정하고, 및/또는 하나 이상의 예측자로부터 응답값을 예측하는데 사용될 수 있는 예측 또는 통계적 언어 모델을 지칭할 수 있다. 예를 들어, 모델은 규칙 기반 모델, 기계 학습 귀환 장치, 기계 학습 분류기, 신경망 등일 수 있다.일부 양상들에서, 특정인의 개성에서의 변환은 스타일, 딕션, 톤, 음성, 의도, 문장/대화 길이 및 복잡성, 토픽, 및 일관성과 같은 특정인의 대화 속성들을 결정 및/또는 사용하는 것을 포함할 수 있다. 특정인의 개성에서의 전환은 추가적으로 특정인 및/또는 특정인과 유사한 것으로 결정된 사람의 행동 속성(예컨대, 사용자 관심사, 의견 등) 및 인구학적 정보(예컨대, 나이, 성별, 교육, 직업, 소득 수준, 관계 상태 등)를 결정 및/또는 사용하는 것을 포함할 수 있다. 일부 양상들에서, 챗봇 또는 LU 모델과의 대화 동안, 하나 이상의 대화 데이터 저장부들 및/또는 API들은 소셜 데이터가 데이터를 제공하지 않는 사용자 대화 및/또는 질문들에 응답하기 위해 사용될 수 있다. 대화 데이터 저장소는, 예를 들어, 다양한 데이터 소스로부터 수집된 다이얼로그, 상호작용 및/또는 거래로부터의 크라우드소싱된 대화 데이터를 포함할 수 있다. 크라우드소싱된 대화 데이터는 라벨링된 및/또는 라벨링되지 않은 데이터, 트레이닝 데이터 등을 포함할 수 있다.실시예에서, 챗봇과 연관된 대화의 특정 부분 동안 사용할 대화 데이터 소스를 결정하기 위해 다양한 학습 기술(예를 들어, 딥 러닝, 휴리스틱스 등)이 대화 데이터에 적용될 수 있다.

【0016】 일 측면에 있어서, 특정인의 음성 폰트는 음성 인식 및/또는 음성 합성 알고리즘을 소셜 데이터 내의 하나 이상의 음성 레코딩에 적용함으로써 생성될 수 있다. 음성 녹음은 소셜 데이터, 하나 이상의 사물인터넷(IoT) 데이터 소스(예컨대, 개인 휴대 정보 단말기, 자연어 이해 시스템 등) 등으로부터 수집될 수 있다.상기 음성 폰트는 특정인의 챗봇에 적용될 수 있다. 또한, 소셜 데이터 내의 하나 이상의 사진에 얼굴 인식/검출 알고리즘을 적용하여 특정인의 2차원(2D) 영상을 생성하거나, 하나 이상의 다른 데이터 소스로부터 수집할 수 있다. 2D 이미지는 보다 현실적이고 인간적인 채팅 경험을 생성하기 위해 특정인의 챗봇에 적용될 수 있다. 특정인의 2D 모델(또는 2D 모델을 생성하는데 사용되는 데이터의 일부)은 특정인의 3차원(3D) 모델을 생성하는데 사용될 수 있다. 예를 들어, 하나 이상의 이미지들, 깊이 정보 및/또는 컬러 정보는 3D 모델링 알고리즘에 대한 입력(들)으로서 제공될 수 있다. 3D 모델링 알고리즘은 3D 모델을 생성하고, 특정인의 챗봇에 3D 모델을 적용하는 것을 용이하게 할 수 있다. 3D 모델은 챗봇과 상호작용하는 사용자에 대해 (예를 들어, 가상 현실, 증강 현실, 또는 혼합 현실 컨텍스트에서) 더 몰입적이고 상호작용적인 경험을 제공할 수 있다.

이번 마이크로소프트(MS)이 제시하는 ‘특정인의 대화 챗봇 생성’ 특허 청구항 내용은 아래와 같다.

【청구항 1】 1. 적어도 하나의 프로세서를 포함하는 시스템; 및 적어도 하나의 프로세서에 연결되고, 상기 적어도 하나의 프로세서에 의해 실행될 때, 특정 엔티티와 연관된 요청을 수신하는 단계; 상기 특정 엔티티와 연관된 상기 특정 엔티티의 이미지, 상기 특정 엔티티에 대한 음성 데이터, 상기 특정 엔티티와 관련된 대화 데이터, 상기 특정 엔티티에대한 공개 가능한 정보 중 적어도 하나를 포함하는 소셜 데이터에 액세스 하는 단계; 상기 소셜 데이터를 이용하여 상기 특정 엔티티에 대한 개성 정보를 포함하는 개성 지수를 생성하는 단계; 상기 특정 엔티티의 개성 정보를 이용하여 대화식으로 대화하기 위해 챗봇을 훈련하기 위한 개성 지수를 이용하는 단계; 챗봇이 대화 내용을 수신하는 단계; 상기 대화 봇에 의해, 상기 개성 지수에 액세스가능한 하나 이상의 데이터 소스들로부터 응답 데이터를 수집하기 위해 계층적 데이터 트래버설 프로세스를 사용하여 상기 대화에 대한 응답을 생성하는 단계로서, 상기 응답 데이터를 수집하는 단계는,상기 대화 봇에 의해, 상기 개성 지수가 상기 대화의 하나 이상의 부분들을 어드레싱하기 위한 데이터를 포함하지 않음을 결정하는것을 포함하는 단계; 상기 챗봇이 상기 개성 지수에 포함되지 않은 데이터를 해결하기 위한 하나 이상의 질문을 작성하는 단계; 및 챗봇과 상호작용하는 사용자에게 하나 이상의 질문을 제공하는 단계를 포함하는 특정 엔티티의 대화 챗봇을 생성 및 상호 작용하는 방법을 수행하는 컴퓨터 실행 가능 명령들을 포함하는 메모리를 포함하는 시스템.

【청구항 2】 2. 제1항에 있어서, 상기 방법은 하나 이상의 데이터 소스들을 식별하기 위해 상기 요청 내의 정보를 사용하는 단계를 더 포함하고, 상기 하나 이상의 데이터 소스들은 상기 소셜 데이터를 포함하는, 시스템.

【청구항 3】 3. 제1항에 있어서, 상기 소셜 데이터는 소셜 미디어 포스트, 필기체, 사용자 프로파일 정보, 행동 데이터, 거래 데이터, 및 지리적 위치 데이터 중 적어도 하나에 더 기초하는, 시스템.

【청구항 4】 4. 제1항에 있어서,상기 접속된 소셜 데이터를 수집하는 단계; 접속된 소셜 데이터를 데이터 저장소에 저장하는 단계; 및 저장된 소셜 데이터에 대한 지수 생성 엔진 액세스를 제공하는 단계를 더 포함하는 시스템.

【청구항 5】 5. 제1항에 있어서,기계 학습 기술 및 하나 이상의 규칙 세트 중 적어도 하나를 사용하여 상기 소셜 데이터를 처리하는 단계; 및 상기 처리된 소셜 데이터를 상기 개성 지수에 적용하여 개인화된 개성 지수를 생성하는 단계를 더 포함하는 시스템.

【청구항 6】 6. 제 1 항에 있어서,상기 개성 지수는 상기 소셜 데이터를 처리하기 위한 하나 이상의 데이터 처리 알고리즘들과 연관되고, 상기 하나 이상의 데이터 처리 알고리즘들은 챗봇 상호작용 규칙들, 이미지 분류 규칙들, 및 데이터 획득 규칙들 중 적어도 하나에 대응하는, 시스템.

【청구항 7】 7. 제1항에 있어서, 상기 트레이닝하는 단계는, 상기 특정 엔티티의 음성 폰트, 상기 특정 엔티티의 2D 이미지 및 상기 특정 엔티티의 3D 이미지 중 적어도 하나를 상기 챗봇에 적용하는 단계를 포함하는 것을 특징으로 하는 시스템.

【청구항 8】 8. 제1항에 있어서,상기 계층적 데이터 트래버설 프로세스는 상기 특정 엔티티로부터의 소셜 데이터를 평가하는 단계, 상기 특정 엔티티와 유사한 엔티티들로부터의 소셜 데이터를 평가하는 단계, 글로벌 사용자 베이스로부터의 소셜 데이터를 평가하는 단계, 및 일반 응답 옵션들을 평가하는 단계를 포함하는, 시스템.

【청구항 9】 9. 특정 엔티티의 대화 챗봇을 생성하기 위한 방법으로서,특정 엔티티와 연관된 요청을 수신하는 단계; 및 상기 특정 엔티티의 대화 챗봇을 생성하기 위한 단계; 상기 특정 엔티티와 연관된 상기 특정 엔티티의 이미지, 상기 특정 엔티티에 대한 음성 데이터, 상기 특정 엔티티와 관련된 대화 데이터, 및 상기 특정 엔티티에 대한 공개 가능한 정보 중 적어도 하나를 포함하는 소셜 데이터에 액세스하는 단계; 기계 학습 기술 및 하나 이상의 규칙 세트 중 적어도 하나를 사용하여 소셜 데이터를 처리하는 단계로서, 소셜 데이터를 처리하는 단계는: 특정 엔티티에 대해 수집된 대화 데이터를 식별하는 단계; 특정 엔티티와 유사한 하나 이상의 엔티티로 수집된 대화 데이터를 식별하는 단계; 및 하나 이상의 엔티티 및 특정 엔티티 사이의 유사성을 표현 분석 기법, 승인 표시자 및 특성 비교 중 적어도 하나를 사용하여 결정하는 단계를 포함하는 단계; 상기 소셜 데이터를 이용하여 개성 지수를 생성하는 단계로서, 상기 개성 지수는 상기 특정 엔티티에 대한 개성 정보를 포함하는, 상기 개성 지수를 생성하는 단계; 및 상기 개성 지수를 이용하여 챗봇을 트레이닝하여 상기 특정 엔티티의 개성 정보를 이용하여 대화적으로 상호작용하는 단계를 포함하는 방법.

【청구항 10】 10. 제9항에 있어서, 상기 특정 엔티티는 친구, 친척, 지인, 유명인, 가상의 인물, 역사적 인물 중 적어도 하나인 것을 특징으로 하는 방법.

【청구항 11】 11. 제 9 항에 있어서,상기 개성 지수는 상기 특정 엔티티로부터의 데이터 및 일반화된 채팅 지수로의 액세스를 제공하는, 방법.

【청구항 12】 12. 제 9 항에 있어서,기계 학습 기술들 및 하나 이상의 규칙 세트들 중 적어도 하나를 이용하여 상기 소셜 데이터를 처리하는 단계를 더 포함하고,상기 소셜 데이터를 처리하는 단계는 상기 특정 엔티티에 대해 수집된 대화 데이터를 식별하는 단계 및 상기 특정 엔티티와 유사한 하나 이상의 엔티티들에 대해 수집된 대화 데이터를 식별하는 단계를 포함하는, 방법.

【청구항 13】 13. 제9항에 있어서, 상기 비교 특성들은 인구통계 데이터, 행동 데이터, 콘텐츠 스타일, 및 심리통계 데이터 중 적어도 하나를 포함하는 방법.

【청구항 14】 14. 실행될 때, 컴퓨팅 시스템으로 하여금 특정 엔티티와 연관된 요청을 수신하는 단계; 상기 특정 엔티티와 연관된 상기 특정 엔티티의 하나 이상의 이미지들 및 상기 특정 엔티티에 대한 음성 데이터, 상기 특정 엔티티와 연관된 대화 데이터, 및 상기 특정 엔티티에 관한 공개적으로 이용가능한 정보 중 적어도 하나를 포함하는 소셜 데이터에 액세스하는 단계; 상기 소셜 데이터를 이용하여 상기 특정 엔티티에 대한 개성 정보를 포함하는, 개성 지수를 생성하는 단계; 상기 특정 엔티티의 개성을 이용하여 대화식으로 상호 작용하기 위해 상기 개성 지수를 사용하는 단계; 챗봇이 대화 내용을 수신하는 단계; 상기 대화 봇에 의해, 상기 개성 지수에 액세스가능한 하나 이상의 데이터 소스들로부터 응답 데이터를 수집하기 위해 계층적 데이터 트래버설 프로세스를 사용하여 상기 대화에 대한 응답을 생성하는 단계로서, 상기 대화 봇에 의해, 상기 개성 지수가 상기 대화의 하나 이상의 부분들을 어드레싱하기 위한 데이터를 포함하지 않음을 결정하는 단계를 포함하는 단계; 상기 챗봇이 상기 개성 지수에 포함되지 않은 데이터를 해결하기 위한 하나 이상의 질문을 작성하는 단계;및 챗봇과 상호작용하는 사용자에게 하나 이상의 질문을 제공하는 단계를 포함하는 특정 엔티티의 대화 챗봇을 생성하기 위한 방법을 수행하게 하는 컴퓨터 실행가능 명령들을 저장하는 컴퓨터 판독가능 저장 장치.

【청구항 15】 15. 제 14 항에 있어서,상기 개성 지수는 상기 소셜 데이터를 처리하기 위한 하나 이상의 데이터 처리 알고리즘들과 연관되고, 상기 하나 이상의 데이터 처리 알고리즘들은 챗봇 상호작용 규칙들, 이미지 분류 규칙들, 및 데이터 획득 규칙들 중 적어도 하나에 대응하는, 컴퓨터-판독가능 저장 장치.

【청구항 16】 16. 제 14 항에 있어서,상기 트레이닝하는 단계는,상기 특정 엔티티의 음성 폰트, 상기 특정 엔티티의 2D 이미지, 및 상기 특정 엔티티의 3D 이미지 중 적어도 하나를 상기 챗봇에 적용하는 단계를 포함하는,컴퓨터 판독가능 저장 장치.

【청구항 17】 17. 제14항에 있어서,상기 방법은,상기 챗봇에 의해, 상기 컴퓨터 판독가능 저장 장치에 액세스가능한 인터페이스를 통해 사용자로부터 대화를 수신하는 단계; 및 상기 챗봇에 의해, 상기 수신된 대화에 대한 응답을 생성하는 단계로서, 상기 응답을 생성하는 단계는 상기 개성 지수에 액세스가능한 하나 이상의 데이터 소스들로부터 응답 데이터를 수집하기 위해 데이터 트래버설 프로세스를 이용하는 단계를 포함하는, 상기 응답을 생성하는 단계를 더 포함하는, 컴퓨터 판독가능 저장 장치.

【청구항 18】 18. 제1항에 있어서, 상기 요청은,이름, 별명, 직업 또는 기간 중 적어도 하나를 포함하는, 시스템.

【청구항 19】 19. 제 6 항에 있어서,상기 챗봇 상호작용 규칙들, 이미지 분류 규칙들, 및 데이터 획득 규칙들 중 적어도 하나는 하나 이상의 데이터세트들을 액세스하기 위한 기준을 포함하는, 시스템.

【청구항 20】 20. 제 19 항에 있어서,상기 이미지 분류 규칙들은 상기 특정 엔티티에 대한 라벨을 결정하기 위해 상기 특정 엔티티의 얼굴 인식 데이터와 라벨링된 이미지 데이터를 비교하도록 구성되는, 시스템.

IP KINGKONG은 새로운 특허 번역 패러다임을 제시하는 AI 번역 플랫폼으로, 신속하고 정확하고 경제적인 번역 서비스를 통해 특허업무 생산성을 높여준다. 특허번호를 입력하거나 문서를 업로드하는 방식으로 번역을 의뢰하고 단 하루(최소 6시간)만에 번역문을 받아볼 수 있어 사용이 간단하고, 기존 휴먼 번역에 비해 80% 이상 번역 비용을 절감시킬 수 있다.