삼성이 출원한 ‘증강 현실 제어 장치 및 구현 시스템’ 특허 도면 (*도면 출처: AI특허검색서비스 키워트(keywert)가 도면인식 및 실시간 렌더링 기술을 적용해 개발한 ‘키렌즈(keyLens)’ 서비스가 제공하는 화면이다.)

삼성전자가 출원한 ‘증강 현실 제어 장치 및 구현 시스템’ 특허(공개번호: 10-2020-0057480)는 자동차 운전 중 단계별 내비게이션 경험을 향상시킬 수 있는 AR(증강현실) 및 VR(가상 현실) 관련 기술이다.

요약 : 증강 현실 제어 장치는 외부 기기와 통신 가능한 통신부, 및 통신부를 통해 외부 기기인 감지 장치를 식별하고, 식별된 감지 장치로부터 수신된 감지 데이터에 기초하여 가상 이미지 데이터를 생성하고, 가상 이미지 데이터를 영상 표시 장치에 제공하는 프로세서를 포함한다.

‘증강 현실 제어 장치 및 구현 시스템’ 특허는 내비게이션 정보를 오버레이하고 운전자 눈 앞에서 직접 표시할 수 있는 AR 안경이 기술되어 있다. 일부 자동차 및 헤드 업 디스플레이에는 앞 유리에 내비게이션 정보를 표시하는 기능은 이미 있지만, AR 안경은 실감나는 정보를 제공한다.

[0013] 상기 프로세서는 상기 감지 데이터로부터 상기 이용자의 얼굴의 위치 및 방향에 대한 정보를 추출하는 증강 현실 제어 장치가 제공될 수 있다.
[0014] 상기 영상 표시 장치는 가상 이미지를 출력하고, 상기 프로세서는, 상기 통신부를 통해 외부 기기인 외부 촬영 장치로부터 수신된 실제 이미지 데이터에 기초하여, 상기 영상 표시 장치가 상기 가상 이미지를 실제 이미지에 매칭되게 출력하도록 상기 가상 이미지 데이터를 생성하는 증강 현실 제어 장치가 제공될 수 있다.
[0015] 상기 가상 이미지는 상기 실제 이미지 상에서 고정된 위치를 갖는 증강 현실 제어 장치가 제공될 수 있다.
[0016] 상기 영상 표시 장치는 가상 이미지를 출력하고, 상기 감지 데이터는 이용자의 제스처에 대한 제스처 데이터를 포함하고, 상기 프로세서는, 상기 제스처에 대응하는 기능이 작동되도록 상기 차량을 제어하고, 상기 영상 표시 장치가 상기 가상 이미지를 상기 기능에 대응되게 출력하도록 상기 가상 이미지 데이터를 생성하는 증강 현실 제어 장치가 제공될 수 있다.

삼성이 출원한 ‘증강 현실 제어 장치 및 구현 시스템’ 특허 도면 (*도면 출처: AI특허검색서비스 키워트(keywert)가 도면인식 및 실시간 렌더링 기술을 적용해 개발한 ‘키렌즈(keyLens)’ 서비스가 제공하는 화면이다.)

헤드 업 디스플레이 대신 AR 안경을 사용하면 몇 가지 장점이 있다. 고정된 헤드 업 디스플레이와 달리 AR 안경은 운전 중 운전자가 주변을 둘러 보더라도 내비게이션 정보와 관심 지점을 표시 할 수 있다. 내비게이션 외에도 출구 경사로, 주유소, 관심 장소 등과 같은 추가 정보도 오버레이해서 제공한다.

[0060] 증강 현실 제어 장치(200)는 식별된 제1 감지 장치(110)에 대응하는 데이터 처리 방법으로 감지 데이터를 처리 할 수 있다. 예를 들어, 증강 현실 제어 장치(200)는 감지 데이터로부터 이용자의 얼굴의 위치 및 방향 정보를 추출해낼 수 있다. 증강 현실 제어 장치(200)는 감지 데이터 및 실제 이미지 데이터를 이용하여 실제 이미지와 매칭되는 가상 이미지를 생성하는 가상 이미지 데이터를 생성할 수 있다.(S130) 상기 실제 이미지 데이터는 외부 촬영 장치(400)에 의해 획득될 수 있다. 예를 들어, 가상 이미지 데이터는 방향 안내 표시 정보, 주유소 가격 정보, 또는 경고 정보를 포함할 수 있다. 증강 현실 제어 장치(200)는 이용자(1100)의 얼굴의 위치 및 방향에 대한 정보를 이용하여 가상 이미지와 실제 이미지를 매칭시킬 수 있다. 가상 이미지가 실제 이미지에 매칭되는 것은 가상 이미지의 특성이 실제 이미지에 대응되도록 결정되는 것을 의미할 수 있다. 예를 들어, 가상 이미지(예를 들어, 방향 안내 표시 이미지, 주유소 가격 이미지)의 위치는 실제 이미지(예를 들어, 실제 도로 이미지, 실제 주유소 이미지) 상에서 고정될 수 있다.

‘증강 현실 제어 장치 및 구현 시스템’ 이 작동하려면 삼성 AR 안경은 스마트 폰 (또는 차량 내부의 내비게이션 유닛), GPS, 다중 카메라 및 센서의 지도 앱과 동기화되어 작동해야 한다. 삼성은 이미 카메라 센서, 인포테인먼트 유닛 등 다양한 스마트 카(Smart Car) 관련 구성 요소 기술을 확보하고 있다.

삼성이 출원한 ‘증강 현실 제어 장치 및 구현 시스템’ 특허 도면 (*도면 출처: AI특허검색서비스 키워트(keywert)가 도면인식 및 실시간 렌더링 기술을 적용해 개발한 ‘키렌즈(keyLens)’ 서비스가 제공하는 화면이다.)

[0050] 외부 촬영 장치(400)는 실제 사물을 촬영하여 실제 이미지 데이터를 획득할 수 있다. 실제 사물은 차량(1000) 외부의 도로, 건물, 및 표지판을 포함할 수 있다. 예를 들어, 외부 촬영 장치(400)는 이미지 센서를 포함하는 촬상 장치일 수 있다. 외부 촬영 장치(400)는 영상 표시 장치(300) 외부에 제공될 수 있다. 예를 들어, 외부 촬영 장치(400)는 차량 내부에 배치되되, 영상 표시 장치(300)로부터 이격될 수 있다. 외부 촬영 장치(400)는 증강 현실 제어 장치(200)에 유선 또는 무선으로 연결되어, 실제 이미지 데이터를 증강 현실 제어 장치(200)에 제공할 수 있다. 하나의 외부 촬영 장치(400)가 도시되었으나, 이는 예시적인 것이다. 외부 촬영 장치(400)의 위치 및 개수는 필요에 따라 정해질 수 있다. 외부 촬영 장치(400)가 영상 표시 장치(300) 외부에 별도로 배치되어, 영상 표시 장치(300)를 소형화 및 경량화할 수 있다.
[0051] 증강 현실 제어 장치(200)는 감지 데이터 및 실제 이미지 데이터에 기초하여, 가상 이미지 데이터를 생성할 수 있다. 예를 들어, 증강 현실 제어 장치(200)는 이용자(1100)의 얼굴의 위치 및 방향에 대한 정보를 이용하여 가상 이미지와 실제 이미지가 매칭되도록 가상 이미지 데이터를 생성할 수 있다. 증강 현실 제어 장치(200)는 도 1을 참조하여 설명된 통신부(도 1의 210), 프로세서(도 1의 220), 및 메모리부(도 1의 230)을 포함할 수 있다. 증강 현실 제어 장치(200)는 영상 표시 장치(300)와 유선 또는 무선으로 연결되어, 가상 이미지 데이터를 영상 표시 장치(300)에 전송할 수 있다. 증강 현실 제어 장치(200)는 영상 표시 장치(300) 외부에 제공될 수 있다. 예를 들어, 증강 현실 제어 장치(200)는 이동 가능한 휴대용 장치(예를 들어, 스마트 폰 또는 스마트 워치)를 포함할 수 있다. 증강 현실 제어 장치(200)가 영상 표시 장치(300) 외부에 배치되어, 영상 표시 장치(300)를 소형화 및 경량화할 수 있다. 다른 예시적인 실시예들에서, 증강 현실 제어 장치(200)는 차량(1000) 내에 내장될 수 있다.

차세대 스마트 카(Smart Car)용 내비게이션 장치에 적용 가능한 삼성전자의 ‘증강 현실 제어 장치 및 구현 시스템’ 특허가 제시한 주요 청구항 내용은 아래와 같다.

청구항 1 : 외부 기기와 통신 가능한 통신부; 및 상기 통신부를 통해 외부 기기인 감지 장치를 식별하고, 식별된 상기 감지 장치로부터 수신된 감지 데이터에 기초하여 가상 이미지 데이터를 생성하고, 상기 가상 이미지 데이터를 영상 표시 장치에 제공하는 프로세서;를 포함하는 증강 현실 제어 장치.
청구항 2 제 1 항에 있어서, 상기 프로세서는, 상기 통신부를 통해 상기 감지 장치로부터 식별 신호를 수신하여 상기 감지 장치를 식별하는 증강 현실 제어 장치.
청구항 3 : 제 1 항에 있어서, 상기 감지 데이터는 이용자의 얼굴을 포함하는 영역에 대한 영상 데이터를 포함하는 증강 현실 제어 장치………(생략)

키워트(keywert)

키워트는 워트인텔리전스(대표 윤정호)가 개발한 인공지능(AI) 기반의 글로벌 특허검색서비스다. 사용자가 입력한 정보를 바탕으로 유사 특허를 자동으로 분류해준다. 선행조사 보고서까지 자동으로 생성됨에 따라 기존 서비스의 한계를 뛰어넘어 선행조사 조사 과정을 크게 간소화할 수 있다. 손쉽게 특허를 분류할 수 있는 슬라이딩뷰 기능과 그래프를 생성해주는 그래프엔진 기능도 제공한다. AI 특허비서 서비스를 통해 지식재산 분야 인공지능 기술을 선도하고 있으며 향후 지속적으로 AI 성능을 고도화해 사용자 편의성을 높여나갈 계획이다.