테슬라의 특허 통해 자율주행차의 미래 엿본다

테슬라의 자율주행은 웨이모(Waymo), GM크루즈와 같은 자율주행 개발 기업들과 방향성이 조금 다르다. 웨이모는 라이다와 정밀지도를 바탕으로 자율주행을 구현하는 반면, 테슬라는 카메라를 통해 획득된 영상을 기반으로 강화학습(모방학습)을 통해 자율주행을 구현하고 있다. 즉, 테슬라는 라이다(LiDAR‧Light Detection And Ranging)를 사용하지 않고, 스테레오 카메라(Vision)와 레이더(Radar) 조합으로만 자율주행을 구현한다. 테슬라 CEO 엘런 머스크는 “라이다는 바보들이나 쓰는 장치”라고 비판한 바 있다.

이는 라이다의 가격 그리고 배터리 소모량 때문이다. 라이다는 가격에 비해 높은 성능을 제공하지 못하고 있다. 그리고 전기차(BEV)는 자율주행을 구현하기 위해 컴퓨터가 효율적으로 전력을 사용해야 하는 디바이스이기 때문에, 컴퓨터 이외에 다른 구성이 많은 전력을 소모하는 것은 적절치 않다. 전력 소모량이 많을 경우 차량의 주행거리에도 영향을 미치게 된다. 전기차가 자율주행 구현을 위한 최적의 디바이스가 돼야 한다는 테슬라의 관점에서 라이다는 전기차의 효율을 떨어뜨리는 주범인 것이다.

그리고 앞에서 언급한 바와 같이 테슬라는 정밀지도 기반으로 자율주행을 구현하는 접근이 아니므로, 주변환경을 인식해 차 주변의 3D입체 지도화를 수행하는 라이다는 다른 기업에 비해 중요성이 낮으며 비전시스템으로 대체될 수 있는 것이다.

(자료: ACS 논문-Life Cycle Assessment of CAVs, 메리츠증권 리서치센터)

테슬라가 현재 적용 중인 ‘카메라와 레이터(Radar)’ 조합은 데이터 수집이 충분히 이루어지지 못한 환경에서는 ‘라이다와 정밀지도(HD Map)’와 비교해 정확도가 떨어질 수 있다. 그러나 시험차량 뿐만 아니라 판매된 테슬라 전기차에서 획득되는 수많은 데이터가 축적되고 딥러닝이 고도화된 이후에는 지도 정보가 부재한 주행 환경에서도 자율주행 가능하도록 정확도가 지속 개선될 수 있다. 이 경우, 테슬라의 자율주행 성능은 다른 회사에 비해 월등해진 것이다.

테슬라 Autopilot: 테슬라는 판매된 차량을 통해 엄청난 데이터량을 확보하고 있다(사진: 테슬라)

최근 테슬라는 테슬라 차량에서 라이다뿐만 아니라 레이더까지 배제하고 출시하겠다고 발표했다. 일부 차종(2021년 5월부터 북미 시장에 출하되는 모델3과 모델Y)을 대상으로 자율주행에 반드시 필요한 주변 환경 탐지에 레이더 대신 카메라를 쓰겠다고 밝힌 것이다. 온전히 차량용 카메라의 ‘시력’에만 의존하겠다는 것이다. 레이더는 라이다와 달리 가격이 저렴하지만, 거리 및 물체감지의 정확도가 많이 떨어지면서 정보 처리를 위해 차량의 컴퓨팅 능력을 잡아먹는다고 판단하기 때문이다.

이러한 라이다와 레이더 없이 비전 영상만으로 자율주행을 구현하겠다는 테슬라의 관점과 의지는 올해 5월21일에 테슬라가 확보한 등록특허(US 10956755)를 통해서도 확인할 수 있다.

Estimating object properties using visual image data (US 10956755)
가시적 이미지 데이터를 사용하는 대상물 특성을 추정

1. A system, comprising:

다음을 포함하는 시스템 :

one or more processors configured to:

다음을 수행하도록 구성된 하나 이상의 프로세서 :

receive image data based on an image captured using a camera of a vehicle, the image data depicting an object within the vehicle's surrounding environment; and

차량의 카메라를 사용함으로써 획득된 이미지에 기초해 이미지 데이터를 수신하고 상기 이미지 데이터는 차량의 주변 환경 내의 물체를 묘사하는 것

utilize the image data as input to a trained machine learning model, the trained machine learning model outputting a distance from the vehicle to the object, wherein the trained machine learning model is configured to output the distance using only the image data;

훈련된 기계 학습 모델에 대한 입력으로서 이미지 데이터를 활용하고, 상기 훈련된 기계 학습 모델은 차량에서 물체까지의 거리를 출력하고, 상기 훈련된 기계 학습 모델은 이미지 데이터만을 사용해 거리를 출력하도록 구성되고;

and wherein the trained machine learning model was trained using a training image and a correlated output of an emitting distance sensor;

상기 훈련된 기계 학습 모델은 훈련 이미지 및 방출 거리 센서의 상관 출력을 사용해 훈련됐으며,

and a memory coupled to the one or more processors.

하나 이상의 프로세서에 연결된 메모리를 포함한다.

이 특허는 훈련이미지와 거리센서 측정값을 데이터셋으로 트레이닝이 된 후, 차량의 카메라를 통해 획득되는 이미지 데이터만을 활용해 거리를 산출하는 것을 특징으로 등록받은 것이다. 즉, 이 특허는 스테레오 카메라를 통해 획득된 이미지를 기반으로 거리 측정을 통해 라이다의 역할을 대신하는 Pseudo-LiDAR를 구현하는 것과 관련되어 있다.

이 특허는 2019년 2월19일에 미국에서 출원되었고, 이듬해 2월7일에 PCT(특허협력조약) 출원도 진행해둔 상태다. 올해 8월까지 PCT출원을 기반으로 다른 국가에 권리확보를 위해 진입할 수 있는 상태로, 다른 국가에서도 위의 미국 등록 청구항과 비슷한 수준으로 등록확보가 가능할 것으로 판단된다.

테슬라는 우선 레이더와 라이다가 없이 비전시스템만으로 자율주행이 가능하도록 구현할 전망이지만, 추후 라이다와 레이저의 가격 하락과 배터리 소모 효율 상승이 이뤄진다면 이를 채택할 가능성도 있다. 라이다와 레이더가 자율주행 전기차의 본질인 긴 주행거리와 최적 자율주행에 영향을 미치지 않게 되면, 더욱 안전하고 완벽한 자율주행을 위해 사용하지 않을 이유가 없다.

필자는 테슬라의 자율주행 개발방향과 같이 자율주행은 사람의 운전 시의 사고방식을 동일하게 구현하는 것이 중요하다고 생각한다. 사람은 주변 지형지물을 모르더라도 눈을 통해 보는 시각 정보만으로 판단해 운전을 할 수 있다. 그리고 공간지각능력과 돌발 상황에 대한 판단력이 뛰어난 사람이 운전을 더 수행한다. 또한 자주 다니는 길이라서 주변 환경을 잘 이해하고 있다면, 운전자는 실시간으로 획득하는 시각정보와 함께 운전을 더 잘할 수 있다. 그리고 사람이 운전할 때도 ADAS(Advanced Driver Assistance Systems)가 보조하면 더 안전하게 운행할 수 있다.

사람은 두 눈으로 한쪽 방향만 주시하면서 시각정보를 뇌에서 판단해 운행하지만, 자율주행차는 여러 방향의 시각영상을 획득하는 카메라로 동시에 얻어지는 영상을 분석해 운전한다. 따라서 날씨와 주변 환경에 영향 없이 선명한 시각영상이 획득되고, 사람의 뇌에 해당하는 딥러닝 모델이 정확하고 빠른 판단을 할 수 있다면 안전한 운전이 가능할 것이다. 사람도 비가 내릴 때는 도로가 잘 보이지 않아 운전에 어려움을 겪는 것과 마찬가지다.

또한 레이더와 라이다가 카메라 영상을 통한 실시간 판단을 보조해 줄 수 있다면 사람이 차량의 보조시스템의 도움을 받을 수 있는 것과 같이 더욱 안전한 운전이 가능할 것이다. 정밀지도를 바탕으로 주변 환경을 판단해 자율주행을 수행할 수 있다면, 사람이 자주 다녀서 잘 알고 있는 지역을 운전할 때와 같이 더욱 안전하고 정확한 운전을 수행할 수 있을 것이다.

향후 자율 주행 분야는 구현되고 있는 모든 기술이 총동원되어 가장 안전한 운전을 담보하기 위해 나아갈 것이다. 결국 기술이 개발돼 가는 과정에서 각 시점과 상황에서 가장 효율적인 방식을 찾고, 어느 기술을 적용하는 것이 최적일지 결정하는 과정이 이어질 것이다. 예를 들어 개인 소유 차량은 한번 충전으로 긴 거리를 다니면서 안전한 운전이 가능한 절충안이 필요하겠지만, 자주 충전이 가능해 센서들의 배터리 소모는 신경 쓰지 않아도 되고 안전한 주행이 최우선이 돼야 하는 버스 같은 경우라면 안전한 자율주행을 위한 학습모델과 센서가 최대한 활용될 수 있는 식이다.