E2E 자율 주행기술

테슬라는 지난 10월 E2E (End to End) 기술을 적용한 로봇 택시 시제작 차량을 공개하고 2026년 내에 생산한다고 했습니다.

스타트업에 투자하거나 매수를 통하여 로봇 택시 기술을 완성하려 했던 GM과 포드, 폭스바겐, 현대차 등 레거시 업체의 전략이 좌절되면서 다시 테슬라와 웨이모 (Waymo), 그리고 중국의 신생 업체들의 자율주행 기술이 부각되고 있습니다.

 

오늘은 먼저 테슬라를 따라 하는 중국 업체의 End to End 기술을 적용한 기술 개발 동향을 분석합니다.
또한 테슬라의 엔드 투 엔드 자율주행 기술은 지오메트리 방식을 주도해 왔던 웨이모 로봇 택시에 어떤 영향을 미치고 있는지도 분석합니다.
자율주행 기술에서의 패러다임 변화도 테슬라로부터 시작되었다고 할 수 있습니다.
테슬라는 FSD에서 버전 1까지는 사람이 생각한 규칙에 따라 수작업으로 코드를 작성했습니다.

 

그러나 2023년에 적용된 버전 2부터는 센서 입력부터 핸들 각도 출력까지 인공지능으로 구성되는 엔드 투 엔드 기술로 전환했습니다.
아직은 운전자의 감시가 필요한 레벨 2 단계이지만 버전이 올라갈 때마다 도심 주행 등에서 사람이 개입하는 빈도가 대폭 줄어들고 있습니다.

 

라이다와 3D 고정도 지도를 사용하지 않기 때문에 저렴한 레벨 4가 실현될 가능성이 높아지고 있어 AI 반도체를 지배하고 있는 NVIDIA는 이를 Autonomous Vehicle 2.0이라 부르고 있습니다.

 

AI의 핵심 알고리즘인 트랜스포머는 2017년 미국 알파벳 기술자들이 발견한 딥러닝의 한 기법으로 미국 오픈 AI Chat GPT 등 대규모 언어 모델의 혁신으로 이어졌습니다.
자동차, 로봇 등 실세계 제어에도 적용할 수 있다는 사실이 밝혀지면서 최근 1,2년 사이 중국 업체 등 전 세계 기업과 대학들이 연구 성과를 경쟁적으로 내놓고 있습니다.
이러한 영향으로 중국 내 ADAS경쟁도 새로운 단계로 접어들고 있습니다.
앞서가는 신생 업체와 IT 업체에서 인공지능을 전면 도입한 앤드 투 앤드 기술 적용은 이제 기본 전제가 되고 있습니다.

앞으로의 초점은 이 엔드 투 엔드 기술을 통해 어떤 운전 경험을 제공할 것인가에 달려 있다고 보입니다.
엔드 투 엔드 기술은 지난 11월 열린 중국 광저우 모터쇼에서 각사의 발표로 새로운 경쟁축이 되고 있고 새로운 고객 경험이 되고 있습니다.
ADAS를 포함한 자율주행 기술 선 업체들이 공통적으로 내세운 키워드는 P2P 파킹 파킹 또는 Point to Point였습니다.
중국에서는 이를 D2D (Derature to Destination)이라고도 합니다.
P2P는 말 그대로 출발지 주차장에서 목적지 주차장까지 끊임없이 모든 운전 장면을 아우르며 시스템이 자율 운전과 자동 주차를 수행하는 기능을 말합니다.
다만 자율주행의 기능 수준은 크게 레벨 2로 구분되기 때문에 운전자가 시스템을 모니터링하고 언제든지 핸들을 잡을 수 있도록 해야 합니다.

광저우 모터쇼에서 Li Auto와 샤오펑, 샤오미, Zeekr 등 4개 사가 P2P 개발 내용을 발표했습니다.
Li Auto는 자사의 최상위 AD max 탑재 차량을 대상으로 OTA를 통한 소프트웨어 업데이트를 통해 가장 먼저 출시했습니다.

 

샤오펑은 새로운 플래그십 전기차 P7+ 대상으로 12월 말부터 제공합니다.
자사의 자동 주차 기능인 APA (Automatic Parl Assistance)와 엔드 투 엔드 방식에 대응하는 XNGP를 연결해 단일 소프트웨어로 P2P를 구현했습니다.

 

샤오미는 2024년 말부터 엔드 투 엔드 방식의 새로운 ADAS 시스템인 HAD (Hyper Autonomous Driving)에서 P2P를 지원합니다.

자동차 사업에 진출한 지 얼마 되지 않았지만 자율주행과 ADAS 영역에서 단숨에 선두 그룹에 진입하려고 하고 있습니다.
Zeekr도 내년 1월 론칭 목표로 P2P 기능을 개발하고 있습니다.

 

한편 화웨이와 Nio는 한 발 뒤처진 모습을 보이고 있습니다.
화웨이는 올 8월부터 도입한 최신 ADS 3.0에서 향후 P2P를 지원한다고 밝혔지만 사용자 제공 시기는 아직 공개하지 않고 있습니다.

 

Li Auto, 샤오펑과 함께 중국 NEV의 신생 삼총사로 불리던 Nio도 뒤늦은 출발을 보이고 있습니다.
Li Auto 샤오펑이 이미 엔드 투 엔드 방식으로 전환한 반면, Nio는 내년 1월에 엔드 투 엔드의 기술이 적용된 에이다스를 적용할 예정이라고 합니다.
레거시 업체 중 도요가 중국 시장에서 가장 먼저 레벨 2 플러스 기능인 NOA (Navigate On Autopilot)  내년 3월 론칭하는 계획이지만 앤드 투 엔드 기술을 적용했는지는 아직 미지수입니다.

 

이렇게 보면 중국 로컬 업체들이 기술을 카피하는 것인지 혁신인지는 모르겠지만 무척 빠르게 추진하고 있습니다.

 

자 그렇다면 미국 로봇 택시 기술에서 앞서가고 있다는 평가를 받는 웨이모에는 어떤 영향을 미치고 있을까요?
미국에서 로봇 택시는 GM Cruise의 사업 철수와 현대차가 공동 투자했던 모셔널에 Aptiv가 빠지면서 웨이모가 더 부각되는 편입니다.

 

GM의 Curise철수 (좌), 현대차가 공동투자한 Motional차량 (우)

웨이모를 따라 실용화하고 있는 업체로는 토요다가 투자한 May Mobility와 아마존이 투자하고 있는 ZOOX 정도라고 할 수 있습니다.

 

May mobility (좌), ZOOX

웨이모는 고정도 지도와 라이더를 사용하는 지오메트리 방식의 기술을 운영하고 있습니다.

 

고정도 지도는 KTX의 철로와 같은 기능을 하고 있기 때문에 고정도 지도가 준비되지 못하면 자율주행이 어렵습니다.
KTX가 아무리 빠르고 편리하지만 마치 철로가 없다면 1m도 못 가는 것처럼 말입니다.
이러한 기술적 특징으로 주행거리 확대와 상용화에 시간이 많이 걸리고 있습니다.
2018년 피닉스에서 자율주행 택시를 상용화한 이후 2023년 8월 샌프란시스코에서 전개하는 데까지 약 5년이 걸렸습니다.
이후에도 24년 3월에는 로스앤젤레스에서 시작했고 내년에 텍사스 오스틴으로 확대한다는 계획입니다.

 

이대로라면 미국 전역으로 서비스를 전개하는 데 10년 정도는 더 걸릴 수도 있을 것 같습니다.
엔드 투 엔드의 자율주행의 큰 특징 중 하나는 성능 향상 속도라고 할 수 있습니다.
사람이 작성한 프로그램을 기반으로 차량을 제어하고 있기 때문에 AI 진화 속도에 비해 시간이 오래 걸릴 수밖에 없습니다.
반면 테슬라는 내년 2개 도시에서 상용화 목표라 엔드 투 엔드 도입 후 불과 2년 만인 웨이모의 4분의 1 기간으로 따라잡을 수 있게 된 것입니다.

 

테슬라의 AI 알고리즘은 데이터의 양, 계산 자원, AI 모델의 규모가 커질수록 성능이 향상된다고 합니다.
테슬라는 그동안 판매한 차량의 데이터를 통신을 통해 수집하는 구조를 구축해 왔고 방대한 데이터를 축적해 왔습니다.
또한 계산 자원으로 미국의 NVDIA부터 개당 수천만 원에 달하는 AI 반도체를 수만 개씩 조달하고 있습니다.
데이터와 계산 자원을 빠르게 대량으로 확보한 덕분에 AI의 성능 향상 속도가 엄청나게 빨라졌다고 합니다.
엔드 투 엔드의 자율주행의 잠재력은 진화 속도뿐만 아니라 주행 범위를 넓히기 쉽다는 점도 특징 중 하나입니다.
목적지까지 가는 데 지도를 사용하지만 사람과 마찬가지로 내비게이션과 같은 수준의 SD지도로도 충분합니다.
웨이모의 기술은 고정도 지도를 통해 차량 위치를 정확히 파악해 도로 위를 이탈하지 않고 주행합니다.
도시 도로와 그 주변을 수 센티미터의 높은 정확도로 데이터화하는 작업은 방대한 데다가 도시 구조물이 자주 바뀌기 때문에 계속 업데이트해야 합니다.
주행 가능 지역 확대에 시간이 걸릴 수밖에 없는 조건이 됩니다.
테슬라의 자율주행에는 엔드 투 엔드 외에도 주변 인식 센서로 라이더와 밀리파 레이더를 사용하지 않는 상식을 뒤엎는 발상이 담겨 있습니다.

 

웨이모도 6세대로 진화하면서 라이더와 카메라를 축소했습니다만 여전히 고가의 라이더를 4대, 카메라를 13대를 탑재하고 있어 테슬라는 웨이모에 비해 비용을 크게 낮출 수 있습니다.

 

라이더의 필요성 찬반에 대해선 논란의 여지가 있습니다만 라이더의 필요성을 강조해 왔던 모빌아이와 중국 신생업체들이 카메라로 돌아서고 있어 카메라만 사용하는 테슬라의 방식이 자율주행의 주류가 될 가능성은 더 높아지고 있습니다.
그렇다고 웨이모라고 가만히 있겠습니까? 웨이모도 대규모 언어 모델과 시각 언어 모델을 활용하여 엔드 투 엔드의 로봇 택시를 개발하고 있습니다.

 

앤드 투 앤드의 기술 개발에 앞서가고 있는 테슬라지만 기술적으로 가능한 것과 안정적인 상용 서비스를 제공하는 데는 큰 차이가 있을 수 있습니다.
예를 들어 지난번 발표에서 가장 큰 과제로 꼽히는 AI의 개선 과정이 블랙박스가 되는 문제에 대한 설명이 없었습니다.
이런 블랙박스화로 AI가 왜 우회전 판단을 했는지 사람이 이해하기 어렵고 사고에 대한 책임을 어떻게 질 것인지에 대한 답은 보이지 않는다고 합니다.
테슬라는 이 문제에 대한 답을 가지고 있을 수도 있습니다.
머스크가 트럼프 내각의 장관으로서 로봇 택시의 운행 규제 등은 자기가 원하는 대로 다 풀 수 있지만 이 문제가 해결되지 못하면 지금 여러 건이 FSD 관련 소송에 빠진 것처럼 소송이 폭풍에 휘말려 치명상을 입을 수도 있을 것입니다.
그러나 이 문제를 해결하는 Wayve techonologies라는 스타트업이 영국에 있습니다.

 

최대 주주인 소프트뱅크 그룹을 비롯해서 NVDIA와 마이크로소프트 등 유명 AI 관련 기업이 주주로 이름을 올리고 있습니다.
이 업체는 사고가 발생했을 때 원인을 조사하고 앞으로 나아갈 수 있는 수단이 필요하다는 것을 인식하고 대책을 개발해 왔습니다.
이 업체의 시각 언어 모델인 Lingo는 엔드 투 엔드의 자율주행의 가장 큰 과제인 블랙박스 문제의 해결책이 될 수 있다고 합니다.

 

Lingo는 AI가 무엇을 인식하고 어떻게 판단했는지를 언어로 표현하는 것이라고 합니다.
예를 들어 전방에 위험이 있습니까?라고 물으면 네 전방에 자전거가 달려와서 감소하고 있습니다라고 운전 판단의 이유를 답합니다.
운전 모델이 무엇을 인식하고 있는지 뿐만 아니라 어떻게 행동하고 싶은지를 알아볼 수 있습니다.
사고가 발생한 상황에서 AI가 어떻게 판단하고 무엇을 잘못했는지 검증하기 쉬워질 것으로 보고 있습니다.
테슬라가 자율주행 기술의 선도하는 역할은 계속될 것으로 보입니다. 

 

출처: E2E 자율 주행 기술, 선행하는 테슬라 FSD,로봇택시, 따라가는 중국 업체와 웨이모 현상!

https://www.youtube.com/watch?v=_ybjRol3Jdk