Tesla AI Day 2021 Ashok part 번역

[박수] 감사합니다 andrej 안녕하세요 여러분 제 이름은 ashok입니다. 저는 계획을 이끌고 자동 레이블 지정 및 시뮬레이션 팀을 제어하므로 on dimension과 같이 시각적 네트워크는 밀도가 높은 비디오 데이터를 가져온 다음 이를 3d 벡터 공간으로 압축합니다. 이제 플래너의 역할입니다. 2019년에도 우리 지구는 꽤 유능한 운전자였습니다. 차선에 머물 수 있었습니다. 필요에 따라 차선을 변경합니다.
1:13:41
고속도로에서 출구로 나가지만 cdc 운전은 훨씬 더 복잡합니다 래들리에는 구조화된 차선이 있습니다 um 차량은 운전에서 훨씬 더 자유롭게 할 수 있으며 자동차는 모든 커튼과 횡단 차량 및 보행자가 재미있는 일을 하는 것에 응답해야 합니다 핵심 문제는 무엇입니까 첫 번째 계획에서 작업 공간은 매우 비볼록하고 두 번째는 고차원입니다. 비볼록이란 의미는 독립적으로 좋은 솔루션이 여러 개 있을 수 있지만 전역적으로 일관된 솔루션을 얻는 것은 꽤 까다롭기 때문에
1:14:21
계획이 막힐 수 있는 지역 최소값의 주머니가 되고 두 번째로 자동차가 다음 10~15초 동안 계획해야 하고 위치 속도와 가속도를 생성해야 하기 때문에 높은 차원이 옵니다. 런타임에 생성할 매개변수의 수 이산 검색 방법은 이산적이기 때문에 비컨텍스트 문제를 해결하는 데 정말 뛰어납니다. 로컬 최소값에 갇히지 않는 반면 연속 함수 최적화는 로컬 최소값에 쉽게 갇힐 수 있고
1:14:49
고차원 문제에 대해 다른 쪽에서 좋지 않은 열악한 솔루션을 생성합니다. 이산 검색은 이산이기 때문에 짜증납니다. 등급 정보를 사용하지 않으므로 말 그대로 각 지점을 탐색하여 얼마나 좋은지 알 수 있는 반면 지속적인 최적화 사용 그래디언트 기반 방법으로 매우 신속하게 좋은 솔루션을 찾을 수 있습니다. 이 프린터 문제에 대한 우리의 솔루션은 먼저 계층적으로 분해하는 것입니다.
1:15:22
최종 부드러운 궤적을 만들기 위한 최적화 기술 검색이 어떻게 작동하는지 예를 살펴보겠습니다. 그래서 여기서는 차선 변경을 시도하고 있습니다. 이거 차가 검색어 어 다른 조작 음 그래서 첫 번째 검색은 가까운 차선 변경인데 차가 꽤 심하게 부서져서 꽤 불편합니다 다음 조작은 차선 변경을 조금 늦게 시도하므로 속도가 빨라집니다
1:16:00
다른 차를 넘어 다른 차 앞으로 가서 차선 변경에서 찾으지만 이제는 좌회전을 놓칠 위험이 있습니다. 이들은 모두 물리 기반 모델이기 때문에 매우 짧은 시간 내에 수천 번의 검색을 수행합니다. 이러한 기능은 매우 시뮬레이션하기 쉽고 결국 우리는 일련의 후보를 갖게 되고 마침내 우리는 안전 편안함과 쉽게 회전하는 최적의 조건에 따라 하나를 선택하므로 이제 자동차가 이 경로를 선택했고 자동차가 이 궤적을 실행할 때 볼 수 있습니다. 꽤 일치한다
1:16:30
우리가 여기 오른쪽에 청록색 플롯을 계획한 것과 그 중 하나는 자동차의 실제 속도이고 그 아래에 있는 흰색 선은 계획이므로 여기에서 10초 동안 계획할 수 있고 당신이 돌이켜 보면 이것은 다른 요원과 함께 운전할 때 잘 짜여진 계획입니다. 우리 자신을 위한 계획을 세우는 것뿐만 아니라 모든 사람을 위해 공동으로 계획하고 전체 장면 트래픽 흐름을 최적화해야 합니다. 우리는 문자 그대로 자동 조종 장치 플래너를 실행합니다
1:17:03
장면의 모든 관련 개체가 필요한 이유에 대한 예입니다. 이것이 자동 복도입니다. 잠시 동안 동영상을 보도록 하겠습니다. 예, 자동 조종 장치가 주차된 자동차 원뿔과 기둥 주위를 돌아다니는 자동 통로를 운전하고 있었습니다. 어 여기 3D가 있습니다. 다가오는 자동차가 지금 도착하고 자동 조종 장치가 약간 느려지지만 우리 옆에 공간이 없기 때문에 그들에게 양보할 수 없다는 것을 깨닫고 다른 자동차는 대신 우리를 치료할 수 있습니다. 맹목적으로
1:17:43
여기서 그 차에 대한 우리의 모든 이유를 깨고 어 그들이 차를 세울 수 있을 만큼 충분히 낮은 속도를 가지고 있고 우리가 그들에게 양보할 수 없고 단호하게 진전을 이루기 때문에 우리에게 양보해야 합니다. 두 번째 다가오는 차가 이제 도착합니다. 우리는 문자 그대로 다른 물체에 대해 자동조종장치 플래너를 실행하므로 이 경우 물체의 계획이 이제 사이트의 주차된 차량 부분을 돌아다니고 그들이 지나간 후 ​​파쿠르가 오른쪽으로 돌아가도록 프린터를 실행합니다.
1:18:12
운전자의 생각이 무엇인지 모르기 때문에 우리는 실제로 이 차에 대해 여러 가지 가능한 기능을 가지고 있습니다. 여기서 한 기능은 빨간색으로 표시되고 다른 기능은 녹색으로 표시됩니다. 녹색은 우리에게 양보하는 계획입니다. 하지만 이 물체의 속도와 가속도가 꽤 높기 때문에 우리는 이 사람이 우리에게 양보할 것이라고 생각하지 않고 실제로 이 불꽃이 튀는 자동차를 돌아다닐 것이므로 자동 조종 장치가 결정합니다. 여기에 공간이 있습니다 어 이 사람은 확실히 가고 있습니다 내가 차를 세울거야
1:18:39
그래서 자동 조종 장치가 차를 세우는 동안 우리는 그 자동차가 요율에 따라 우리에게 양보하기로 선택했고 그들의 가속과 자동 조종 장치가 즉시 그의 마음을 바꾸고 계속 발전한다는 것을 알게 됩니다. 이 자동 조종 장치를 사용하지 않으면 이 사람이 다른 공원 차량을 돌고 자신의 사이트로 돌아올 것이라는 것을 알지 못합니다. 이 자동 조종 장치는 너무 소심할 것이고 실용적인 자율 주행 자동차가 아닐 것입니다. 그래서 이제 우리는 검색이 어떻게 그리고 다른 사람들을 위한 계획 설정
1:19:07
Convicts Valley uh 마지막으로 우리는 행성이 uh 여기에 무덤을 가져가야 하는 최종 궤적을 생성하기 위해 지속적인 최적화를 수행합니다 uh 물건은 볼록한 회랑이며 계획의 호 길이에 대해 매개변수화된 헤딩 및 가속도에서 스플라인을 초기화하고 다음을 수행할 수 있습니다. 카운터 측정이 모든 비용을 줄이기 위해 지속적으로 세분화된 변경을 수행하는지 확인하십시오. 일부 비용은 예를 들어 장애물로부터의 거리 통과 시간과 편안함을 위한 편안함입니다. 오른쪽의 측면 가속도 플롯이 다음과 같은 것을 볼 수 있습니다.
1:19:37
멋진 사다리꼴 모양이 나타날 것입니다 예 여기 오른쪽에 녹색 플롯 음 멋진 사다리꼴 모양이고 사람의 궤적에 기록하면 측면 저크도 최소화된 것처럼 보입니다. 요약하자면 우리는 장면에 있는 우리와 다른 모든 사람을 모두 검색합니다. 어 우리는 컨텍스트 복도를 설정한 다음 함께 부드러운 경로를 최적화합니다. 이것들은 위에 표시된 것과 같이 정말 멋진 일을 할 수 있지만 내가 자란 곳과 같은 다른 곳에서는 운전이 약간 다르게 보입니다. 에서 위로
1:20:06
음, 훨씬 더 구조화되지 않은 자동차와 보행자가 서로를 자르는 아치 제동 경적음 음 미친 세상이야 음 우리는 이러한 방법을 확장하려고 할 수 있습니다 어 하지만 런타임에 이것을 효율적으로 해결하는 것은 정말 어려울 것입니다 우리가 대신하고 싶은 것은 효율적으로 해결하기 위해 학습 기반 방법을 사용 음 그리고 이것이 사실인 이유를 보여주고 싶습니다 음 그래서 우리는 이 복잡한 문제에서 훨씬 더 간단한 장난감 주차 문제로 갈 것이지만 여전히 여기서 문제의 핵심을 보여줍니다 이것은 주차입니다 자아 자동차를 많이
1:20:38
파란색이고 여기 녹색 주차 공간에 주차해야 하므로 연석을 돌아야 합니다 공원 차량과 주황색으로 표시된 원뿔은 여기에서 간단한 베이스 라인을 수행하겠습니다 별입니다 사다리 공간 검색을 사용하는 표준 알고리즘 음 그리고 여기서 휴리스틱은 목표까지의 유클리드 거리이므로 목표를 향해 직접 쏘지만 매우 빠르게 로컬 최소값에 갇히고 거기에서 역추적한 다음 다른 경로를 검색하여 가려고 하는 것을 볼 수 있습니다. 이 파쿠르 주변
1:21:07
결국 그것은 진전을 이루고 목표에 도달하지만 결국 이것을 만들기 위해 400,000개의 노드를 사용하게 됩니다. 분명히 이것은 우리가 이것보다 더 잘하고 싶은 끔찍한 휴리스틱입니다. 따라서 여기에 내비게이션 경로를 추가하고 내비게이션 경로를 따라가는 자동차가 있다면 목표에 가까워지는 동안 내비게이션 경로가 즉시 도움이 되지만 진입할 때 원뿔이나 다른 장애물을 만나면 기본적으로 이전과 동일합니다. 역추적한 다음 완전히 새로운 경로를 검색하고 지원 검색에는
1:21:40
이러한 장애물이 존재한다는 생각은 말 그대로 거기에 가야 합니다. 충돌 여부를 확인하고 충돌 중인 경우 내비게이션 휴리스틱을 백업하는 데 도움이 되었지만 여전히 22,000개의 메모가 필요했습니다. 이러한 휴리스틱을 점점 더 많이 설계하여 검색 속도를 높일 수 있습니다. 더 빠르지만 검색을 안내하는 원뿔에서 거리 함수가 있더라도 전역적으로 최적의 휴리스틱을 설계하는 것은 정말 지루하고 어렵습니다. 이것은 단일 원뿔에만 효과적이지 않습니다.
1:22:08
하지만 우리에게 필요한 것은 전역 전역 가치 함수입니다. 그래서 우리가 사용하고 싶은 것은 신경망을 사용하여 휴리스틱을 제공하는 것입니다. 시각적 네트워크는 벡터 공간을 생성하고 그 안에서 자동차를 움직이게 합니다. 이것은 기본적으로 아타리 게임처럼 보입니다. 멀티플레이어 버전 어 그래서 우리는 같은 문제를 해결하기 위해 바둑 및 기타 권한 게임을 해결하는 데 사용된 mu0 alpha zero 등과 같은 기술을 사용할 수 있습니다.
1:22:35
비용 함수 중 일부는 충돌, 순회 시간 등과 같은 거리와 같은 명시적 비용 함수일 수 있지만 이 간단한 주차 문제에 대해 네트워크를 훈련하는 실제 수동 운전 이벤트의 개입일 수도 있습니다. 다시 같은 문제 mcts가 우리를 조사한 방법을 살펴보겠습니다. 여기서 행성이 기본적으로 한 번에 목표를 향해 진행할 수 있음을 알 수 있습니다.
1:23:11
행성이 목표를 향해 직접 갈 수 있는 장면 당신이 보고 있는 다른 모든 옵션은 가능한 옵션입니다. 그 중 아무 것도 선택하지 않고 목표를 향해 직접 가져가는 옵션을 사용하는 것입니다. 그 이유는 신경망이 흡수할 수 있기 때문입니다. 장면의 글로벌 컨텍스트를 확인한 다음 특정 로컬 최소값을 얻는 것과는 반대로 글로벌 최소값을 향해 효과적으로 안내하는 가치 함수를 생성합니다.
1:23:36
평형 거리 휴리스틱을 사용하여 별에서 수행되므로 최종 아키텍처는 비전 시스템이 밀도가 높은 비디오 데이터를 벡터 공간으로 분쇄하는 것처럼 보일 것입니다. 어 명시적 계획자 및 이 외에도 신경망 계획자 네트워크 패널은 네트워크의 중간 기능을 함께 사용할 수 있습니다. 이것은 궤적 분포를 생성하고 명시적 비용 함수와 사람의 개입 및 기타 모방 데이터를 사용하여 종단 간 최적화할 수 있습니다.
1:24:05
그런 다음 이를 위해 쉬운 작업을 수행하는 명시적 계획 기능으로 이동하고 자동차에 대한 최종 조향 및 가속 명령을 생성합니다. 이제 이러한 네트워크를 교육하는 방법을 설명하고 이러한 네트워크를 교육하려면 대용량 데이터 세트가 필요합니다. 잠깐 수동 라벨링에 대해 간단히 말할 준비가 되었습니다. 예, 데이터 데이터 세트의 스토리는 물론 지금까지 신경망에 대해서만 이야기했지만 신경망은 이러한 많은 성능에 대한 상한선만 설정합니다.
1:24:43
신경망에는 수억 개의 매개변수가 있고 이 수억 개의 매개변수를 올바르게 설정해야 합니다. 잘못된 매개변수 설정이 있으면 작동하지 않을 것이므로 신경망은 단지 상한일 뿐입니다. 대규모 데이터 세트도 필요합니다. 내부에서 올바른 알고리즘을 실제로 교육하기 위해 특히 벡터 공간에서 직접 데이터 세트를 원한다고 언급했습니다. 따라서 실제로 문제는 네트워크에 수억 개의 데이터가 있기 때문에 어떻게 축적할 수 있습니까?
1:25:06
매개 변수는 이러한 신경망을 실제로 효과적으로 훈련시키기 위해 깨끗하고 다양한 수백만 개의 벡터 공간 예제를 어떻게 축적합니까? 따라서 데이터 세트에 대한 이야기가 있고 어 모든 모델과 개발 측면에서 데이터 세트가 어떻게 진화했는지 약 4년 전에 제가 합류했을 때 우리는 많은 데이터 세트를 얻기 위해 제3자와 협력하고 있었지만 지금은 불행히도 제3자와 협력하여 무언가에 대한 데이터 세트를 얻는다는 것을 매우 빨리 발견했습니다.
1:25:34
중요한 것은 그것을 삭감하지 않을 것이었습니다. 제3자와 작업하는 대기 시간이 매우 길었고 솔직히 품질이 놀랍지 않았기 때문에 Tesla의 완전한 수직 통합 정신에 따라 우리는 모든 라벨링을 사내로 가져왔고 시간이 지남에 따라 우리는 엔지니어와 매우 밀접하게 작업하는 전문 라벨러로 가득 찬 1,000명 이상의 데이터 라벨링 조직을 성장시켰습니다. 그래서 실제로 그들은 미국에 있습니다.
1:25:58
이 지역의 엔지니어들과 같은 위치에 있기 때문에 우리는 그들과 매우 긴밀하게 협력하고 또한 처음부터 그들을 위한 모든 인프라를 구축하여 오늘 나중에 만나 개발할 팀을 갖게 되었습니다. 데이터 라벨링을 위한 이 모든 인프라를 유지 관리합니다. 예를 들어 여기서는 모든 라벨링 워크플로우와 관련 개인, 모든 작업 및 어떻게
1:26:25
레이블의 수가 시간이 지남에 따라 증가하고 있으므로 우리는 이것이 매우 중요하다는 것을 알았고 약 3~4년 전에는 대부분의 레이블링이 이미지 공간에 있었다는 것을 매우 자랑스럽게 생각합니다. 이와 같은 이미지에 주석을 추가하는 데 꽤 오랜 시간이 걸렸습니다. 이것은 내가 언급했듯이 수백만 개의 벡터 공간 레이블이 필요하므로 이 단일 개별 이미지 위에 폴리곤과 폴리라인을 그리는 것과 같습니다. 그렇게 잘라
1:26:54
매우 빠르게 우리는 개별 이미지가 아닌 벡터 공간에서 직접 레이블을 지정하는 3차원 또는 4차원 레이블링으로 전환했습니다. 곧 더 많은 재구성이 이루어지겠지만 자동차가 주행한 지면의 아주 작은 재구성이고 여기 재구성된 포인트 클라우드의 약간이며 여기에서 보고 있는 것은 라벨러가 어 벡터 공간에서 레이블을 직접 변경하고 있다는 것입니다. 그런 다음
1:27:23
우리는 이러한 변경 사항을 카메라 이미지로 재투영하고 있습니다. 그래서 벡터 공간에서 직접 레이블을 지정하고 있으며 이로 인해 많은 레이블의 처리량이 크게 증가했습니다. 사람과 컴퓨터의 장단점이 다르기 때문에 사람들은 의미론과 같은 것에 매우 능숙하지만 컴퓨터는 기하학 재구성 삼각 측량 추적에 매우 능숙하므로 실제로 우리에게는 훨씬 더 중요합니다.
1:27:52
인간과 컴퓨터가 어떻게 협력하여 이러한 벡터 공간 데이터 세트를 실제로 생성하는지에 대한 이야기가 되므로 이러한 클립을 대규모로 라벨링하기 위해 개발한 인프라의 일부인 자동 라벨링에 대해서는 이야기하지 않겠습니다. [박수] 안녕하세요. 따라서 많은 인력이 있더라도 네트워크 교육에 필요한 교육 데이터의 양이 훨씬 많기 때문에 대규모 자동 레이블 지정 파이프라인에 투자하려고 합니다. 여기 단일 클립에 레이블을 지정하는 방법의 예가 있습니다. 클립은 엔터티입니다.
1:28:25
비디오 imu 데이터 gps 주행거리 측정 등과 같은 밀집된 센서 데이터가 있는 이것은 45초에서 1분 길이가 될 수 있습니다. 이들은 자체 엔지니어링 차량 또는 고객 차량에서 업로드할 수 있습니다. 우리는 이 클립을 수집한 다음 우리가 많이 실행하는 서버로 보냅니다. 세그멘테이션 마스크 깊이 포인트 매칭 등과 같은 중간 결과를 생성하기 위해 오프라인으로 신경망을 연결합니다. 그런 다음 많은 로봇 공학과 알고리즘을 거쳐 네트워크를 훈련시키는 데 사용할 수 있는 최종 레이블 세트를 생성합니다. 레이블을 지정하려는 첫 번째 작업 중 하나입니다.

 

1:28:57
노면은 일반적으로 노면을 표현하기 위해 스플라인이나 메시를 사용할 수 있지만 토폴로지 제한으로 인해 차별화할 수 없고 이를 생성할 수 없기 때문에 대신 우리가 하는 것은 작년의 신경 방사 필드 작업 스타일입니다. 이는 매우 인기가 있으므로 암시적 표현을 사용하여 노면을 표현합니다. 여기서는 지면의 xy 지점을 쿼리하고 다음과 같은 다양한 시맨틱과 함께 지면의 높이를 예측하기 위해 네트워크를 요청합니다.
1:29:24
곡선 차선 경계 도로 표면 경쟁 공간 등 단일 xy가 주어지면 우리는 z를 함께 얻습니다. 이것들은 3d 포인트를 만들고 모든 카메라 뷰에 재투영될 수 있으므로 수백만 개의 쿼리를 만들고 많은 포인트를 얻습니다. 이 포인트는 모두에 재투영됩니다. 여기 오른쪽 상단에 이러한 모든 포인트가 재투영된 이러한 카메라 이미지가 표시되어 있습니다. 이제 이 재투영된 포인트를 분할의 이미지 공간 예측과 비교하고 공동으로 최적화할 수 있습니다.
1:29:58
카메라 뷰는 공간과 시간에 걸쳐 훌륭하게 재구성되었습니다. 여기 어떻게 생겼는지에 대한 예가 있습니다. 여기 최적화된 도로 표면이 있습니다. 자동차에 있는 8대의 카메라로 재현되며 모든 시간에 걸쳐 일관성이 있는지 확인할 수 있습니다. 한 대의 자동차가 이 기술을 사용하여 궤적 주변의 일부 패치를 휩쓸 수 있지만 여기서 멈출 필요가 없으므로 여기서는 같은 위치에서 서로 다른 클립을 수집합니다.
1시 30분 32초
자동차는 아마도 도로의 일부를 쓸어버릴 것입니다. 멋진 것은 우리가 그것들을 모두 하나의 거대한 최적화로 가져올 수 있다는 것입니다. 그래서 여기에서 이 16개의 다른 여행은 도로 차선 차선과 같은 다양한 기능을 사용하여 정렬되어 구성됩니다. 모두 동의해야 합니다. 서로 동의하고 모든 이미지 공간 관찰에 함께 동의합니다. 이것은 자동차가 운전한 곳뿐만 아니라 다시 운전하지 않은 다른 위치에서도 노면에 레이블을 지정하는 효과적인 방법을 생성합니다. 이것의 요점은 단지
1:31:03
HD 맵 또는 이와 유사한 것을 빌드하면 이러한 교차점을 통해 클립에 레이블을 지정하기만 하면 레이블이 선택적으로 수집된 비디오와 일치하는 한 레이블을 영원히 유지할 필요가 없습니다. 그런 다음 인간이 이 위에 올 수 있습니다. 노이즈나 추가 메타데이터를 정리하여 더 풍부하게 만듭니다. 노면에서만 멈출 필요가 없습니다. 또한 임의로 3d 정적 장애물을 재구성할 수도 있습니다. 음, 이것은 카메라에서 재구성된 3d 포인트 클라우드입니다. 여기서 주요 혁신은 밀도

1:31:35
포인트 클라우드의 일반적으로 이러한 포인트는 한 프레임에서 다음 프레임으로 연결을 형성하기 위해 텍스처가 필요하지만 여기서는 도로 표면이나 벽과 같은 텍스트 표면에서도 이러한 포인트를 생성할 수 있으며 이는 우리가 할 수 있는 임의의 장애물에 주석을 추가하는 데 정말 유용합니다. 세상의 현장에서 이 모든 작업을 서버에서 오프라인으로 수행하는 또 하나의 멋진 이점은 뒤늦게 볼 수 있다는 이점이 있다는 것입니다. 이것은 매우 유용한 해킹입니다. 어, 차 안에서 네트워크가 속도를 생성해야 하기 때문입니다 그것은 단지 사용해야합니다
1:32:08
역사적 정보와 속도가 무엇인지 추측하지만 여기서 우리는 역사뿐만 아니라 미래도 볼 수 있고 기본적으로 속도 가속 등과 같은 운동학의 정답을 속이고 얻을 수 있습니다. 또 다른 장점은 우리가 다른 트랙을 가질 수 있다는 것입니다. 우리는 미래의 트랙이 있다는 것을 알고 있기 때문에 폐색을 통해서도 함께 전환할 수 있습니다. 우리는 그것들을 일치시킨 다음 연관시킬 수 있습니다. 그래서 여기에서 도로 반대편에 있는 보행자가 여러 경로를 통해서도 지속되는 것을 볼 수 있습니다.
1:32:35
이 자동차에 의한 폐색 이것은 계획자에게 정말 중요합니다. 계획자는 누군가를 본 경우 그들이 가려진 후에도 여전히 설명해야 하기 때문에 계획자는 알아야 하기 때문에 모든 것을 결합하여 이러한 놀라운 데이터를 생성할 수 있는 엄청난 이점입니다. 모든 도로 텍스처 또는 정적 객체 및 모든 움직이는 객체에 주석을 다는 세트는 뛰어난 운동학적 레이블을 생성하는 폐색을 통해서도 카드가 어떻게 부드럽게 회전하는지 볼 수 있으며 정말 부드러운 레이블을 생성합니다.
1:33:07
보행자는 지속적으로 공원 차량을 추적하고 있습니다. 어 분명히 속도가 0이므로 그들이 주차되어 있다는 것도 알 수 있으므로 이것은 우리에게 큰 일입니다. 이것은 모든 것이 얼마나 일관성이 있는지 볼 수 있는 것과 동일한 또 하나의 예입니다. 우리는 백만 대를 생산하고 싶습니다. 어, 클립에 레이블을 지정하고 비디오 멀티캠 비디오 네트워크를 대규모 데이터 세트로 훈련하고 이 문제를 정말 해결했습니다. 우리는 여기 차에서 보고 있는 것과 동일한 보기를 얻고 싶습니다. 데이터 제거로 이에 대한 첫 번째 탐색을 시작했습니다. 프로젝트 어 우리
1:33:40
예를 들어 낮은 보안 조건에서 네트워크가 이해할 수 있는 어려움을 겪을 수 있다는 것을 네트워크 초기에 3개월 이내에 아주 짧은 시간 안에 제거했습니다. 보기 어렵지만 우리는 이 차가 우리 앞에 있었다는 것을 기억해야 합니다. 하지만 우리 네트워크는 초기에 그러한 조건에서 데이터가 부족했기 때문에 이것을 하지 않았습니다. 그래서 우리는 유사한 클립을 많이 생성하기 위해 함대를 추가했고 함대는 그렇게 대답했다
1:34:10
그래서 그것은 음 재생이 되는지, 다른 모든 차량에서 똥이 떨어지는 많은 비디오 클립을 생성하고 우리는 이것을 일주일 안에 10,000개의 클립에 레이블을 지정할 수 있는 자동 생활 파이프라인을 통해 보냅니다. 여기 모든 단일 클립에 레이블을 지정하여 200개의 서로 다른 조건에 대해 이 작업을 수행했고 대용량 데이터 세트를 매우 빠르게 생성할 수 있었습니다. 이것이 우리가 이것을 제거할 수 있었던 방법이므로 이 데이터로 네트워크를 교육하면 완전히 작동하는 것을 볼 수 있습니다.
1:34:46
대상이 거기에 있었다는 기억을 유지하고 이를 제공하므로 마침내 우리는 원격 레이더용 데이터 세트에 실제로 사이버 트럭을 가져오고 싶었습니다. 이 클립을 어디에서 얻었는지 추측할 수 있습니까? 누군가가 말한 순간을 알려드리겠습니다. 예 예 렌더링되었습니다 그것은 우리의 시뮬레이션입니다 처음에 말하기 어려웠고 제가 그렇게 말할 수 있다면 그것은 예쁘게 보입니다 음 그래서 예 자동 라벨링 외에도 우리는 또한 라벨링을 위해 시뮬레이션을 사용하는 데 많은 투자를 합니다 우리 데이터이므로 이것은 다음과 같은 장면입니다.
1:35:24
이전에 보았지만 다른 카메라 각도에서 보여 드리고 싶은 몇 가지 예를 들어 지표면은 평평한 아스팔트가 아닙니다. 많은 자동차와 균열 및 타워 이음새가 있습니다. 그 위에 약간의 패치워크가 적용되어 있습니다. 트럭이 관절로 연결되어 있습니다 어 연석을 넘어 넓은 회전을합니다 음 다른 차들은 똑똑하게 행동합니다 그들은 충돌을 피합니다 차를 돌아 다닙니다 어 그리고 부드럽고 실제로 매우 부드럽습니다 어 브레이크와 부드럽게 가속 여기 상단에 로고가있는 차는
1:35:58
자동조종장치는 실제로 자동차를 운전하고 비생산적인 왼손을 만들고 있습니다. 시뮬레이션이기 때문에 벡터 공간에서 시작하므로 여기에 완벽한 레이블이 있습니다. 우리가 생성하는 몇 가지 레이블은 운동학 깊이 표면 법선이 있는 차량 직육면체입니다. 분할하지만 Andre는 다음 주에 원하는 새 작업의 이름을 지정할 수 있으며 이미 벡터 공간이 있고 이러한 레이블을 매우 빠르게 생성하는 코드를 작성할 수 있기 때문에 이를 매우 빠르게 생성할 수 있습니다. 시뮬레이션이 언제 도움이 됩니까?
1:36:30
그것은 우리 차량만큼 큰 데이터를 소싱하기 어려울 때 가장 도움이 됩니다. 주변에 다른 고속 자동차가 있는 동안 이 커플과 그들의 개와 같은 미친 장면을 고속도로에서 실행하는 것은 여전히 ​​어려울 수 있습니다. 희귀한 장면이라고 말하고 싶지만 여전히 발생할 수 있으며 데이터에 라벨을 지정하기 어려울 때 자동 조종 장치가 여전히 처리해야 합니다. 음 수백 명의 보행자가 길을 건너고 있습니다. 이것은 산이 될 수 있습니다. 인간이 레이블을 지정하는 시간
1:36:59
이 클립과 자동 라벨링 알고리즘의 경우에도 올바른 연결을 얻기가 정말 어렵고 나쁜 속도처럼 생성될 수 있지만 시뮬레이션에서는 이미 개체가 있으므로 직육면체와 속도를 뱉어내야 하기 때문에 사소한 일입니다. 자동차가 결정적인 상황에 있어야 하거나 데이터가 작업에 따라 달라지는 폐쇄 루프 동작을 도입할 때 이것이 안정적으로 얻을 수 있는 거의 유일한 방법입니다. 이 모든 것이 훌륭합니다.
1:37:28
최고의 정확한 센서 시뮬레이션 다시 시뮬레이션의 요점은 예쁜 사진을 만드는 것이 아니라 자동차의 카메라와 다른 센서가 볼 수 있는 것을 생성하는 데 필요하므로 여기에서 실제 카메라의 다양한 노출 설정을 단계별로 살펴보겠습니다. 왼쪽과 오른쪽의 시뮬레이션은 이를 위해 실제 카메라가 수행하는 것과 거의 일치할 수 있습니다. 센서 노이즈 모션 블러에서 시작하여 센서 시뮬레이션에서 카메라의 많은 속성을 모델링해야 했습니다. 광학
1:37:59
왜곡은 헤드라이트 전송까지 어, 심지어 앞 유리 등의 회절 패턴과 같이 우리는 이것을 자동 조종 소프트웨어에만 사용하지 않습니다. 우리는 또한 그것을 렌즈 디자인 카메라 디자인 센서 배치와 같은 하드웨어 결정을 내리는 데 사용합니다. 비주얼 어 현실적인 방식으로 당신은 게임 업계에서 jaggies라고 부르는 것을 가질 수 없습니다. 이것들은 이것이 시뮬레이션이라는 사실을 명백히 보여주는 앨리어싱 아티팩트입니다. 우리는 그것을 원하지 않기 때문에 많은 것을 겪습니다.
1:38:33
멋진 특수 사원을 생성하기 위한 페인트의 특수 시간적 안티 앨리어싱 우리는 또한 이것을 더욱 사실적으로 만들기 위해 신경 렌더링 기술에 노력하고 있습니다. 또한 레이 트레이싱을 사용하여 사실적인 조명과 전역 조명을 생성합니다. 자동차 네트워크가 크기를 알고 있기 때문에 쉽게 초과적합될 것이기 때문에 우리는 분명히 4~5대의 자동차를 가질 수 없다고 생각합니다 음 그래서 우리는 여기 도로에 있는 무스와 같은 현실적인 자산이 필요합니다 음 우리는 우리 자산에 수천 개의 자산을 가지고 있습니다
1:39:08
도서관과 그들은 다른 셔츠를 입을 수 있고 실제로 사실적으로 움직일 수 있습니다. 그래서 이것은 정말 멋집니다. 우리는 또한 많은 다른 위치를 매핑하고 생성했습니다. 어 시뮬레이션 환경을 만들기 위해 우리는 실제로 2000마일의 도로를 건설했으며 이것이 거의 길이입니다 제 생각에는 꽤 멋지다고 생각하는 미국의 동부 해안에서 서부 해안까지의 도로입니다. 또한 단일 아티스트를 위해 하루에 몇 마일을 더 건설할 수 있는 효율적인 툴링을 구축했지만 이것은 빙산의 일각에 불과합니다.
1:39:39
실제로 우리가 훈련하는 데 사용하는 대부분의 데이터는 이러한 시뮬레이션 시나리오를 만드는 아티스트와 달리 알고리즘을 사용하여 절차적으로 생성되므로 곡률과 같은 많은 매개 변수가 있는 절차적으로 생성된 도로입니다. 네트워크에 대한 끝없는 데이터 스트림이지만 네트워크가 이미 올바른 데이터를 얻을 수 있기 때문에 많은 데이터가 지루할 수 있으므로 우리가 하는 일은 기본적으로 ml 기반 기술을 사용하여
1:40:07
네트워크가 어디에서 실패하고 있는지 확인하고 네트워크의 실패 지점 주변에 더 많은 데이터를 생성하므로 이것은 폐쇄 루프에 있으며 네트워크 성능을 개선하기 위해 노력하고 있습니다. 시뮬레이션에서 자동 조종 장치에 발생하여 그때부터 동일한 막대에 자동 조종 장치를 유지할 수 있으므로 여기 왼쪽에 자동차에서 수집된 실제 클립이 표시되고 자동 레이블링 파이프라인을 통해 3D 재구성을 생성합니다.
1:40:37
원본 시각 정보와 결합된 모든 움직이는 물체와 함께 장면의 우리는 동일한 장면을 종합적으로 재생성하고 완전히 시뮬레이션 시나리오를 생성합니다. 그런 다음 자동 조종 장치를 재생하면 자동 조종 장치가 완전히 새로운 일을 할 수 있고 우리는 할 수 있습니다. 원래 실패에서 새로운 세계를 형성하는 새로운 결과를 만드는 것은 정말 놀라운 일입니다. 우리는 자동 조종 장치가 실패하는 것을 정말로 원하지 않고 그것이 실패할 때 우리가 말한 것과 동일한 접근 방식을 실제로 취할 수 있을 뿐만 아니라 그것을 캡처하고 그 기준을 유지하기를 원하기 때문입니다. 이전 및
1:41:10
한 단계 더 나아가 신경 렌더링 기술을 사용하여 훨씬 더 사실적으로 보이게 할 수 있으므로 원본 원본 비디오 클립을 가져와서 합성 어 시뮬레이션을 만든 다음 그 위에 신경 렌더링 기술을 적용하면 다음과 같은 결과가 생성됩니다. 내 생각에 이것은 매우 현실적이며 어젯밤 결과를 본 실제 카메라로 캡처한 것처럼 보이기 때문에 놀랍습니다. 멋지고 우리가 그것을 보여주고 싶었기 때문입니다.
1:41:38
달성하지만 이것이 전부는 아닙니다. 왜냐하면 자동차에서 훈련된 네트워크가 이미 시뮬레이션 데이터를 사용했기 때문입니다. 우리는 거의 5억 개의 레이블이 있는 3억 개의 이미지를 사용했으며 앞으로 몇 달 동안 발생할 모든 작업을 분쇄하고 싶습니다. 우리가 어떻게 이러한 작업을 확장하고 실제로 라벨 공장을 건설하고 수백만 개의 라벨을 뱉어내는지 설명하기 위해 밀라노를 초대합니다.