Edge ai 란?

https://blog.palantir.com/edge-ai-in-space-93d793433a1e?gi=f7f60cc2bec5

Palantir Edge AI in Space

 

팔란티어와 세틀로직이 함께하는 edge ai 기술....

 

2022년 4월 1일, Palantir와 Satellogic은 SpaceX Transporter 4 임무의 일환으로 최초의 Edge AI 지원 위성을 우주로 발사했습니다. Satellogic의 NewSat에 Palantir의 Edge AI 기술을 통합하면 궤도에서 이미지 데이터 처리를 시작하고 대규모 데이터의 신호와 노이즈를 분리하여 제한된 대역폭을 최대한 활용하고 고객이 대규모로 거의 실시간 데이터를 얻을 수 있는 기회를 더 많이 제공할 수 있습니다.

Satellogic이 이전에 발표한 2022년 계획의 일부인 4월 발사는 우주에서 고해상도 데이터를 제공하는 22개의 위성으로 함대를 확장합니다. Satellogic은 2023년 1분기까지 총 34개의 상업용 위성을 궤도에 올려 관심 지점을 매일 최대 7회 재방문하고 2025년까지 200개 이상의 위성을 궤도에 올리는 것을 목표로 합니다. 이를 통해 Satellogic은 매일 지구 전체를 다시 매핑할 수 있는 역량을 갖추게 됩니다.

새로운 Edge AI 지원 NewSat은 Satellogic이 호스팅 페이로드 프로그램과 엣지 컴퓨팅 하드웨어를 Palantir의 Edge AI 플랫폼을 실행하도록 조정한 6개월 프로젝트의 정점입니다. 우리의 공동 프로젝트는 정부와 상업 부문 모두에서 미션 세트 전반에 광범위하게 적용될 새로운 기능을 제공합니다.

개요

사용 사례

이번 발사를 통해 우주에서 Edge AI에 대한 우리의 더 광범위한 전략을 위한 기반을 마련하는 4가지 주요 기술적 역량이 소개되었습니다.

• 대기 시간 단축 및 빠른 인사이트 생성: AI 역량을 엣지(위성 탑재)로 옮기는 주요 목적은 의사 결정 속도를 높이는 것입니다. 지상에서 처리를 실행하면(특히 고해상도 이미지의 경우) Edge AI가 제거할 수 있는 대기 시간이 발생합니다. Edge AI는 캡처 시 데이터 처리를 시작하여 기존 지상 처리보다 빠르게 실행 가능한 인사이트를 제공합니다. 예를 들어, 향후 데이터 수집을 온보드(폐쇄 루프)로 알리거나 분석적 가치에 따라 사전 처리된 이미지를 선택적으로 다운링크할 수 있습니다.
• 대역폭 최적화: 전통적으로 위성 센서는 현재 전송할 수 있는 것보다 더 많은 양의 데이터를 수집할 수 있습니다. Edge AI를 사용하면 고객에게 가장 가치 있는 데이터가 무엇인지에 대한 AI 기반 결정을 내리고 거의 실시간으로 변화하는 우선순위에 적응할 수 있습니다. 즉, 위성은 센서 용량을 더 잘 활용하여 고객에게 가장 관련성이 높은 더 많은 양의 데이터를 수집하여 시간에 민감한 결정을 내릴 수 있습니다.
• 경량 모델 업데이트: 위성에 탑재된 정적 알고리즘은 임무 요구 사항이 변경되고 기술이 개선됨에 따라 빠르게 쓸모없게 될 수 있습니다. 비행 중에 지속적인 알고리즘 업데이트를 가능하게 하면 자산이 끊임없이 변화하는 우선순위와 운영 환경에 적응할 수 있습니다. 이것이 Edge AI 지원 NewSat이 위성 수명 동안 온보드 모델과 소프트웨어를 업데이트하는 기본 제공 메커니즘을 갖춘 이유입니다. (업그레이드 인프라에 대한 자세한 내용은 아래를 참조하세요.)
• 타사 공급업체 핫 스왑: 가장 유능한 Edge AI 배포는 여러 공급업체의 알고리즘을 관리하고 배포해야 한다고 생각합니다. NewSat에는 Palantir 객체 및 클라우드 감지 모델, Xailient 선박 감지 모델, MindFoundry 이미지 분할 모델, Pilot.ai 다중 클래스 감지 모델이 있습니다. 임무 요구 사항 및 지형에 따라 모델과 체인 기능 간에 핫 스왑할 수 있습니다. 예를 들어 위성이 항구 위를 지날 때 클라우드 감지기, 이미지 분할 및 선박 감지기 모델을 실행할 수 있고, 마을 위를 지날 때 차량 및 건물 감지기로 전환할 수 있습니다.

위성 아키텍처

Satellogic은 위성의 모든 구성 요소(예: 카메라, 온보드 컴퓨터, 전원 하위 시스템, 센서 및 액추에이터, 광학, 라디오 및 추진 시스템)를 설계하고 제작합니다. 각 우주선은 서브미터 멀티 스펙트럼 카메라와 29밴드 초분광 카메라를 모두 탑재하고 있으며, 독점 또는 타사 탑재물을 위한 추가 베이를 포함합니다. 이러한 접근 방식은 엄청난 비용 이점을 제공하고 더 효율적으로 확장하고 반복하기 위한 더 짧은 R&D 주기를 가능하게 합니다.

컴퓨팅 목적으로, Satellogic의 페이로드 시스템 내에서 실행되는 NVIDIA의 Jetson Platform에 맞게 소프트웨어를 최적화했습니다. Satellogic의 지상국 네트워크는 위성 및 온보드 Edge AI 시스템과의 통신에 사용됩니다.

그림 1 Satellogic 호스팅 페이로드 베이 및 엣지 컴퓨팅 하드웨어 개요(Satellogic 제공)

독특한 배포 환경

Satellogic의 NewSat 플랫폼에 Edge AI를 배포하면서 다음과 같은 여러 가지 새로운 과제가 발생했습니다.

• 제한된 컴퓨팅 및 임의 재시작: 사실입니다. 우주에서 작업하는 것은 어렵습니다. 위성 운영 환경에서 전력은 희소하고 한정된 자원입니다. 우리는 Edge AI 시스템과 위성의 이미징 및 통신 하드웨어 간에 전력을 신중하게 분배합니다. 실제로 Edge AI 시스템은 Jetson TX-2i에서 몇 분의 런타임만 있습니다. 위성의 궤도 궤적과 할당된 캡처 작업을 변경하면 이 런타임을 더욱 줄일 수 있으며, 소프트웨어의 내결함성이 높아야 합니다.
• 새로운 원시 이미지 입력: 원시 이미지는 모델에 고유한 과제를 제시합니다. 이미지는 단일 채널에 있는 네 가지 유형의 데이터로 구성됩니다. 근적외선(NIR), 적색, 녹색 및 청색광(적색, 녹색 및 청색광은 총칭하여 "RGB"라고 함). 이미지 처리를 위한 대부분의 컴퓨터 비전 모델은 일반적으로 3채널 RGB 이미지에 맞게 설계되었습니다. 원시 L0 데이터를 처리할 때 모델 성능이 심각하게 저하됩니다. 대부분의 AI 아키텍처 내에서 모델을 재교육하는 것은 기존 데이터의 부족과 이미지 전체에서 식별된 기능의 광범위한 분산으로 인해 여전히 과제입니다.
• 제한된 업링크 대역폭: 위성과의 통신은 일반적으로 매우 비대칭적입니다. 대역폭 제약으로 인해 네트워크 처리량은 위성의 패스당 다운링크의 경우 GB에서 업링크의 경우 몇 MB에 이르며, 위성 소프트웨어를 업데이트하는 데 상당한 어려움이 있습니다.

이러한 고유한 배포 제약을 해결하기 위해 우리는 Edge AI에 다음과 같은 혁신을 도입했습니다.

이미지 사전 처리

지난 여름에 위성에 탑재된 고유한 4밴드, 단일 채널 원시 이미지 데이터의 프로토타입을 제작하면서 얻은 교훈을 바탕으로 우리는 재교육 없이도 모델 정확도를 개선하기 위해 강력한 사전 처리 솔루션에 투자했습니다.

우리는 멀티 스펙트럼 카메라에서 이미지를 가져와 효율적으로 3채널 RGB 이미지로 처리할 수 있는 맞춤형 이미지 등록 서비스를 개발했습니다. 우리 모델에 필요하지 않기 때문에 의도적으로 NIR 데이터를 무시할 수 있습니다. 실제로 이는 수십 개의 프레임을 캡처하면 모델을 실행할 수 있는 소수의 RGB 이미지가 생성됨을 의미합니다.

등록 프로세스가 완료되면 다운스트림 모델에 전달할 전체 3채널 RGB 이미지가 있습니다. 이를 통해 표준 RGB 이미지에 대해 훈련된 타사 모델을 플러그인하여 위성 센서의 복잡성을 우회할 수 있습니다.

결함 허용성

이번 출시를 통해 Palantir의 Edge AI 시스템에 대한 새로운, 높은 내결함성 설계가 소개됩니다.

우리는 더 나은 신뢰성 보장을 달성하기 위해 기본 하드웨어부터 데이터 파이프라인 아키텍처까지 스택 전반에 걸쳐 시스템의 각 측면을 신중하게 고려했습니다. 소프트웨어 측면에서 우리는 Edge AI의 모듈성을 활용했습니다. 즉, 각 개별 서비스는 파이프라인을 통해 데이터가 흐를 때 데이터 유효성을 보장하고 프로세스에서 유효하지 않은 데이터를 동적으로 제거합니다.

이러한 서비스는 Jetson에 부착된 외부 스토리지 모듈에 기반한 체크포인팅 시스템에 의해 지원됩니다. 이 체크포인팅 시스템은 당사의 데이터 무결성 로직과 결합되어 Edge AI가 상태를 복구하고 예기치 않은 종료 시 사용자 개입 없이 중단된 지점에서 원활하게 처리를 재개할 수 있도록 합니다.

처리량 측면에서 우리는 멀티코어 프로세싱을 최대한 활용합니다. Palantir의 모듈식 설계는 Edge AI의 파이프라인을 단 몇 초 만에 포화시켜 처리량을 극적으로 증가시킵니다.

AI 통합

Palantir의 Edge AI 플랫폼은 위성에 탑재된 여러 AI 모델을 조정하기 위한 강력한 프레임워크를 제공합니다. 사전 처리가 완료되면 형성된 이미지에 대해 다양한 모델을 실행할 수 있습니다.

자체 모델과 더불어, 우리는 수많은 타사 모델을 보유하게 되어 기쁩니다.

• Palantir Omni: 육지, 해상, 공중 차량은 물론 건물을 식별할 수 있는 다중 클래스 컴퓨터 비전(CV) 모델입니다.
• Palantir Overcast: 성능이 뛰어난 구름 감지기.
• Xailient : 빠르고 가벼운 선박 감지기.
• Pilot.ai : 항공기와 선박을 감지하기 위한 고성능, 경량 모델입니다.
• Mind Foundry : 숲과 바다와 같은 지형 유형을 식별하는 초저전력 이미지 분할 모델입니다.

Edge AI 플랫폼은 각 모델의 요구 사항에 따라 입력 이미지를 조정하고 관련 추론을 저장합니다. 그런 다음 다운스트림 후처리 서비스에서 이 정보를 사용하여 추가 출력을 생성합니다. Edge AI는 여러 모델을 병렬로 시퀀싱할 수 있습니다. 예를 들어 Overcast, MindFoundry, Omni를 순서대로 실행할 수 있습니다. 세분화 모델은 Overcast에서 식별한 클라우드를 무시하여 세분화 정확도를 향상시킬 수 있습니다. 그런 다음 이러한 세분화 결과를 Omni에서 사용하여 거짓 양성을 제거하여 리콜을 개선할 수 있습니다. 이는 Edge AI의 주요 장점입니다. 모델이 동급 최고의 기능으로 서로를 보완할 수 있도록 함으로써 모델 성능을 크게 개선할 수 있습니다.

후처리

모델이 온보드 통찰력을 생성하는 것을 마치면 다운링크를 준비하기 위해 출력을 사후 처리합니다.

투영. Edge AI와 함께 제공되는 모든 모델은 픽셀 공간에서 추론을 반환합니다. 실제 세계에서 이러한 추론을 찾기 위해 위성 원격 측정 정보를 가져와 추론을 픽셀 좌표에서 측지 좌표로 변환할 수 있는 모델 하류의 투영 서비스를 운영합니다. 이 서비스는 고도 분산이 큰 영역에서 이미지를 캡처할 때 정확한 투영을 보장하기 위해 글로벌 고도 데이터 세트와 통합됩니다. 또한 투영을 수행할 때 수정되는 원격 측정 데이터 내에서 지구 모델의 기하학적 단순화를 고려합니다. 마지막으로 이 서비스는 시간 경과에 따른 위성 원격 측정 센서 편향을 수정할 수도 있습니다. 이러한 개선을 통해 원시 원격 측정이 허용하는 것보다 지구에서 더 정확하게 추론을 찾을 수 있습니다.

썸네일. 관심 있는 특정 추론에 대해 전체 이미지보다 크기가 상당히 작고 다운링크 속도가 빠른 가벼운 PNG 썸네일을 생성합니다. 예를 들어, 물 위의 이미지에서 모델에서 식별한 선박만 다운링크하여 네트워크 처리량 요구 사항을 크게 줄일 수 있습니다.

이러한 과정이 완료되면 결과물을 다운링크할 준비가 됩니다.

궤도 내 업그레이드 인프라

업링크 대역폭 제약으로 인해 궤도 업데이트를 처리하기 위한 맞춤형 업그레이드 프레임워크를 개발했습니다. 위성에 새 버전의 소프트웨어를 배송하는 대신, 새 버전과 위성에 설치된 현재 버전의 차이점을 인코딩하는 최적화된 패키지를 계산하여 배송할 수 있습니다. 탑재되면 업그레이드 인프라는 Edge AI 시스템을 인스턴스화하기 전에 새 버전의 소프트웨어를 재구성할 수 있습니다. 이 업그레이드 기능은 모델까지 확장됩니다. 지상에서 모델을 재교육하고 필요에 따라 궤도에서 모델 가중치를 업데이트하여 온보드 AI 기능을 지속적으로 개선할 수 있습니다.

보안

우리는 위성에서 전송된 데이터를 검증하고 Palantir에서 승인한 업데이트만 위성에서 발생할 수 있도록 다양한 암호화 메커니즘을 구현했습니다. 이는 네트워크의 모든 홉을 제어하지 않기 때문에 특히 중요한 통신 무결성을 보장합니다. Satellogic 미션 운영은 TT&C와 지상으로의 데이터 전송 모두에서 통신의 프라이버시, 무결성 및 보안을 보장하기 위해 다양한 암호화 도구를 사용합니다.

다음은 무엇인가요?

향후 출시를 고려하면서 현재 제공 중인 제품에 추가할 수 있는 새로운 기능을 고려하고 있습니다. 다음은 다음 단계에 대한 간략한 개요입니다.

• 지리적 등록 : 우리는 다음을 달성하기 위해 최선을 다하고 있습니다.10m 미만의 정확도위성에 탑재된 추론을 위해. 위성 원격 측정 데이터는 탑재된 센서의 부정확성으로 인해 실제 추론 위치에서 수백 미터 이내로만 도달할 수 있습니다. Palantir의 새로운 자체 지리 등록 기능이 다음 Edge AI 시스템 출시의 일부가 될 것이라는 소식을 알려드리게 되어 기쁩니다. 저희의 지리 등록 소프트웨어는 이미 다운링크된 위성 이미지를 처리하고 있지만, 저희는 Edge AI의 모듈형 인터페이스를 통해 이 기능을 궤도 시스템에 통합하여 궤도 추론 정확도를 획기적으로 개선하기 위해 노력하고 있습니다.
• 하드웨어 보안 : Palantir에서는 보안을 끊임없이 변화하는 목표로 봅니다. 끊임없이 진화하는 위협으로부터 엣지 배포를 가장 잘 보호하기 위해, 우리는 위성을 위한 차세대 Edge AI 시스템에 새로운 하드웨어 기반 보안 메커니즘을 도입할 계획입니다. 이는 기존 메커니즘을 보완하고 Edge AI 시스템에 대한 기밀성과 무결성을 더욱 강력하게 보장할 수 있게 해줍니다.
• 태스킹 지원 : Palantir MetaConstellation 소프트웨어를 통해 Edge AI 시스템을 보다 세부적으로 제어할 수 있는 기능을 만들기 위해 Satellogic과 긴밀히 협력하고 있습니다 . 시스템 업그레이드 외에도 Edge AI의 처리를 다가올 임무 요구 사항에 동적으로 적응시키고, 지연 시간, 전력 예산 및 대역폭 제약을 고려하여 예상되는 영상 데이터에 따라 정확도를 개선하기 위한 모델을 구성하고자 합니다. 새로운 태스킹 기능에 대한 자세한 내용은 계속 지켜봐 주시기 바랍니다.
• ISL 및 업그레이드된 통신 : 향후 출시를 위해 위성 간 링크(ISL)를 포함한 더 많은 통신 옵션을 조사하고 있습니다. 이를 통해 Edge AI 지원 위성 간의 저지연 자율 팁핑 및 큐잉이 가능해지고, 교차 별자리 작업을 포함하여 모든 것이 엣지에서 수행됩니다. 이는 현재 Edge AI 작업으로 기반을 마련하고 있는 혁신적인 기능입니다.
• Foundry Deployability to the Edge : Foundry 플랫폼 과 원활하게 통합할 수 있는 프레임워크에 계속 투자하고 있습니다 . 이를 통해 사용자는 Foundry에서 논리와 모델을 작성한 다음 Apollo 전달 플랫폼을 사용하여 해당 모델을 위성으로 푸시할 수 있습니다. 현재 이 기능을 지상 기반 환경에서 제공하지만 우주로 확장할 수 있어 기쁩니다. 이 통합은 모델의 CI/CD를 엣지까지 가능하게 하는 데 매우 중요합니다.

결론

수년 동안, 저희 고객은 Palantir 소프트웨어를 사용하여 지상에서 위성 이미지를 처리했습니다. 저희는 고객의 임무 영역과 운영을 더 잘 지원하기 위해 이 처리를 엣지에 더 가깝게 가져오기 위해 지속적으로 노력해 왔습니다. Palantir-Satellogic 협업은 고객에게 다시 전송되는 데이터의 품질을 획기적으로 개선하고 전달을 가속화하는 데 있어 중요한 단계를 나타냅니다. 우주에서 Edge AI를 선구적으로 적용한 이 기술은 기후 변화에 맞서 싸우고, 재해를 예방하고, 비상 대응을 개선하는 것과 같은 중요한 글로벌 우선순위를 해결하기 위한 시기적절한 솔루션을 제공할 수 있는 고급 분석의 기반이 되는 것을 목표로 합니다.

저자

Rob Imig, USG 연구 개발 책임자, Palantir

Mueed Ur Rehman, Palantir의 Edge 담당 수석 소프트웨어 엔지니어

이 게시물에는 1933년 증권법 제27A조(개정판) 및 1934년 증권거래법 제21E조(개정판)의 의미 내에서 미래 예측 진술이 포함되어 있습니다. 이러한 진술은 파트너십 조건 및 소프트웨어 플랫폼의 예상 이점과 관련이 있을 수 있지만 이에 국한되지 않습니다. 미래 예측 진술은 본질적으로 위험과 불확실성의 영향을 받으며, 그 중 일부는 예측하거나 정량화할 수 없습니다. 미래 예측 진술은 해당 진술이 작성된 당시에 입수 가능한 정보를 기반으로 하며, 현재의 기대치와 미래 이벤트에 대한 당시 경영진의 믿음과 가정에 기반합니다. 이러한 진술은 위험과 불확실성의 영향을 받으며, 그 중 다수는 Palantir의 통제를 벗어난 요소 또는 상황과 관련이 있습니다. 이러한 위험과 불확실성에는 Palantir가 고객의 고유한 요구 사항을 충족하는 능력, 플랫폼 및 솔루션이 고객을 만족시키거나 원하는 대로 수행하지 못하는 경우, 소프트웨어 및 구현 오류의 빈도 또는 심각성, 플랫폼의 안정성이 포함됩니다. 그리고 파트너십을 수정하거나 종료할 수 있는 능력. 이러한 위험과 불확실성 및 기타 위험에 대한 추가 정보는 Palantir가 수시로 증권거래위원회에 제출하는 서류에 포함되어 있습니다. 법률에서 요구하는 경우를 제외하고 Palantir는 새로운 정보, 향후 개발 또는 기타 이유로 인해 미래 예측 진술을 공개적으로 업데이트하거나 수정할 의무를 지지 않습니다.