Palantir Technologies — компания, занимающаяся разработкой решений для интеграции данных и программного обеспечения. Он работает через коммерческий и правительственный сегменты. Коммерческий сегмент предлагает услуги клиентам в частном секторе. Сегмент для правительства предоставляет решения для федерального правительства США и правительств других стран. Фирма предлагает решения в области автомобилестроения, финансового соответствия, юридической и военной разведки, анализа слияний и поглощений компаний.
Компания разработала и обслуживает две программные платформы: Palantir Gotham («Gotham») и Palantir Foundry («Foundry»).
Какие последние новости и триггеры?
- Кому война, а кому мать родна - спецоперация в Украине.
- Palantir #PLTR и Accenture #ACN заключают партнерство. Accenture Applied Intelligence работает с Palantir над созданием инновационного центра Accenture Palantir Studio, в котором работают более 1000 специалистов по Foundry, которые будут создавать и разрабатывать новые передовые решения. С созданием этого нового инновационного центра Accenture расширит свои возможности в Palantir Foundry, чтобы предоставить своим клиентам новую ценность. «Этот союз с Palantir улучшит то, как мы интегрируем разрозненные наборы данных, обеспечим высокое качество и полноту данных, а также применим новые методы искусственного интеллекта для решения больших проблем, помогая нашим клиентам лучше понимать и принимать решения» - сказал Санджив Вохра, глобальный руководитель Accenture Applied Intelligence.
- ❗Запуск в космос нового поколения спутника и на самом деле это очень интересное событие, которое собственно меня заинтересовало и побудило написать этот пост. Подробнее о Palantir Edge AI в космосе ниже.
Что показал последний отчет?
Сразу скажу, что я держу эти бумаги в портфеле и докупал на последнем финансовом отчете.
Основное за отчет Q4:
Q4 Non-GAAP EPS of $0.02 misses by $0.02.
Revenue of $432.8M (+34.4% Y/Y) beats by $14.73M.
Привлечено 34 новых клиента в 4 квартале 2021 г.
Закрыто 64 сделки на сумму от $1 млн, из них:
- 27 сделок на сумму 5 миллионов долларов и более
- 19 сделок на сумму 10 миллионов долларов и более
В первом квартале 2022 года ожидается:
Доход в размере 443 млн долларов против консенсус-прогноза в 439,62 млн долларов. Скорректированная операционная маржа 23%.
На весь 2022 год ожидается:
Скорректированная операционная маржа 27%. Ежегодный рост выручки на 30% или более до 2025 года
Доходы в правительственном сегменте выросли на 26% по сравнению с прошлым годом. Количество коммерческих клиентов увеличилось втрое до 147 клиентов по сравнению с прошлым годом.
Palantir Edge AI в космосе
Разработка программного обеспечения для обработки данных на орбите (перевод с блога Palantir).
1 апреля 2022 года Palantir и Satellogic запустили в космос первый спутник с поддержкой Edge AI в рамках миссии SpaceX Transporter 4. Использование технологии Edge AI компании Palantir на борту спутника NewSat компании Satellogic позволит начать обработку данных съемки на орбите, отделяя в массивных данных информацию от мусора, чтобы наилучшим образом использовать ограниченную полосу пропускания и предоставить клиентам больше возможностей для получения данных практически в режиме реального времени в масштабе всей планеты.
Этот запуск, являющийся частью ранее объявленных планов компании Satellogic на 2022 год, увеличит парк спутников компании до 22, обеспечивающих передачу данных высокого разрешения из космоса. К первому кварталу 2023 года компания Satellogic планирует вывести на орбиту в общей сложности 34 коммерческих спутника, которые будут ежедневно совершать до семи повторных облетов любой интересующей точки, а к 2025 году планируется вывести на орбиту более 200 спутников. Это позволит Satellogic ежедневно обновлять карту всей Земли.
Новый спутник NewSat с поддержкой Edge AI является кульминацией шестимесячного проекта, в ходе которого компания Satellogic адаптировала свою программу размещаемой полезной нагрузки и аппаратное обеспечение для проведения вычислительных операций с использованием платформы Edge AI компании Palantir. Этот совместный проект обеспечивает новые возможности, которые найдут широкое применение в различных сферах деятельности, как в государственном, так и в коммерческом секторе.
Примеры использования
Этот проект представляет четыре основные технические возможности, которые закладывают основу для реализации стратегии Edge AI в космосе.
- Снижение задержки и быстрая генерация информации: Основная цель переноса возможностей ИИ на периферию (на борт спутника) - помочь увеличить скорость принятия решений. Обработка данных на земле - особенно снимков высокого разрешения - влечет за собой задержки, которые Edge AI может устранить. Edge AI начинает обрабатывать данные с момента их получения, обеспечивая получение практических выводов быстрее, чем традиционная наземная обработка. Например, можно управлять будущим сбором данных на борту (замкнутый цикл) или выборочно передавать вниз предварительно обработанные изображения с учетом их аналитической ценности.
- Оптимизация полосы пропускания: Традиционно спутниковые аппараты могут собирать больший объем данных, чем они могут передать в настоящее время. Edge AI позволяет принимать решения на основе искусственного интеллекта о том, какие данные будут наиболее ценными для клиентов, и адаптироваться к меняющимся приоритетам практически в режиме реального времени. Это означает, что спутники могут лучше использовать свои возможности по использованию датчиков для сбора больших объемов данных, которые наиболее актуальны для клиентов при принятии решений, чувствительных к срокам.
- Легкое обслуживание модели: статичный алгоритм на борту спутника может быстро устареть по мере изменения требований миссии и совершенствования технологий. Возможность непрерывного обновления алгоритмов в полете делает актив адаптируемым к постоянно меняющимся приоритетам и условиям эксплуатации. Именно поэтому спутник Edge AI-enabled NewSat имеет встроенные механизмы для обновления бортовых систем и программного обеспечения в течение всего срока службы спутника.
- Горячая замена оборудования сторонними поставщиками: По мнению специалистов, наиболее эффективные системы Edge AI должны управлять и внедрять алгоритмы от нескольких поставщиков. На борту NewSat установлены различные алгоритмы обнаружения объектов и облачных сред Palantir, модель обнаружения кораблей Xailient, модель сегментации изображений MindFoundry и модель обнаружения нескольких классов Pilot.ai. Мы можем менять модели и возможности цепочки в зависимости от требований миссии и рельефа местности. Например, когда спутник проходит над портом, мы можем запустить модели детектора облаков, сегментации изображений и детектора кораблей, а когда спутник проходит над городом, мы можем переключиться на детекторы автомобилей и зданий.
Архитектура спутника
Компания Satellogic разрабатывает и производит все компоненты своих спутников (т.е. камеры, бортовые компьютеры, подсистему питания, датчики и исполнительные механизмы, оптику, радиоприемники и двигательные установки). На каждом космическом аппарате установлена субметровая мультиспектральная камера и 29-диапазонная гиперспектральная камера, а также дополнительный отсек для полезной нагрузки собственной разработки или сторонних производителей. Такой подход обеспечивает значительное преимущество в стоимости и позволяет сократить циклы НИОКР для более эффективного масштабирования и итераций.
Для вычислительных целей с целью оптимизации ПО используется платформа NVIDIA Jetson Platform, которая работает в составе системы полезной нагрузки Satellogic. Сеть наземных станций Satellogic будет использоваться для связи со спутником и бортовой системой Edge AI.
Уникальные условия развертывания
При развертывании Edge AI на платформе NewSat компании Satellogic возникло множество новых проблем, включая:
- Ограниченные вычисления и случайные перезапуски: Действительно, работать в космосе сложно. В рабочих средах спутников энергия является дефицитным и ограниченным ресурсом. Поэтому необходимо тщательно распределять мощность между системой Edge AI и аппаратурой визуализации и связи спутника. С практической точки зрения, время работы системы Edge AI на борту Jetson TX-2i составляет всего несколько минут. Изменения орбитальной траектории спутника и поставленных задач по захвату могут еще больше сократить это время работы, что требует от программного обеспечения повышенной отказоустойчивости.
- Необработанные снимки: Необработанные снимки представляют собой уникальную задачу для моделей. Изображение состоит из четырех различных типов данных в одном канале: ближний инфракрасный (NIR), красный, зеленый и синий свет (красный, зеленый и синий свет совместно называются "RGB"). Большинство моделей компьютерного зрения для обработки изображений обычно разрабатываются для трехканальных RGB-изображений. Производительность модели сильно снижается при работе с необработанными данными L0. Переобучение моделей в рамках большинства архитектур ИИ остается сложной задачей из-за нехватки существующих данных и большого разброса выявленных особенностей по всему изображению.
- Ограниченная пропускная способность восходящей линии связи: связь со спутниками обычно очень асимметрична. Ограничение пропускной способности означает, что пропускная способность сети варьируется от гигабайтов для нисходящей связи до нескольких мегабайт для восходящей связи за один проход спутника, что создает значительные трудности для обновления программного обеспечения спутника.
Чтобы справиться с этими уникальными ограничениями при развертывании, в Edge AI были внедрены следующие инновации:
- Предварительная обработка изображений
Опираясь на опыт, полученный при использовании уникальных 4-диапазонных одноканальных необработанных данных изображения на борту спутника предыдущим летом, специалисты вложили средства в надежное решение для предварительной обработки, чтобы повысить точность модели без переобучения.
Был разработан специальный сервис регистрации изображений, который может принимать изображения с многоспектральной камеры и эффективно обрабатывать их в 3-канальные RGB-изображения. При этом данные NIR могут намеренно игнорироваться, поскольку для построения моделей они не требуются. На практике это означает, что захват десятков кадров дает несколько RGB-изображений, на которых можно запустить в работу модель.
Когда процесс регистрации завершен, получаем полное 3-канальное RGB-изображение, которое можно передать в последующие модели. Это позволяет подключать сторонние модели, обученные для стандартных RGB-изображений, минуя тонкости спутникового сенсора.
- Устойчивость к сбоям
С запуском системы Palantir Edge AI система получила новый конструктив с высокой отказоустойчивостью.
Для получения лучших гарантий надежности необходимо тщательно продумать каждый аспект системы во всем стеке, от базового оборудования до архитектуры конвейера данных. В программной части была использована модульность Edge AI - каждый из отдельных сервисов гарантирует достоверность данных по мере их прохождения через конвейер, динамически удаляя при этом недействительные данные. Эти сервисы поддерживаются системой контрольных точек на базе внешнего модуля хранения данных, подключенного к Jetson. В сочетании с логикой целостности данных эта система контрольных точек позволяет Edge AI восстанавливать данные и плавно возобновлять обработку с того места, на котором она остановилась, в случае неожиданного завершения работы без вмешательства пользователя.
Что касается пропускной способности, то здесь используются все преимущества многоядерной обработки. Модульная конструкция Palantir позволяет насытить конвейеры Edge AI за считанные секунды, что значительно увеличивает пропускную способность.
ИИ Integration
Платформа Edge AI компании Palantir обеспечивает надежную основу для управления несколькими моделями ИИ на борту спутника. После завершения предварительной обработки можно запускать различные модели на основе сформированного изображения.
Наряду с собственными моделями, на борту спутника работают многочисленные модели от сторонних компаний:
- Palantir Omni: Многоклассовая модель компьютерного зрения (CV), способная идентифицировать наземные, морские и воздушные транспортные средства, а также здания.
- Palantir Overcast: Высокопроизводительный детектор облаков.
- Xailient: Быстрый и легкий детектор кораблей.
- Pilot.ai: Высокопроизводительная, легкая модель для обнаружения самолетов и кораблей.
- Mind Foundry: Модель сегментации изображений со сверхнизким энергопотреблением, которая определяет такие типы местности, как лес и океан.
Постобработка
После того, как модели завершают генерировать свои встроенные данные, производится постобработка результатов, чтобы подготовить их к передаче.
- Проецирование. Все модели, входящие в состав Edge AI, выдают результаты анализа в пространственном пикселе. Чтобы определить местоположение этих результатов в реальном мире, используется проекционная служба, расположенная непосредственно перед моделями, которая может принимать информацию спутниковой телеметрии и преобразовывать результаты из пиксельных координат в геодезические координаты. Эта служба интегрируется с глобальными базами данных о рельефе для обеспечения точности проекций при съемке изображений на территориях с большим разбросом высот. В телеметрических данных учитываются геометрические упрощения модели Земли, которые затем исправляются при выполнении проекций. Наконец, сервис может корректировать погрешности датчиков спутниковой телеметрии с течением времени. Эти усовершенствования позволяют определять местоположение данных на Земле более точно, чем это позволяет сделать необработанная телеметрия.
- Эскизы. Для каждого конкретного интересующего нас снимка создаются легкие миниатюры в формате PNG, которые значительно меньше по размеру и быстрее передаются, чем полное изображение. Например, на изображении водной поверхности можно передавать только корабли, идентифицированные моделями, что значительно снижает требования к пропускной способности сети.
После завершения этих процессов можно передавать результаты.
- Инфраструктура обновления на орбите
В связи с ограничениями пропускной способности восходящего канала связи была разработана собственная инфраструктура обновления для работы с обновлениями на орбите. Вместо того чтобы отправлять на спутник новую версию нашего программного обеспечения, можно вычислить и отправить оптимизированный пакет, который фиксирует различия между новой версией и текущей версией, установленной на спутнике. После доставки на борт спутника программа обновления может реконструировать новую версию программного обеспечения перед установкой системы Edge AI. Эта возможность обновления распространяется и на другие модели: при необходимости можно переобучать модели на земле и обновлять весовые коэффициенты моделей на орбите, постоянно совершенствуя возможности бортового ИИ.
Что дальше?
В преддверии будущих запусков спутников необходимо рассмотреть новые возможности, которые мы могли бы добавить к уже предлагаемым. Вот краткий обзор того, что будет сделано в будущем:
- Георегистрация: Цель проекта - достичь погрешности менее 10 м для расчетов на борту спутника. Данные спутниковой телеметрии могут дать точность лишь в пределах сотен метров от фактического местоположения объекта из-за погрешностей бортовых датчиков. Поэтому сегодня важно сообщить, что новые собственные возможности Palantir по георегистрации станут частью следующей системы Edge AI. Программное обеспечение для георегистрации уже обрабатывает спутниковые изображения, но сейчас ведется работа над интеграцией этой возможности в систему на орбите через модульный интерфейс Edge AI, чтобы значительно повысить точность вычислений на орбите.
- Безопасность аппаратного обеспечения: В Palantir безопасность рассматривается как постоянно изменяющаяся задача. Чтобы наилучшим образом защитить периферийные устройства от постоянно развивающихся угроз, планируется внедрить новые аппаратные механизмы безопасности на борту следующего поколения системы Edge AI для спутников. Они дополнят существующие механизмы и позволят предложить более надежные гарантии конфиденциальности и целостности системы Edge AI.
- Сопровождение выполнения задач: Palantir тесно сотрудничает с компанией Satellogic для создания возможностей более точного управления системой Edge AI с помощью программного обеспечения Palantir MetaConstellation. Помимо модернизации системы, планируется динамически адаптировать обработку данных Edge AI к требованиям предстоящих миссий, учитывая время задержки, энергопотребление и ограничения пропускной способности, чтобы настроить модели для повышения точности в зависимости от ожидаемых данных съемки.
- ISL и модернизированные средства связи: Для будущих запусков исследуются дополнительные возможности связи, включая межспутниковые каналы (ISL). Они позволят обеспечить низкую задержку при передаче данных между спутниками Edge AI, включая распределение задач между спутниками в разных группировках, и все это будет осуществляться непосредственно на орбите. Это революционная возможность, которую необходимо заложить в основу текущей работы над Edge AI.
- Возможность развертывания Foundry на орбите: Сейчас продолжается инвестирование средств в разработку структуры, которая обеспечит бесшовную интеграцию с платформой Foundry. Это позволит пользователям создавать логику и модели в Foundry, а затем использовать платформу доставки Apollo для передачи модели на спутник. В настоящее время эта функциональность предоставляется в наземных условиях, но теперь очень хочется расширить ее на космос. Эта интеграция очень важна для того, чтобы обеспечить CI/CD моделей на всем протяжении их распространения.
Что в итоге?
На протяжении многих лет клиенты используют программное обеспечение Palantir для обработки спутниковых снимков на Земле. Теперь есть стремление перенести обработку данных в космос. Сотрудничество Palantir и Satellogic представляет собой значительный шаг в ускорении процесса обработки и значительном улучшении качества данных, передаваемых клиентам. Это новаторское применение Edge AI в космосе призвано послужить основой для передовой аналитики, которая может стать основой для своевременного принятия решений для решения важнейших глобальных задач, таких как борьба с изменением климата, предотвращение катастроф и улучшение реагирования на чрезвычайные ситуации.
Компания разработала и обслуживает две программные платформы: Palantir Gotham («Gotham») и Palantir Foundry («Foundry»).
- Платформа Gotham разработана для аналитиков оборонных и разведывательных служб. Palantir известна тем, что сотрудничает со спецслужбами США, а также предоставляет услуги инвестиционным банкам. Среди подрядчиков нельзя не выделить ЦРУ, ФБР, Министерство обороны США, Морскую пехоту, Пограничные службы и др.
Платформа Foundry разработана для крупных коммерческих организаций, где необходимо анализировать большие объемы данных для управления и принятия решений. Из инвестиционных банков, например, можно отметить такие гиганты, как JP Morgan Chase, Bank Of America.
Какие последние новости и триггеры?
- Кому война, а кому мать родна - спецоперация в Украине.
- Palantir #PLTR и Accenture #ACN заключают партнерство. Accenture Applied Intelligence работает с Palantir над созданием инновационного центра Accenture Palantir Studio, в котором работают более 1000 специалистов по Foundry, которые будут создавать и разрабатывать новые передовые решения. С созданием этого нового инновационного центра Accenture расширит свои возможности в Palantir Foundry, чтобы предоставить своим клиентам новую ценность. «Этот союз с Palantir улучшит то, как мы интегрируем разрозненные наборы данных, обеспечим высокое качество и полноту данных, а также применим новые методы искусственного интеллекта для решения больших проблем, помогая нашим клиентам лучше понимать и принимать решения» - сказал Санджив Вохра, глобальный руководитель Accenture Applied Intelligence.
- ❗Запуск в космос нового поколения спутника и на самом деле это очень интересное событие, которое собственно меня заинтересовало и побудило написать этот пост. Подробнее о Palantir Edge AI в космосе ниже.
Что показал последний отчет?
Сразу скажу, что я держу эти бумаги в портфеле и докупал на последнем финансовом отчете.
Основное за отчет Q4:
Q4 Non-GAAP EPS of $0.02 misses by $0.02.
Revenue of $432.8M (+34.4% Y/Y) beats by $14.73M.
Привлечено 34 новых клиента в 4 квартале 2021 г.
Закрыто 64 сделки на сумму от $1 млн, из них:
- 27 сделок на сумму 5 миллионов долларов и более
- 19 сделок на сумму 10 миллионов долларов и более
В первом квартале 2022 года ожидается:
Доход в размере 443 млн долларов против консенсус-прогноза в 439,62 млн долларов. Скорректированная операционная маржа 23%.
На весь 2022 год ожидается:
Скорректированная операционная маржа 27%. Ежегодный рост выручки на 30% или более до 2025 года
Доходы в правительственном сегменте выросли на 26% по сравнению с прошлым годом. Количество коммерческих клиентов увеличилось втрое до 147 клиентов по сравнению с прошлым годом.
Palantir Edge AI в космосе
Разработка программного обеспечения для обработки данных на орбите (перевод с блога Palantir).
1 апреля 2022 года Palantir и Satellogic запустили в космос первый спутник с поддержкой Edge AI в рамках миссии SpaceX Transporter 4. Использование технологии Edge AI компании Palantir на борту спутника NewSat компании Satellogic позволит начать обработку данных съемки на орбите, отделяя в массивных данных информацию от мусора, чтобы наилучшим образом использовать ограниченную полосу пропускания и предоставить клиентам больше возможностей для получения данных практически в режиме реального времени в масштабе всей планеты.
Этот запуск, являющийся частью ранее объявленных планов компании Satellogic на 2022 год, увеличит парк спутников компании до 22, обеспечивающих передачу данных высокого разрешения из космоса. К первому кварталу 2023 года компания Satellogic планирует вывести на орбиту в общей сложности 34 коммерческих спутника, которые будут ежедневно совершать до семи повторных облетов любой интересующей точки, а к 2025 году планируется вывести на орбиту более 200 спутников. Это позволит Satellogic ежедневно обновлять карту всей Земли.
Новый спутник NewSat с поддержкой Edge AI является кульминацией шестимесячного проекта, в ходе которого компания Satellogic адаптировала свою программу размещаемой полезной нагрузки и аппаратное обеспечение для проведения вычислительных операций с использованием платформы Edge AI компании Palantir. Этот совместный проект обеспечивает новые возможности, которые найдут широкое применение в различных сферах деятельности, как в государственном, так и в коммерческом секторе.
Примеры использования
Этот проект представляет четыре основные технические возможности, которые закладывают основу для реализации стратегии Edge AI в космосе.
- Снижение задержки и быстрая генерация информации: Основная цель переноса возможностей ИИ на периферию (на борт спутника) - помочь увеличить скорость принятия решений. Обработка данных на земле - особенно снимков высокого разрешения - влечет за собой задержки, которые Edge AI может устранить. Edge AI начинает обрабатывать данные с момента их получения, обеспечивая получение практических выводов быстрее, чем традиционная наземная обработка. Например, можно управлять будущим сбором данных на борту (замкнутый цикл) или выборочно передавать вниз предварительно обработанные изображения с учетом их аналитической ценности.
- Оптимизация полосы пропускания: Традиционно спутниковые аппараты могут собирать больший объем данных, чем они могут передать в настоящее время. Edge AI позволяет принимать решения на основе искусственного интеллекта о том, какие данные будут наиболее ценными для клиентов, и адаптироваться к меняющимся приоритетам практически в режиме реального времени. Это означает, что спутники могут лучше использовать свои возможности по использованию датчиков для сбора больших объемов данных, которые наиболее актуальны для клиентов при принятии решений, чувствительных к срокам.
- Легкое обслуживание модели: статичный алгоритм на борту спутника может быстро устареть по мере изменения требований миссии и совершенствования технологий. Возможность непрерывного обновления алгоритмов в полете делает актив адаптируемым к постоянно меняющимся приоритетам и условиям эксплуатации. Именно поэтому спутник Edge AI-enabled NewSat имеет встроенные механизмы для обновления бортовых систем и программного обеспечения в течение всего срока службы спутника.
- Горячая замена оборудования сторонними поставщиками: По мнению специалистов, наиболее эффективные системы Edge AI должны управлять и внедрять алгоритмы от нескольких поставщиков. На борту NewSat установлены различные алгоритмы обнаружения объектов и облачных сред Palantir, модель обнаружения кораблей Xailient, модель сегментации изображений MindFoundry и модель обнаружения нескольких классов Pilot.ai. Мы можем менять модели и возможности цепочки в зависимости от требований миссии и рельефа местности. Например, когда спутник проходит над портом, мы можем запустить модели детектора облаков, сегментации изображений и детектора кораблей, а когда спутник проходит над городом, мы можем переключиться на детекторы автомобилей и зданий.
Архитектура спутника
Компания Satellogic разрабатывает и производит все компоненты своих спутников (т.е. камеры, бортовые компьютеры, подсистему питания, датчики и исполнительные механизмы, оптику, радиоприемники и двигательные установки). На каждом космическом аппарате установлена субметровая мультиспектральная камера и 29-диапазонная гиперспектральная камера, а также дополнительный отсек для полезной нагрузки собственной разработки или сторонних производителей. Такой подход обеспечивает значительное преимущество в стоимости и позволяет сократить циклы НИОКР для более эффективного масштабирования и итераций.
Для вычислительных целей с целью оптимизации ПО используется платформа NVIDIA Jetson Platform, которая работает в составе системы полезной нагрузки Satellogic. Сеть наземных станций Satellogic будет использоваться для связи со спутником и бортовой системой Edge AI.
Уникальные условия развертывания
При развертывании Edge AI на платформе NewSat компании Satellogic возникло множество новых проблем, включая:
- Ограниченные вычисления и случайные перезапуски: Действительно, работать в космосе сложно. В рабочих средах спутников энергия является дефицитным и ограниченным ресурсом. Поэтому необходимо тщательно распределять мощность между системой Edge AI и аппаратурой визуализации и связи спутника. С практической точки зрения, время работы системы Edge AI на борту Jetson TX-2i составляет всего несколько минут. Изменения орбитальной траектории спутника и поставленных задач по захвату могут еще больше сократить это время работы, что требует от программного обеспечения повышенной отказоустойчивости.
- Необработанные снимки: Необработанные снимки представляют собой уникальную задачу для моделей. Изображение состоит из четырех различных типов данных в одном канале: ближний инфракрасный (NIR), красный, зеленый и синий свет (красный, зеленый и синий свет совместно называются "RGB"). Большинство моделей компьютерного зрения для обработки изображений обычно разрабатываются для трехканальных RGB-изображений. Производительность модели сильно снижается при работе с необработанными данными L0. Переобучение моделей в рамках большинства архитектур ИИ остается сложной задачей из-за нехватки существующих данных и большого разброса выявленных особенностей по всему изображению.
- Ограниченная пропускная способность восходящей линии связи: связь со спутниками обычно очень асимметрична. Ограничение пропускной способности означает, что пропускная способность сети варьируется от гигабайтов для нисходящей связи до нескольких мегабайт для восходящей связи за один проход спутника, что создает значительные трудности для обновления программного обеспечения спутника.
Чтобы справиться с этими уникальными ограничениями при развертывании, в Edge AI были внедрены следующие инновации:
- Предварительная обработка изображений
Опираясь на опыт, полученный при использовании уникальных 4-диапазонных одноканальных необработанных данных изображения на борту спутника предыдущим летом, специалисты вложили средства в надежное решение для предварительной обработки, чтобы повысить точность модели без переобучения.
Был разработан специальный сервис регистрации изображений, который может принимать изображения с многоспектральной камеры и эффективно обрабатывать их в 3-канальные RGB-изображения. При этом данные NIR могут намеренно игнорироваться, поскольку для построения моделей они не требуются. На практике это означает, что захват десятков кадров дает несколько RGB-изображений, на которых можно запустить в работу модель.
Когда процесс регистрации завершен, получаем полное 3-канальное RGB-изображение, которое можно передать в последующие модели. Это позволяет подключать сторонние модели, обученные для стандартных RGB-изображений, минуя тонкости спутникового сенсора.
- Устойчивость к сбоям
С запуском системы Palantir Edge AI система получила новый конструктив с высокой отказоустойчивостью.
Для получения лучших гарантий надежности необходимо тщательно продумать каждый аспект системы во всем стеке, от базового оборудования до архитектуры конвейера данных. В программной части была использована модульность Edge AI - каждый из отдельных сервисов гарантирует достоверность данных по мере их прохождения через конвейер, динамически удаляя при этом недействительные данные. Эти сервисы поддерживаются системой контрольных точек на базе внешнего модуля хранения данных, подключенного к Jetson. В сочетании с логикой целостности данных эта система контрольных точек позволяет Edge AI восстанавливать данные и плавно возобновлять обработку с того места, на котором она остановилась, в случае неожиданного завершения работы без вмешательства пользователя.
Что касается пропускной способности, то здесь используются все преимущества многоядерной обработки. Модульная конструкция Palantir позволяет насытить конвейеры Edge AI за считанные секунды, что значительно увеличивает пропускную способность.
ИИ Integration
Платформа Edge AI компании Palantir обеспечивает надежную основу для управления несколькими моделями ИИ на борту спутника. После завершения предварительной обработки можно запускать различные модели на основе сформированного изображения.
Наряду с собственными моделями, на борту спутника работают многочисленные модели от сторонних компаний:
- Palantir Omni: Многоклассовая модель компьютерного зрения (CV), способная идентифицировать наземные, морские и воздушные транспортные средства, а также здания.
- Palantir Overcast: Высокопроизводительный детектор облаков.
- Xailient: Быстрый и легкий детектор кораблей.
- Pilot.ai: Высокопроизводительная, легкая модель для обнаружения самолетов и кораблей.
- Mind Foundry: Модель сегментации изображений со сверхнизким энергопотреблением, которая определяет такие типы местности, как лес и океан.
Постобработка
После того, как модели завершают генерировать свои встроенные данные, производится постобработка результатов, чтобы подготовить их к передаче.
- Проецирование. Все модели, входящие в состав Edge AI, выдают результаты анализа в пространственном пикселе. Чтобы определить местоположение этих результатов в реальном мире, используется проекционная служба, расположенная непосредственно перед моделями, которая может принимать информацию спутниковой телеметрии и преобразовывать результаты из пиксельных координат в геодезические координаты. Эта служба интегрируется с глобальными базами данных о рельефе для обеспечения точности проекций при съемке изображений на территориях с большим разбросом высот. В телеметрических данных учитываются геометрические упрощения модели Земли, которые затем исправляются при выполнении проекций. Наконец, сервис может корректировать погрешности датчиков спутниковой телеметрии с течением времени. Эти усовершенствования позволяют определять местоположение данных на Земле более точно, чем это позволяет сделать необработанная телеметрия.
- Эскизы. Для каждого конкретного интересующего нас снимка создаются легкие миниатюры в формате PNG, которые значительно меньше по размеру и быстрее передаются, чем полное изображение. Например, на изображении водной поверхности можно передавать только корабли, идентифицированные моделями, что значительно снижает требования к пропускной способности сети.
После завершения этих процессов можно передавать результаты.
- Инфраструктура обновления на орбите
В связи с ограничениями пропускной способности восходящего канала связи была разработана собственная инфраструктура обновления для работы с обновлениями на орбите. Вместо того чтобы отправлять на спутник новую версию нашего программного обеспечения, можно вычислить и отправить оптимизированный пакет, который фиксирует различия между новой версией и текущей версией, установленной на спутнике. После доставки на борт спутника программа обновления может реконструировать новую версию программного обеспечения перед установкой системы Edge AI. Эта возможность обновления распространяется и на другие модели: при необходимости можно переобучать модели на земле и обновлять весовые коэффициенты моделей на орбите, постоянно совершенствуя возможности бортового ИИ.
Что дальше?
В преддверии будущих запусков спутников необходимо рассмотреть новые возможности, которые мы могли бы добавить к уже предлагаемым. Вот краткий обзор того, что будет сделано в будущем:
- Георегистрация: Цель проекта - достичь погрешности менее 10 м для расчетов на борту спутника. Данные спутниковой телеметрии могут дать точность лишь в пределах сотен метров от фактического местоположения объекта из-за погрешностей бортовых датчиков. Поэтому сегодня важно сообщить, что новые собственные возможности Palantir по георегистрации станут частью следующей системы Edge AI. Программное обеспечение для георегистрации уже обрабатывает спутниковые изображения, но сейчас ведется работа над интеграцией этой возможности в систему на орбите через модульный интерфейс Edge AI, чтобы значительно повысить точность вычислений на орбите.
- Безопасность аппаратного обеспечения: В Palantir безопасность рассматривается как постоянно изменяющаяся задача. Чтобы наилучшим образом защитить периферийные устройства от постоянно развивающихся угроз, планируется внедрить новые аппаратные механизмы безопасности на борту следующего поколения системы Edge AI для спутников. Они дополнят существующие механизмы и позволят предложить более надежные гарантии конфиденциальности и целостности системы Edge AI.
- Сопровождение выполнения задач: Palantir тесно сотрудничает с компанией Satellogic для создания возможностей более точного управления системой Edge AI с помощью программного обеспечения Palantir MetaConstellation. Помимо модернизации системы, планируется динамически адаптировать обработку данных Edge AI к требованиям предстоящих миссий, учитывая время задержки, энергопотребление и ограничения пропускной способности, чтобы настроить модели для повышения точности в зависимости от ожидаемых данных съемки.
- ISL и модернизированные средства связи: Для будущих запусков исследуются дополнительные возможности связи, включая межспутниковые каналы (ISL). Они позволят обеспечить низкую задержку при передаче данных между спутниками Edge AI, включая распределение задач между спутниками в разных группировках, и все это будет осуществляться непосредственно на орбите. Это революционная возможность, которую необходимо заложить в основу текущей работы над Edge AI.
- Возможность развертывания Foundry на орбите: Сейчас продолжается инвестирование средств в разработку структуры, которая обеспечит бесшовную интеграцию с платформой Foundry. Это позволит пользователям создавать логику и модели в Foundry, а затем использовать платформу доставки Apollo для передачи модели на спутник. В настоящее время эта функциональность предоставляется в наземных условиях, но теперь очень хочется расширить ее на космос. Эта интеграция очень важна для того, чтобы обеспечить CI/CD моделей на всем протяжении их распространения.
Что в итоге?
На протяжении многих лет клиенты используют программное обеспечение Palantir для обработки спутниковых снимков на Земле. Теперь есть стремление перенести обработку данных в космос. Сотрудничество Palantir и Satellogic представляет собой значительный шаг в ускорении процесса обработки и значительном улучшении качества данных, передаваемых клиентам. Это новаторское применение Edge AI в космосе призвано послужить основой для передовой аналитики, которая может стать основой для своевременного принятия решений для решения важнейших глобальных задач, таких как борьба с изменением климата, предотвращение катастроф и улучшение реагирования на чрезвычайные ситуации.