Wiodąca platforma na świecie, taka jak NVIDIA Jetson, to sekwencja wbudowanych płyt komputerowych, która jest używana głównie w autonomicznych maszynach i innych wbudowane aplikacje . Ta płyta zawiera głównie moduły Jetson, które są komputerami o wysokiej wydajności. Jetson dobrze współpracuje z podobnym oprogramowaniem sztucznej inteligencji i natywnym przepływem pracy w chmurze, który jest używany na innych platformach NVIDIA i zapewnia energooszczędną wydajność klientom do budowania autonomicznych maszyn opartych na oprogramowaniu. NVIDIA Jetson jest używany do komputerowych aplikacji wizyjnych. Tak więc w tym artykule omówiono przegląd NVIDIA Jetson – działanie i jego zastosowania.
Co to jest NVIDIA Jetson?
NVIDIA Jetson jest zaawansowany system osadzania płytka używana do tworzenia innowacyjnych produktów AI w kilku branżach. NVIDIA Jetson to jedna z wiodących platform sprzętowych, która jest bardzo przydatna dla entuzjastów technologii, a także studentów, aby uzyskać praktyczne doświadczenie w szeregu innowacyjnych projektów AI. Ta płyta jest bardzo wydajną płytą dla sztucznej inteligencji, która obejmuje modułowe, niewielkie i wydajne komputery brzegowe. Ponadto ta płyta zawiera również zestaw JetPack SDK służący do akceleracji oprogramowania, a także kompletny ekosystem pomagający w zwiększeniu procedury opracowywania niestandardowych projektów AI.
Architektura NVIDIA Jetson
Wiemy, że moduł Nvidia Jetson firmy Nvidia to sekwencja wbudowanych płyt komputerowych. Wszystkie modele Jetson TX1, TX2 i TK1 są wyposażone w procesor SoC lub Tegra firmy Nvidia, który zawiera procesor o architekturze ARM. Tutaj Jetson jest systemem o niskim poborze mocy, zaprojektowanym głównie do przyspieszania aplikacji uczenia maszynowego.
Poniżej przedstawiono architekturę NVIDIA Jetson Xavier NX. Jest to najbardziej zaawansowany i mały superkomputer AI używany do urządzeń Edge Computing autonomiczna robotyka . Moduł ten zapewnia wydajność klasy serwerowej w solidnej obudowie 70 x 45 mm, a także zapewnia do 21 TOPS mocy obliczeniowej poniżej 15 W, w przeciwnym razie do 14 TOPS mocy obliczeniowej poniżej 10 W.
Powyższy schemat zawiera wbudowaną 384-rdzeniową kartę NVIDIA Volta GPU w tym 6-rdzeniowy 64-bitowy procesor NVIDIA Carmel ARMv8.2, 48 rdzeni Tensor, 8 GB 128-bitowego LPDDR4x, kodery i dekodery wideo 4K, dwa silniki NVDLA (NVIDIA Deep Learning Accelerator), kamera do sześciu natychmiastowych nagrań w wysokiej rozdzielczości strumienie czujników, podwójny port Display Port lub wyświetlacze HDMI 4K, rozszerzenie PCIe Generation 3, USB 3.1 i GPIO z magistralą I2C, SPI, I2S, UART i CAN.
Specyfikacje NVIDIA Jetson obejmują następujące elementy.
- Moc to tryby 10 W lub 15 W i wejście 5 V.
- Procesor to 6-rdzeniowy NVIDIA Carmel 64-bit ARMv 8.2 przy 1400 MHz.
- GPU to 384-rdzeniowa NVIDIA Volta przy 1100 MHz przez 48 rdzeni Tensor.
- DL to silniki Dual NVDLA.
- Pamięć to 8 GB 128-bitowego LPDDR4x przy 1600 MHz.
- 16 GB pamięci eMMC 5.1.
- Aparat ma 12 pasów MIPI CSI-2 | Kamery 3×4 lub 6×2.
- Do 6 kamer (36 przez kanały wirtualne).
- Termiczne od -25°C do 90°C.
- Wyświetlacz to DP 1.4 lub eDP 1.4 lub HDMI 2.0 a/b przy 4Kp60.
- Ethernet to Ethernet 10, 100 lub 1000 BASE-T.
- USB 3.1 i USB 2.0.
Ten moduł jest obsługiwany przez cały stos oprogramowania CUDA-X firmy NVIDIA, a także JetPack SDK do tworzenia sztucznej inteligencji. Obsługuje bardzo popularne frameworki uczenia maszynowego i trudne sieci DNN na kilku strumieniach czujników o wysokiej rozdzielczości jednocześnie, oprócz wizji komputerowej, grafiki i aplikacji multimedialnych w czasie rzeczywistym w kompletnym środowisku Linux dla komputerów stacjonarnych.
Obecnie programiści rozpoczęli projektowanie aplikacji AI dla Jetson Xavier NX za pomocą zestawu Jetson AGX Xavier Developer Kit. Zastosowanie poprawki wzorca urządzenia w pobliżu JetPack sprawi, że urządzenie będzie działać jak Jetson Xavier NX. Spowoduje to modyfikację liczby rdzeni procesora graficznego i procesora, które można uzyskać za pomocą oprogramowania, oraz ustawienie częstotliwości zegara, a także napięć rdzeni w całym systemie.
Poprawka jest całkowicie odwracalna i służy do przybliżenia wydajności Jetson Xavier NX. Moduł ten klasyfikuje domyślne tryby zasilania 10 W i 15 W, osiągając wydajność szczytową między 14 a 21 TOPS w oparciu o tryb aktywny. Narzędzie nvpmodel służy do obsługi profili mocy w celu dostosowania najwyższych częstotliwości CLK dla GPU, procesora, różnych zegarów SoC i kontrolera pamięci wraz z różnymi klastrami procesora.
Na podstawie obciążenia, regulator DVFS (Dynamic Voltage & Frequency Scaling) równoważy częstotliwości w czasie pracy aż do ich najwyższych limitów opisanych przez aktywny model nvp, dzięki czemu zużycie energii jest zmniejszane w stanie bezczynności i na podstawie działania procesora. Narzędzie nvpmodel pomaga w tworzeniu i modyfikowaniu nowych trybów zasilania w oparciu o TDP i wymagania aplikacji.
Moduł NVIDIA Jetson przenosi wydajność superkomputera na brzeg w niewielkiej obudowie SOM (system-on-module). Równe 21 TOPS przyspieszonych obliczeń wysyła moc obliczeniową do równoległego uruchamiania obecnych sieci neuronowych i przetwarzania danych z różnych czujników o wysokiej rozdzielczości. Ten moduł jest idealny do wysokowydajnych systemów AI, takich jak instrumenty medyczne, roboty komercyjne, systemy wbudowane AIoT, inteligentne kamery, zautomatyzowana kontrola optyczna, czujniki o wysokiej rozdzielczości, inteligentne fabryki itp.
Oprogramowanie
Moduł NVIDIA Jetson jest po prostu obsługiwany przez połączone architektury oprogramowania, co znacznie ułatwi pracę programistom. To połączone podejście po prostu oszczędza programistom kłopotów z powtarzalnym kodowaniem, jednocześnie ulepszając ich formacje w innych modułach Jetson.
Pakiet NVIDIA JetPack SDK jest dostępny z systemem operacyjnym Linux, akcelerowanymi bibliotekami i interfejsami API CUDA-X dla różnych dziedzin uczenia maszynowego, takich jak wizja komputerowa, uczenie głębokie itp. Obsługuje również platformy uczenia maszynowego, takie jak Caffe, TensorFlow, Keras i OpenCV. biblioteki.
NVIDIA Jetson oferuje różne narzędzia programowe dla swoich modułów, które omówiono poniżej.
NVIDIA JetPack SDK
Pakiety oprogramowania platformy Jetson, takie jak TensorRT, CUDA Toolkit, cuDNN, GStreamer, OpenCV i Visionworks, są montowane na L4T za pośrednictwem jądra LTS Linux.
Pakiet sterowników NVIDIA Jetson Linux
Zapewnia jądro Linuksa, sterowniki NVIDIA, program ładujący, przykładowy system plików, narzędzia do flashowania i wiele innych dla platformy Jetson.
Pakiet SDK NVIDIA DeepStream
Jest to zestaw interfejsów API i bibliotek pomagających programistom w projektowaniu i organizowaniu silnych rozwiązań IVA (inteligentna analiza wideo) na platformie Jetson. Służy do tworzenia złożonych aplikacji, takich jak kodowanie, przechwytywanie obrazu, dekodowanie, wnioskowanie za pomocą TensorRT itp.
NVIDIA Isaac SDK
Jest to zestaw bibliotek, interfejsów API, sterowników i innych narzędzi, które dodadzą sztuczną inteligencję do robotów nowej generacji w celu nawigacji, percepcji i manipulacji. Pomaga więc w tworzeniu i wdrażaniu robotyki opartej na sztucznej inteligencji.
Typy NVIDIA Jetson
Moduł NVIDIA Jetson jest dostarczany z pamięcią, procesorem graficznym, procesorem, szybkimi interfejsami, zarządzaniem energią itp. Moduły te są dostępne w różnych wydajnościach, efektywności energetycznej i odmianach obudów, aby można je było wykorzystywać w różnych branżach. Dostępne są różne urządzenia NVIDIA Jetson, które omówiono poniżej.
NVIDIA Jetson Nano
Moduł NVIDIA Jetson Nano jest odpowiedni dla programistów lub studentów, a także dla początkujących, ponieważ jest przeznaczony głównie do praktycznego uczenia się i nauczania. Rozmiar tego modułu jest niewielki, ale jego wydajność energetyczna i wydajność są wysokie, dzięki czemu idealnie nadaje się do jednoczesnego uruchamiania wielu równoległych sieci neuronowych, obciążeń AI i przetwarzania danych z czujników o wysokiej rozdzielczości. Tym samym moduł Jetson Nano jest bardzo popularnym urządzeniem brzegowym wykorzystywanym do tworzenia wbudowanych produktów i rozwiązań AI.
Ten moduł jest idealny do aplikacji wizyjnych opartych na sztucznej inteligencji i wykonuje zadania wizyjne AI, takie jak wykrywanie obiektów, segmentacja obrazu, klasyfikacja obrazu itp. Ten moduł jest bardzo kompatybilny z oprogramowaniem wizyjnym typu open source i bibliotekami uczenia maszynowego OpenCV.
Seria NVIDIA Jetson TX2
Moduł NVIDIA Jetson serii TX2 został zaprojektowany w rozmiarze karty kredytowej. Funkcje tego modułu obejmują głównie procesor graficzny NVIDIA Pascal, pamięć do 8 GB, przepustowość pamięci 59,7 GB/s oraz standardowe interfejsy sprzętowe. Moduł ten zapewnia wydajność do 2,5 razy większą w porównaniu z modułem NVIDIA Jetson Nano.
Ten moduł bardzo wydajnie obsługuje głębokie sieci neuronowe na urządzeniach brzegowych, aby osiągnąć wyższą dokładność. Moduły dostępne w serii to głównie Jetson TX2 4GB, Jetson TX2i, Jetson TX2 oraz Jetson TX2 NX. Moduł NVIDIA Jetson TX2 NX po prostu udostępnia kompatybilność pinów i współczynników kształtu poprzez Jetson Xavier NX i Jetson Nano.
Pozostałe trzy moduły będą miały taki sam współczynnik kształtu jak oryginalny moduł Jetson TX2. Zastosowanie serii TX2 po prostu waha się w różnych branżach, takich jak rolnictwo, produkcja, nauki przyrodnicze, handel detaliczny itp. Moduł Jetson TX2i z pozostałych modułów jest najbardziej odpowiedni dla wysokowydajnych urządzeń AI, takich jak sprzęt medyczny, kamery wizyjne i roboty przemysłowe, ponieważ swojej mocnej konstrukcji.
Ten moduł to bardzo szybkie wbudowane urządzenie obliczeniowe AI, które oferuje wysoką wydajność energetyczną, na przykład 7,5 W, możliwości superkomputera, głównie dla urządzeń brzegowych AI, a także różne interfejsy sprzętowe, które można łatwo zintegrować z różnymi produktami i obudowami.
NVIDIA Jetson Xavier NX
Moduł NVIDIA Jetson Xavier NX jest bardzo mały w porównaniu do karty kredytowej o wysokiej wydajności i energooszczędności. Jest to również znany jako najmniejszy na świecie superkomputer AI do systemów brzegowych i wbudowanych. Ten moduł szczególnie pomaga w uruchamianiu kompletnych systemów AI.
Funkcje Jetson Xavier NX obsługują również natywne technologie chmurowe, dzięki czemu programiści mogą łatwo aktualizować produkty AI i zarządzać nimi. Ten moduł obsługuje wszystkie popularne modele i frameworki AI. Moduł ten całkowicie pasuje do wysokowydajnych systemów AI, takich jak inteligentne kamery, systemy wizyjne o wysokiej rozdzielczości oparte na sztucznej inteligencji, drony, roboty komercyjne lub sprzęt medyczny.
Moduł NVIDIA Jetson Xavier NX zapewnia 21 Teraoperacji na sekundę lub TOPS do obsługi bieżącego obciążenia AI, zużywając 10 W energii. Obudowa tego modułu jest bardziej kompaktowa w porównaniu z kartą kredytową. Moduł Xavier NX obsługuje jednocześnie różne sieci neuronowe i przetwarza dane z różnych czujników o wysokiej rozdzielczości. Ten typ modułu jest używany do projektowania aplikacji dla wbudowanych i brzegowych urządzeń obliczeniowych, które wymagają wysokiej wydajności przy znacznych ograniczeniach wagi, rozmiaru i mocy.
Seria NVIDIA Jetson AGX Xavier
Moduł NVIDIA Jetson AGX Xavier Series został opracowany głównie z myślą o autonomicznych inteligentnych maszynach nowej generacji. Ten moduł zapewnia do 32 TOPS lub Tera operacji na sekundę wydajności AI przy zużyciu zaledwie 10 watów. Twórca oprogramowania może po prostu szybko organizować sieci neuronowe za pomocą zestawu narzędzi programowych AI firmy NVIDIA.
Ten moduł zapewnia różne specyfikacje i funkcjonalne możliwości bezpieczeństwa, dzięki czemu programiści mogą tworzyć produkty z certyfikatem bezpieczeństwa lub przemysłowym. Wysoka wydajność tego modułu może sprawić, że będą one odpowiednie dla wielu autonomicznych maszyn, takich jak roboty logistyczne i przemysłowe, systemy fabryczne i duże drony.
Zestaw deweloperski Jetson Xavier NX
Zestaw deweloperski jetson xavier nx zawiera solidny, energooszczędny moduł Xavier NX używany w urządzeniach brzegowych zasilanych sztuczną inteligencją. Ten moduł ma pewne funkcje, takie jak natywna obsługa chmury i przyspiesza stos oprogramowania NVIDIA w zaledwie 10 W przy ponad 10-krotnie większej wydajności niż Jetson TX2. Ten zestaw deweloperski jest używany przez producentów inteligentnych maszyn, start-upy AI i twórców aplikacji do projektowania nowoczesnych produktów z kompaktowym, bardzo dokładnym wnioskowaniem AI i energooszczędną obudową.
Jetson AGX Xavier Industrial
Moduł Jetson AGX Xavier Industrial jest częścią serii AGX Xavier. Konstrukcja tego modułu jest kompatybilna z pinami i steruje najnowszymi modelami AI w wymagających aplikacjach. Ten moduł zapewnia rozszerzone specyfikacje dotyczące wibracji, wstrząsów, temperatur, zaawansowane funkcje bezpieczeństwa, do 4 razy większą pamięć i 20 razy większą wydajność niż moduł TX2i.
Ten moduł jest bardzo pomocny dla projektantów przy projektowaniu automatyki, robotyki i innych inteligentnych produktów. Ponadto projektuje również certyfikowane i wytrzymałe produkty z certyfikatem bezpieczeństwa, które zapewniają wysoką wydajność w przemysłowych aplikacjach funkcjonalnych i zabezpieczających opartych na sztucznej inteligencji w wytrzymałej i energooszczędnej obudowie.
Zalety
The zalety NVIDIA Jetson zawierać następujące.
- NVIDIA Jetson jest odpowiednia dla studentów, indywidualnych programistów i różnych organizacji.
- Platforma Jetson jest bardzo popularna, ponieważ zapewnia różne korzyści, takie jak modułowa elastyczność, ujednolicone oprogramowanie i obsługa technologii natywnych dla chmury.
- Ta płyta zawiera zestaw modułów, które są bardzo pomocne we wszystkim, od podstawowych aplikacji sztucznej inteligencji po bardzo złożone urządzenia zasilane sztuczną inteligencją.
- Ta płyta jest zasilana przez zunifikowaną architekturę oprogramowania, która pomaga programistom z powtarzalnego kodowania. Gdy potrzebują zdolności AI/ML, mogą dołączyć do urządzenia powiązany moduł Jetson, który zajmie się ciężkimi zadaniami.
- Platforma NVIDIA Jetson po prostu obsługuje natywne dla chmury technologie i przepływy pracy, takie jak orkiestracja i konteneryzacja, zapewniając programistom możliwość szybkiego opracowywania i rozszerzania produktów AI.
- Zestaw SDK NVIDIA JetPack jest dostępny z systemem operacyjnym Linux, interfejsami API i bibliotekami akceleracyjnymi CUDA-X dla różnych dziedzin uczenia maszynowego, takich jak wizja komputerowa i głębokie uczenie. Zapewnia również wsparcie dla platform uczenia maszynowego, takich jak biblioteki Caffe i Keras, TensorFlow i OpenCV do widzenia komputerowego.
Niedogodności
Ma bardzo mało wad biorąc pod uwagę cenę
- Moduł nano NVIDIA Jetson nie jest dostępny z wbudowanym Wi-Fi.
- Moduł NVIDIA Jetson nano zawiera tylko dwa piny PWM na płytce.
Aplikacje
Zastosowania NVIDIA Jetson obejmują następujące.
- Moduł NVIDIA Jetson oferuje doskonałe systemy osadzania, które są używane do tworzenia produktów AI dla różnych scenariuszy. Jest to energooszczędny moduł używany w sztucznej inteligencji, który obejmuje wysokowydajne, modułowe i niewielkie komputery brzegowe.
- Płyty Nvidia Jetson są przeznaczone głównie do użytku w systemach wbudowanych, takich jak drony, roboty i inne urządzenia, które wymagają wydajnego przetwarzania w małej obudowie. Typowe zastosowania płyt Jetson obejmują głównie urządzenia medyczne, pojazdy autonomiczne, cyfrowe oznakowanie, zestawy słuchawkowe AR/VR, aplikacje smart city itp.
- Ten moduł obsługuje ujednolicone architektury oprogramowania, co znacznie upraszcza pracę programistów.
Moduły i urządzenia NVIDIA Jetson to zoptymalizowane urządzenia brzegowe wykorzystywane do tworzenia systemów Edge AI. - NVIDIA Jetson Nano Developer Kit to bardzo wydajny i mały komputer, który obsługuje równolegle kilka sieci neuronowych do różnych zastosowań, takich jak wykrywanie obiektów, klasyfikacja obrazów, przetwarzanie i segmentacja mowy.
- Moduł NVIDIA Jetson Nano doskonale nadaje się do komputerowych aplikacji wizyjnych opartych na sztucznej inteligencji i wykonuje zadania wizyjne AI, takie jak segmentacja obrazu, klasyfikacja obrazu, wykrywanie obiektów itp.
- Nanomoduły NVIDIA Jetson zapewniają niesamowite nowe możliwości tysiącom energooszczędnych i małych systemów AI
- Moduł NVIDIA Jetson Nano jest kompatybilny z bibliotekami uczenia maszynowego OpenCV i oprogramowaniem komputerowym typu open source.
Q). Jaki jest pobór mocy modułów Jetson?
A). Zużycie energii przez moduł Jetson różni się w zależności od modelu i sposobu użytkowania. Na przykład moduł Jetson Xavier ma typowe zużycie energii od około 15 W do 30 W, podczas gdy Jetson TX2 może zużywać od 7 W do 15 W.
Q). Czy Jetson może być używany do wykrywania i śledzenia obiektów w czasie rzeczywistym?
A). Tak, platformy Jetson mogą obsługiwać wykrywanie i śledzenie wizyjne. Moduł Nano to wysokowydajny procesor graficzny z platformą przetwarzania brzegowego, która może być używana głównie do wykrywania, liczenia i śledzenia.
Q). Z jakimi typami czujników może współpracować Jetson?
A). Czujniki wizyjne służą do łączenia Jetson z różnymi interfejsami kamer, takimi jak USB, MIPI CSI i Ethernet. Mogą również łączyć się z lidarem, czujnikiem ultradźwiękowym i innymi typami, a także przy użyciu różnych typów interfejsów, takich jak I2C, SPI itp.
Q). Jaka jest różnica między Jetsonem a Raspberry Pi?
A). Główną różnicą między tymi dwiema tablicami jest; NVIDIA Jetson została opracowana z myślą o obsłudze wymagających zadań sztucznej inteligencji i wizji komputerowej, podczas gdy płyta Raspberry Pi 4 jest wyposażona w multimedialny procesor graficzny o niskim poborze mocy, używany do obliczeń ogólnego przeznaczenia i edukacji. Jetson może być używany do bardziej zaawansowanych funkcji, takich jak dekodowanie i kodowanie wideo z akceleracją sprzętową przy użyciu potężnego procesora graficznego (Graphical Processing Unit) i procesora (Central Processing Unit).
Q). Czy Jetson może być używany w aplikacjach autonomicznej robotyki?
A). Autonomiczna robotyka i przemysł jutra będą napędzane energią za pośrednictwem NVIDIA Jetson for Intelligent Machines & Robotics.
Tak jest przegląd NVIDIA Jetson – zalety i zastosowania. Moduł ten jest wiodącą platformą na świecie, używaną przez programistów do tworzenia zaawansowanych produktów AI we wszystkich branżach. Moduły te są również używane przez studentów i entuzjastów, aby zdobyć praktyczne doświadczenie w nauce AI i tworzyć niesamowite projekty. Platforma Jetson obejmuje głównie energooszczędne, małe zestawy deweloperskie i moduły produkcyjne. Oto pytanie do Ciebie, czym jest NVIDIA?
