Китайцы атакуют автопилот Теслы С.
Apr. 10th, 2019 12:29 pm![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
solar-front.livejournal.com posting in ![[community profile]](https://www.dreamwidth.org/img/silk/identity/community.png){kind=small}
engineering_ruТак и пишут: "physical attacks to spoof Tesla's autopilot".
Суть в том, что:
Чудесные, ультрасовременные нейронные сети видят реальность не так как мы. А управлять им приходится в реальном мире, со своими дурацкими представлениями о целесообразности и логике.
Эксперты показывают компьютерам картинки и учат их: "например, таким вещами, как разметка полос. Сеть постепенно научится распознавать маркировку линий на основе сходства, которое она обнаруживает в маркированном наборе данных, но ... это сходство может быть очень абстрактным."
Это несоответствие между тем, что на самом деле является маркировкой, и тем, что думают нейронные сети ведет к тому, что даже высокоточные нейронные сети могут быть "обмануты «враждебными» изображениями". На прошлой неделе исследователи из лаборатории Keen Security в Tencent показали, как обмануть систему обнаружения полосы движения в Tesla Model S. Приэтом чтобы метки полосы будут распознаваться человеком, но автопилот Тесла свернет в неправильную полосу без предупреждения.
И геймпадом управляют и т.д.:
Китайцы глумятся:
"наклейки, размещенные там, где нет других разметок полосы движения, могут привести к тому, что на автопилоте Tesla переключится на встречную полосу без предупреждения(!)"
Кстати, Тесла уже ответила на это исследование:
«В этой демонстрации исследователи скорректировали физическую среду (например, разместив ленту на дороге или изменив линии полосы движения) вокруг транспортного средства, чтобы заставить автомобиль вести себя по-разному, когда используется автопилот. Это не случай из реального мира. И надо помнить, что водитель может легко выключить автопилот в любое время, используя руль или тормоза, и он должен быть готов к этому в любое время ».
Т.е. дорогие друзья, это автопилот, но ты должен его постоянно пасти. Я представляю себе следующую ситуацию:
1) Вы в отпуске.
2) Вы двигаетесь по высокоскоростной трассе например в Австрии.
3) Трасса входит в тонель и перед ним раздельная полоса исчезает.
4) Автомобиль на автопилоте выбирает не верный вьезд в тунель (встречка).
5) Водитель в ужасе хватается за руль, но дтп происходит.
6) Виноват водитель: его реакция, он был "последним кто управлял средством".
7) Все довольны, все расходятся (пенсионный фонд, медстраховка, торговцы органами).
Суть в том, что:
Чудесные, ультрасовременные нейронные сети видят реальность не так как мы. А управлять им приходится в реальном мире, со своими дурацкими представлениями о целесообразности и логике.
Эксперты показывают компьютерам картинки и учат их: "например, таким вещами, как разметка полос. Сеть постепенно научится распознавать маркировку линий на основе сходства, которое она обнаруживает в маркированном наборе данных, но ... это сходство может быть очень абстрактным."
Это несоответствие между тем, что на самом деле является маркировкой, и тем, что думают нейронные сети ведет к тому, что даже высокоточные нейронные сети могут быть "обмануты «враждебными» изображениями". На прошлой неделе исследователи из лаборатории Keen Security в Tencent показали, как обмануть систему обнаружения полосы движения в Tesla Model S. Приэтом чтобы метки полосы будут распознаваться человеком, но автопилот Тесла свернет в неправильную полосу без предупреждения.
И геймпадом управляют и т.д.:
Китайцы глумятся:
"наклейки, размещенные там, где нет других разметок полосы движения, могут привести к тому, что на автопилоте Tesla переключится на встречную полосу без предупреждения(!)"
Кстати, Тесла уже ответила на это исследование:
«В этой демонстрации исследователи скорректировали физическую среду (например, разместив ленту на дороге или изменив линии полосы движения) вокруг транспортного средства, чтобы заставить автомобиль вести себя по-разному, когда используется автопилот. Это не случай из реального мира. И надо помнить, что водитель может легко выключить автопилот в любое время, используя руль или тормоза, и он должен быть готов к этому в любое время ».
Т.е. дорогие друзья, это автопилот, но ты должен его постоянно пасти. Я представляю себе следующую ситуацию:
1) Вы в отпуске.
2) Вы двигаетесь по высокоскоростной трассе например в Австрии.
3) Трасса входит в тонель и перед ним раздельная полоса исчезает.
4) Автомобиль на автопилоте выбирает не верный вьезд в тунель (встречка).
5) Водитель в ужасе хватается за руль, но дтп происходит.
6) Виноват водитель: его реакция, он был "последним кто управлял средством".
7) Все довольны, все расходятся (пенсионный фонд, медстраховка, торговцы органами).
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
no subject
Date: 2019-04-10 11:47 am (UTC)лишь тем что для человека это видмо но означает нечто другое?
no subject
Date: 2019-04-10 11:49 am (UTC)no subject
Date: 2019-04-10 11:56 am (UTC)Но все в хаке завязано на то что у теслы оптика.с лидарами надо полагать, такой фокус не пройдет.
Хотя было бы интересно продемонстрировать хак с жидкими кристаллами ли что там в пленке применяется, которая меняет прозрачность на белую. Сейчас такая продается .
Кстати что они в самом конце пультом делают?
no subject
Date: 2019-04-10 12:00 pm (UTC)no subject
Date: 2019-04-10 12:06 pm (UTC)no subject
Date: 2019-04-10 12:15 pm (UTC)no subject
Date: 2019-04-10 12:28 pm (UTC)https://keenlab.tencent.com/en/whitepapers/Experimental_Security_Research_of_Tesla_Autopilot.pdf
no subject
Date: 2019-04-10 12:51 pm (UTC)no subject
Date: 2019-04-10 03:40 pm (UTC)no subject
Date: 2019-04-10 03:48 pm (UTC)no subject
Date: 2019-04-10 12:07 pm (UTC)Забить каналы сенсорики человека - проще простого.
Просто пока человек опирается на более полную картину, получаемую от доставшегося от эволюции аппаратно-программного комплекса, существенно превосходящего объём узкоспециализированной системы "Автопилот Тесла" (ТМ).
ХИНТ: как забить каналы сенсорики и ввести в управленческий ступор хомосапа - могу рассказать отдельно. Поскольку этот инженерный аспект входил в мои служебные обязанности (проектирование кабинных приборов для истребителя).
И книжка "Инженерная психология" по сю пору имеется на моей книжной полке...
no subject
Date: 2019-04-10 12:16 pm (UTC)no subject
Date: 2019-04-10 12:29 pm (UTC)no subject
Date: 2019-04-10 01:54 pm (UTC)Я бы послушал
no subject
Date: 2019-04-10 01:57 pm (UTC)У нас на РЭБ проходили: просто гонишь в эфир бла-бла -бла и искажениями... и пока пилот поймет, что его дурят...
no subject
Date: 2019-04-10 02:21 pm (UTC)no subject
Date: 2019-04-10 02:22 pm (UTC)no subject
Date: 2019-04-10 02:25 pm (UTC)no subject
Date: 2019-04-10 08:06 pm (UTC)no subject
Date: 2019-04-11 01:46 am (UTC)До своей заветной книжной полки прямо сейчас не доберусь - а на память не назову.
Но если очень надо - могу и списать выходные данные при случае.
Инженерная психология - весьма специфическая дисциплина, существенно отличающаяся от общепринятого понимания "психологии". И описывает псхофизиологические возможности человека с точки зрения включения оного в контур регулирования технической системы - то есть, в значительной мере оперирует "техническими данными" человека-оператора.
Моя книжка издана в начале 70-х годов (если не в 60-х) - полагаю, что более современные издания наполнены и более современными данными...
no subject
Date: 2019-04-10 08:34 pm (UTC)А уж именно по введению в ступор большие специалисты - разработчики из Lumosity. Простые задачи, например, выбрать верный цвет, но весьма и весьма хитро поставленные и, как результат, человек путается на ровном месте.
no subject
Date: 2019-04-10 02:28 pm (UTC)no subject
Date: 2019-04-10 04:16 pm (UTC)И что? Не пускать за руль?