Китайцы атакуют автопилот Теслы С.

[solar-front.livejournal.com]

Так и пишут: "physical attacks to spoof Tesla's autopilot".

Суть в том, что:
Чудесные, ультрасовременные нейронные сети видят реальность не так как мы. А управлять им приходится в реальном мире, со своими дурацкими представлениями о целесообразности и логике.

Эксперты показывают компьютерам картинки и учат их: "например, таким вещами, как разметка полос. Сеть постепенно научится распознавать маркировку линий на основе сходства, которое она обнаруживает в маркированном наборе данных, но ... это сходство может быть очень абстрактным."

Это несоответствие между тем, что на самом деле является маркировкой, и тем, что думают нейронные сети ведет к тому, что даже высокоточные нейронные сети могут быть "обмануты «враждебными» изображениями". На прошлой неделе исследователи из лаборатории Keen Security в Tencent показали, как обмануть систему обнаружения полосы движения в Tesla Model S. Приэтом чтобы метки полосы будут распознаваться человеком, но автопилот Тесла свернет в неправильную полосу без предупреждения.


И геймпадом управляют и т.д.:
Китайцы глумятся:

"наклейки, размещенные там, где нет других разметок полосы движения, могут привести к тому, что на автопилоте Tesla переключится на встречную полосу без предупреждения(!)"

Кстати, Тесла уже ответила на это исследование:

«В этой демонстрации исследователи скорректировали физическую среду (например, разместив ленту на дороге или изменив линии полосы движения) вокруг транспортного средства, чтобы заставить автомобиль вести себя по-разному, когда используется автопилот. Это не случай из реального мира. И надо помнить, что водитель может легко выключить автопилот в любое время, используя руль или тормоза, и он должен быть готов к этому в любое время ».

Т.е. дорогие друзья, это автопилот, но ты должен его постоянно пасти. Я представляю себе следующую ситуацию:
1) Вы в отпуске.
2) Вы двигаетесь по высокоскоростной трассе например в Австрии.
3) Трасса входит в тонель и перед ним раздельная полоса исчезает.
4) Автомобиль на автопилоте выбирает не верный вьезд в тунель (встречка).
5) Водитель в ужасе хватается за руль, но дтп происходит.
6) Виноват водитель: его реакция, он был "последним кто управлял средством".
7) Все довольны, все расходятся (пенсионный фонд, медстраховка, торговцы органами).

Comments

[Дмитрий Рождественский (from livejournal.com)]

"Т.е. дорогие друзья, это автопилот, но ты должен его постоянно пасти.", - вы наверное будете смеяться, но с авиационным автопилотом (который сам по себе стоит наверное как вся Тесла) то же самое - его категорически запрещено оставлять без присмотра.

[cat-in-mind.livejournal.com]

проблема в том, что автопилот у теслы называется Автопилотом, но это не автопилот - это Автопилот (ТМ) :)

[solar-front.livejournal.com]

Насколько я понимаю: автопилот в самолете выполняет некое множество рутинных операций. И в случае когда он не справляется с ними управление ДОЛЖЕН принять пилот. Жерт может быть много, но время на реакцию - секунды.

В автомобиле время на реакцию миллисекунды, жертв меньше, стоимость ниже.
Если я вместо того, чтобы контролировать движение ТС должен контролировать движение ТС и управление автопилота - зачем мне это?

Попить кофеек? Припарковаться?

[hoshinokoee.livejournal.com]

Только совершенно разные условия.
В авиации автопилот включают на эшелоне,когда саиолет набрал высоту.Там нет встречного движения,ненужна скорость реакции в милисекунды.
Разница кардинальная.

[aso.livejournal.com]

Если бы Боинги клепались такими же тиражами, как и Теслы - то их стоимость была бы примерно как у тесловского "автопилота".
При этом характерное время реакции пилота в тех ситуациях, когда нужно перехватить управление самолётом - до минуты, а то и больше.
Характерное время реакции при вождении автомобиля.- десятые доли секунды.
При этом, в ситуациях, когда критический интервал времени при самолётовождении приближается к автомобильному - пилоты либо непосредственно "работают" в контуре управления - либо находятся в режиме "горячей готовности".

[fan-d-or.livejournal.com]

ПДД пишутся кровью - это никто ещё не отменил.

Ответ теслы конечно доставляет - вся соль именно в объёме обучающего материала и его характере. Оценка ситуации ДОЛЖНА быть многоплановой и включать косвенные признаки (контекст) - ограничение аналитики сугубо дорожными образами заведомо недостаточно.

ХИНТ: технически правильная система должна быть не только самообучаемой в процессе эксплуатации (на основе собственного локального опыта) - опыт должен обобщаться на уровне облака и локальные системы должны опираться на групповой опыт.

[solar-front.livejournal.com]

Чудесно, просто чудесно. Сажусь в такую машину в паркинге чтобы проехать пару км - плевое же дело...
ан, нет, подожди.
Сначала дай интернет, ах, ты в паркинге, тогда принеси, "сделай что нибудь".
Нашел интеренет? Мне надо скачать из облака - иначе нет безопасности (!) а это превыше всего! Ехать? - никак нельзя - еще не безопасно!

[thomas-willow.livejournal.com]

на видео мало чего понятно. видно что маркировка дороги вообще пропала и видно что была команда от водителя сменить полосу влево и встречных автомобилей не было и дело происходит на каком-то обширном пространстве, которое мало похоже на дорогу.
ошибочное включение дворников - ну а представьте себя на месте автоматики. вам кожанные ублюдки демонстрируют какую-то нечёткую картинку - чего они хотят? ясно-понятно, хотят чтобы я включил дворники.

[gerry-r.livejournal.com]

С дворниками - наверное, не очень умная ужимка Тенцент, для увеличения количества придирок.

Уже 20 лет везде применяется та же система - датчик в ножке крепления основного зеркала заднего вида меряет толщину пленки воды на стекле. Чем толще пленка, тем интенсивнее дворники. Судя по видео, китайцы "обманывают" именно ее.

Лет 20+ тому назад я точно также демонстрировал эту, тогда еще крутую новинку, журналистам на новом Пассате. Поливая водичкой в той точке.В чем тут "откровение" китайцев - да ни в чем...

Откровением это было бы, если Тесла действительно заявляла бы, что определяют погоду по общей визуальной картинке. Так ли это ? Подозреваю, что китайцы сами это придумали и сами "опровергли".

[chapai67.livejournal.com]

и чем это отличается от постановки помех?

лишь тем что для человека это видмо но означает нечто другое?

[solar-front.livejournal.com]

Человек на них внимания не обращает. Вообще.

[lev-evgenevi4.livejournal.com]

Интересно,на какой серии таки закончится санта-барбара "Solar Front и его сложные отношения с Tesla"?

[hardsign.livejournal.com]

Это же «Зенитные кодексы Аль-Эфесби»!

[iesous-christos.livejournal.com]

+++!

[sobaka-by.livejournal.com]

Спасение утопающего водителя в автомобиле с автопилотом - дело рук уж явно не автопилота.

[hoshinokoee.livejournal.com]

Эта фсё прогресс имени Святого Маска ! Ничо вы не понимаете в хай теке !Вы шо,ватник ?

[blagotrav.livejournal.com]

"научится распознавать маркировку линий"
В городе половина улиц не то что без линий, они вообще без асфальта. Привези такую умную машину и всё нейронные сети с ума сойдут.

[genka8.livejournal.com]

Перерисовав разметку и/или поставив знак, вогнать человека в дерево совсем несложно.

[jr0.livejournal.com]

Именно. А еще доставляет жанр видео: все подробности мельком, словно они скрывают обстоятельства. Так я и не желаю разбираться в пропаганде.

[unklemike.livejournal.com]

Доверять так вообще никому нельзя! Даже пенсионному фонду России!

[parafoxer.livejournal.com]

Ну не дает вам покоя электромобиль))) Вылью масла на огонь))) Была б за полмульта деревянных Тесла купил бы взамен бензинового пылесоса прямо завтра!

[sdxr1805.livejournal.com]

вопрос: смоли бы вы на ней в -25 С по заснеженой дороге ночью доехать от Москвы до какого-нибудь Плёса (360 км) при существующей инфраструктуре, если в москве вы храните авто под окнами и произвели полную зарядку на уличной станции за 2 дня до поездки? кинуть удлинитель из окна 22-го этажа жилого дома - не вариант.
Собственно, меня подобные вопросы больше интересуют, применительно к электричкам на данном этапе их развития.

[kichiro-sora.livejournal.com]

На самом деле Тесла тут пытается и рыбку сьесть и другое сделать... Покупателям конечно это все подается как автопилот, с незначительными оговорочками, которые, выж понимаете чисто для формальности. Ибо никому даром не нужна система за которой нужно следить каждую секунду. Счас подстраиваемый круиз контроль отлично работает на миллионе существующих машин, без всяких магических теслиных технологий. Езда по скоростному шоссе у меня уже года два как расслабленная и ненапрягающее дело. Держишь одну руку на руле, все остальное машина делает сама, подстраивается под траффик, тормозит, разгоняется. Теслин автопилот люди хотят именно чтобы ехать из точки А в точку Б, втыкая в телефон а не на дорогу. И тесла на это как бы и намекает.

A только если какие проблемы - то это бац, оказывается и не автопилот - надо было оговорочки читать!

[solar-front.livejournal.com]

Но сколько болтовни... сколько рекламы.

[skysheep.livejournal.com]

В самолетах автопилот тоже требует постоянного контроля от пилота.

В будущем надеюсь они включат функцию "обучения роем" и обмена информацией между машинами. Если этот участок/перекресток до этого 20 машин проехали, то информация о том как они это сделали может поступать на сервер, и помогать другим машинам правильно проехать.

[roquefort-tln.livejournal.com]

мне чего-то страшно представить, сколько трупов дадут мелкие статистические флюктуации "обучения роем" на статистике в миллиард автомобилей

[lx-photos.livejournal.com]

Тем не менее, тесловцы правы.

[cat-in-mind.livejournal.com]

ну юридически - да. но маркетологи, назвавшие систему помощи водителю Автопилотом, а потом написавшие, что этот Автопилот - не автопилот - достойны котла с серой.

[jambojet.livejournal.com]

Пфф, наши корректировали физическую среду ещё тридцать лет назад, в 90-х.

По рассказам знакомого дальнобоя, тогда за Мкадом люди с песьими головами Уралом целые деревни этим занимались: снимали знаки безопасности типа ограничения скорости и "впереди крутой поворот", фуры вылетали с дороги, а местные жители их мародерили и разграбляли.
Особенно хорошо работало ночью или в тумане.

[ermiak.livejournal.com]

Сейчас, с гпс - с этим стало полегче. Хотя шуточки типа "идем по приборам" оказываются совсем не шуточками.

[jakobz.livejournal.com]

Я думаю даже когда роботы начнут в 10 раз лучше людей водить, все равно будет стоять вой в стиле "лучше уж люди в 10 раз чаще убиваются, зато сами, и сразу понятно кто виноват". Думаю там еще круче будут истории, типа "в ситуации когда либо убить хозяина, либо сбить ребенка, премиум-тачки бьют ребенка, а попроще - хозяина".

[jenner-s.livejournal.com]

Забавно сравнивать автопилот авто с автопилотом самолёта, а пилота с водителем.
Совершенно забывая, что, в отличии от авто, каждый самолёт сопровождает куча наземных радаров, диспетчеров и прочего.
Это как бы у каждого авто был персональный гаишник, по радио командующий - таак, борт с178ук 64, займите правый ряд и снизьте скорость до 40, впереди лужа!
Сравнивать надо тогда уж комплекс диспетчерских служб + пилот + автопилот. И пока не будет централизованного управления движением автотранспорта - сравнение кмк не в пользу автопилотов автомобиля...

[sullen-ru.livejournal.com]

"например, разместив ленту на дороге или изменив линии полосы движения.... Это не случай из реального мира.""

ЧЕГООО????? :):):)

велкам ту киевская окружная. где после ремонтов полосы неможечко(с) не состыкованы. а до ремонтов не факт что вообще есть. и это я не говорю по глубинки разных стран.


в общем , дело полезное. полигон для обкатки алгоримов и технологоий отличный. но доверять этому свою жизнь и разрешать выпускать такое на дороги можно будет еще не скоро.
разве что на некоторых, идеальных, платных. прошел рамку - разрешен автопилот.
как то так.

[chapai67.livejournal.com]

>ЧЕГООО????? :):):) велкам ту киевская окружная
Сказано же "реального". А не сказочных мест из фильмов ужасов.

.>но доверять этому свою жизнь и разрешать выпускать такое на дороги можно будет еще не скоро.
каждая пятая - тесла. во всяком случае их полным полно. И на хайвее полно.
просто рынок не там и не так устроен.

[de_nada]

>Чудесные, ультрасовременные нейронные сети видят реальность не так как мы.

Бинго! Именно так.

Буквально совсем недавно "они начали что-то подозревать" - послышались осторожные сомнения, что это вообще приемлемо (на самом деле - нет), когда на вход нейросети можно подавать раз за разом один набор данных/сигналов... и получать всякий раз новый ответ, пускай и приближённый к какой-то "среднеустраивающей величине", но... эт как в старом анекдоте про "сколько будет 2х2? - а мы покупаем или продаём?"

По сути имеем "чОрный ящик" с недостаточно детерминированными алгоритмами выработки решения... и недостаточной адаптивной мощностью по сравнению с "прототипом" из нашей черепной коробки.
И "НЕЙРОсеть" тут является "хайпообразующим" термином-обманкой.

С уважением.

P.S. Недавно увидел очень понравившееся определение: что все эти "нейросети" (ML/DL) не что иное, как обычная многомерная статистика больших массивов данных. Но сколько ж вокруг всего этого хайпа случилось - мама не горюй!!