За последние несколько столетий микроскопы перевернули наш мир. Они открыли нам мир крохотных существ, объектов, структур, слишком малых, чтобы увидеть их невооружённым глазом. Вклад микроскопов в науку и технологии огромен. Сегодня я хотел бы рассказать вам о новом типе микроскопа, микроскопе перемен. В отличие от обычного микроскопа, для увеличения маленьких объектов в нём не используется оптика. Вместо этого в нём используется видеокамера и метод обработки изображений, которые делают видимыми едва уловимые движения и изменения цвета объектов, изменений, которых нельзя увидеть невооружённым глазом. Он позволяет нам совершенно по-новому взглянуть на наш мир. Что такое изменения цвета? Наша кожа, например, чуть заметно меняет цвет при пульсации крови. Это изменение еле заметно, поэтому, когда вы смотрите на других людей, на сидящего напротив вас человека, вы не видите, что их лицо меняет цвет. Вы смотрите на эту видеозапись Стива, и картинка кажется неизменной, но если мы посмотрим на неё используя наш новый, особый микроскоп, мы неожиданно увидим совершенно другую картину. То, что вы видите — незначительные изменения цвета кожи Стива, усиленные в 100 раз, чтобы они стали заметными. Мы можем увидеть пульс человека. Мы можем увидеть, как бьётся сердце Стива и как кровь течёт под его кожей на лице. Но мы это делаем не только чтобы увидеть пульс, но и реально выявить частоту сердечных сокращений и измерить её. Мы можем сделать это с помощью обычных камер, не прикасаясь к пациентам. Здесь вы видите пульс и частоту сердечных сокращений новорождённого, выявленные по видео, снятому на цифровую зеркальную камеру, и точность измерений сердечных сокращений такая же, как и для обычного больничного монитора. Необязательно, чтобы видео запись была именно наша. Мы можем сделать то же самое с чужими видео записями. В этом коротком отрывке из «Бэтмен: начало», мы показали пульс Кристиана Бейла. (Смех) Скорее всего, он в гриме, и освещение здесь достаточно сложное, но всё же нам достаточно этого видео, чтобы определить пульс и наглядно показать его. Как мы всё это делаем? По сути, мы анализируем изменения в освещении каждого пикселя изображения, а затем усиливаем их. Мы увеличиваем эти изменения, делая их заметными. Сложность состоит в том, что эти сигналы, эти изменения, которые мы отслеживаем, едва заметны, поэтому мы должны крайне осторожно отделять их от случайных шумов, неизбежных в видеозаписи. Поэтому мы используем несколько продвинутых методов обработки видео, чтобы очень точно определить цвет каждого пикселя изображения и то, как этот цвет меняется во времени, а затем мы усиливаем эти изменения. Мы усиливаем их чтобы получить усиленные или увеличенные видео, которые наглядно показывают нам эти изменения. И оказывается, мы можем делать это не только с еле заметными изменениями цвета, но и с малыми движениями, поскольку свет, записанный нашими камерами, будет меняться, не только если меняется цвет объекта, но и если объект перемещается. Это моя дочь, здесь ей два месяца. Я записал это видео примерно три года назад. Любой молодой родитель хочет точно знать, что его ребёнок здоров, что он дышит, что он жив, в конце-то концов. Так что я купил детский монитор, по нему я мог видеть свою девочку, пока она спала. В общем-то, это единственное, что вам покажет такой монитор. Вы увидите, что ребёнок спит, но это не слишком содержательно. Мы не так много можем увидеть. Не было бы лучше, информативнее, полезнее, если бы вместо этого мы видели так? Я заснял движения и увеличил их в 30 раз, и теперь я ясно видел, что моя дочь действительно жива и дышит. (Смех) Вот что мы увидим, если поставить их рядом. Ещё раз, в исходном видео, источнике, доступной информации немного, но после увеличения движений дыхание становится заметным. Оказалось, что существует множество явлений, которые мы можем выявить и увеличить с нашим новым микроскопом. Теперь мы видим наши вены и артерии, в которых пульсирует кровь. Мы видим, что наши глаза постоянно находятся в пульсирующем движении. Это мой глаз, и это видео тоже было снято сразу после рождения моей дочери, когда, как видите, я сильно не высыпался. (Смех) Даже когда человек спокойно сидит, мы можем извлечь массу информации о ритме его дыхания или мелкой мимике. Мы могли бы использовать эти движения, чтобы узнать что-нибудь о его мыслях или эмоциях. Ещё мы можем усилить мелкие механические движения, такие, как вибрация двигателя, это могло бы помочь инженерам найти проблемы в механизмах, или увидеть, как здания прогибаются под порывами ветра и реагируют на воздействия. У нас есть много способов, чтобы измерить всё это, но измерить — это одно, а увидеть эти движения вживую — совершенно другое. После того, как мы создали эту технологию, мы сделали её код доступным онлайн, чтобы его могли использовать другие люди. Его очень просто использовать. Он может обрабатывать ваши видео. Наши коллеги из Quantum Research даже создали этот отличный веб-сайт, где вы можете загружать свои видео и обрабатывать их онлайн, и вам необязательно уметь программировать, чтобы экспериментировать с новым микроскопом. Я хочу показать вам пару примеров того, что делали другие люди. Это видео пользователя YouTube с ником Tamez85. Я не знаю, кто это, но он или она использовали наш код, чтобы увеличить мелкие движения живота во время беременности. Выглядит жутковато. (Смех) Люди увеличивали пульсацию вен на руках. И, раз уж без морских свинок не бывает науки, вот вам морская свинка по кличке Тиффани, и, как утверждает этот пользователь YouTube — это первый грызун на планете, которого увеличили методом изменений. Вы можете создавать произведения искусства. Это видео было прислано мне студенткой с отделения дизайна Йеля. Она хотела увидеть, есть ли какие-то различия в движениях её сокурсников. Она засняла всех их, стоящих спокойно, а потом увеличила движения. Это как ожившие фотографии. Во всех этих материалах хорошо то, что мы не имеем никакое отношение к ним. Мы просто дали новый инструмент, новый способ взглянуть на наш мир, и люди нашли другие новые, интересные, творческие пути его использования. Но мы не остановились на этом. Этот инструмент не только позволяет нам по-новому взглянуть на мир, но и переопределяет то, что мы можем, раздвигает границы того, что нам позволяют наши камеры. И нам как учёным стало интересно, при каких ещё физических явлениях возникают эти мельчайшие движения, которые мы теперь можем измерить с помощью наших камер? Одним из таких явлений, на котором мы недавно сосредоточились, стал звук. Все знают, что звук - это разница в давлении воздуха, что распространяется по воздуху. Волны этого давления воздействуют на предметы и заставляют их вибрировать, таким образом мы слышим и записываем звук. Но оказалось, что звук порождает и видимые движения. Мы эти движения не видим, но их видит камера с правильной обработкой. Вот два примера. Это я демонстрирую свои выдающиеся навыки пения. (Поёт) (Смех) А здесь я вдвое ускорил съёмку своего горла во время пения. На этих кадрах вам мало что видно, но при увеличении в 100 раз, становятся видны все движения и пульсации шеи, которые связаны с изданием звуков. И этот звук записан в этом видео. Мы знаем, что певцы могут разбить бокал, если возьмут нужную ноту. Здесь мы проигрываем ноту с частотой резонанса такой же, как у этого бокала, через стоящие перед ним динамики. Мы воспроизвели ноту и увеличили движения в 250 раз, и теперь ясно видим, как бокал вибрирует и входит в резонанс с нотой. Такое увидишь не каждый день. Такой демо версия установлена здесь же рядом, и я призываю вас задержаться на нём и воспроизвести его самостоятельно, увидеть его вживую. И это заставило нас задуматься. У нас возникла одна безумная идея. Можем ли мы обратить этот процесс и восстановить звук по видео, по анализу малых движений, создаваемых звуковыми волнами в предметах, и перевести их обратно в звук, который их породил? Так мы можем превращать обычные предметы в микрофоны. Именно это мы и сделали. Вот на столе пустая упаковка от чипсов, и, чтобы превратить её в микрофон, мы снимаем её на видеокамеру и анализируем её мелкие вибрации, возникшие из-за звуковой волны. Вот то, что прозвучало в комнате. (Музыка: "Mary Had a Little Lamb") А вот высокоскоростная съёмка этой упаковки от чипсов. Снова звучит музыка. Вы никогда не смогли бы увидеть что-то на этом видео, при простом осмотре, но мы можем восстановить звук, просто анализируя снятые нами мелкие вибрации. (Музыка: "Mary Had a Little Lamb") Я называю это... Спасибо. (Аплодисменты) Я называю это визуальным микрофоном. По сути, мы извлекаем аудио сигнал из видеосигнала. И чтобы вы поняли масштаб этих вибраций: при достаточно громком звуке эта упаковка пошевелится меньше, чем на микрометр. Это одна тысячная миллиметра. Настолько малы движения, что мы можем выявить, просто наблюдая за тем, как свет отражается от предметов, и можем записывать это на видео. Можно извлечь звук, от других предметов, например, растения. (Музыка: "Mary Had a Little Lamb") И мы можем восстановить также речь. Вот человек говорит в комнате. [Голос: Mary had a little lamb whose fleece was white as snow, and everywhere that Mary went, that lamb was sure to go. Майкл: А вот звук речи, восстановленный из видео по той же упаковке от чипсов. [Голос: Mary had a little lamb whose fleece was white as snow, and everywhere that Mary went, that lamb was sure to go. Майкл: Мы использовали «Mary had a little lamb», потому что это первые слова, которые Томас Эдисон записал с помощью фонографа в 1877. Это первое звукозаписывающее устройство в истории. Звуки в нём направляются на диафрагму, в результате чего игла вибрирует, записывая звук на оловянную фольгу, обёрнутую вокруг цилиндра. Вот демонстрация записи и воспроизведения звука на фонографе Эдисона. (Видео) Голос: Testing, testing, one two three. Mary had a little lamb whose fleece was white as snow, and everywhere that Mary went, the lamb was sure to go. Testing, testing, one two three. Mary had a little lamb whose fleece was white as snow, and everywhere that Mary went, the lamb was sure to go. Майкл: Сегодня, спустя 137 лет, мы можем извлечь звук такого же качества, просто снимая на камеру вибрации предметов под воздействием звука, мы можем это, даже если камера находится в 4,5 метрах от объекта за звуконепроницаемым стеклом. Вот звук, который мы смогли восстановить в нашем случае. Голос: Mary had a little lamb whose fleece was white as snow, and everywhere that Mary went, the lamb was sure to go. Майкл: Конечно, первая область применения, что приходит в голову — слежка. (Смех) Но в действительности есть и другие способы полезного применения. Возможно, мы сможем использовать это, например, чтобы извлечь звук из космоса, ведь звук не распространяется в космосе, но распространяется свет. Мы только начинаем исследовать другие возможности применения этой новой технологии. Теперь мы можем наблюдать процессы, о существовании которых знаем, но которых мы до сих пор никогда не могли видеть собственными глазами. Это наша команда. Всё, что я показывал сегодня — результат сотрудничества группы чудесных людей, которую вы видите, и я призываю вас, я буду рад, если вы зайдёте на наш сайт, попробуете сами и присоединитесь к нам в исследовании мира малых движений. Спасибо. (Аплодисменты)