Чем известен клод шеннон
Шеннон, Клод
автор фундаментальных трудов по теории информации, электротехнике и криптографии
Является основателем теории информации, нашедшей применение в современных высокотехнологических системах связи. Шеннон внес огромный вклад в теорию вероятностных схем, теорию автоматов и теорию систем управления — области наук, входящие в понятие «кибернетика». В 1948 году предложил использовать слово «бит» для обозначения наименьшей единицы информации (в статье «Математическая теория связи»).
Содержание
Биография
Клод Шеннон родился 30 апреля 1916 года в городе Петоцки, штат Мичиган, США. Первые шестнадцать лет своей жизни Клод провел в Гэйлорде, Мичиган, где в 1932 году он закончил общеобразовательную среднюю школу Гэйлорда. В юности он работал курьером службы Western Union. Отец его был адвокатом и в течение некоторого времени судьей. Его мать была преподавателем иностранных языков и впоследствии стала директором Гэйлордской средней школы. Молодой Клод увлекался конструированием механических и автоматических устройств. Он собирал модели самолетов и радиотехнические цепи, создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Временами ему приходилось исправлять радиостанции для местного универмага. Томас Эдисон был его дальним родственником.
В 1932 году Шеннон был зачислен в Мичиганский университет, где выбрал курс, посещая который начинающий ученый познакомился с работами Джорджа Буля. В 1936 году Клод оканчивает Мичиганский университет, получив степень бакалавра по двум специальностям математика и электротехника, и устраивается в Массачусетский технологический институт (MIT), где он работал ассистентом-исследователем на дифференциальном анализаторе Ванневара Буша — аналоговом компьютере. Изучая сложные, узкоспециализированные электросхемы дифференциального анализатора, Шэннон увидел, что концепции Буля могут получить достойное применение. Статья, написанная с его магистерской работы 1937 года «Символьный анализ реле и коммутаторов», была опубликована в 1938 году в издании Американского института инженеров-электриков (англ.) русск. (AIEE). Она также стала причиной вручения Шэннону Премии имени Альфреда Нобеля Американского института инженеров-электриков в 1940 году. Цифровые цепи — это основа современной вычислительной техники, таким образом, результаты его работ являются одними из наиболее важных научных результатов ХХ столетия. Говард Гарднер из Гарвардского университета отозвался о работе Шэннона, как о «возможно, самой важной, а также самой известной магистерской работе столетия».
По совету Буша Шеннон решил работать над докторской диссертацией по математике в MIT. Идея его будущей работы родилась у него летом 1939 года, когда он работал в лаборатории в Колд-Спринг-Харбор (штат Нью-Йорк). Буш был назначен президентом Института Карнеги в Вашингтоне и предложил Шеннону принять участие в работе, которую делала Барбара Беркс по генетике. Именно генетика, по мнению Буша, могла послужить предметом приложения усилий Шеннона. Докторская диссертация Шеннона, получившая название «Алгебра для теоретической генетики», была завершена весной 1940 года. Шеннон получает докторскую степень по математике и степень магистра по электротехнике.
В период с 1941 по 1956 гг. Шеннон преподает в Мичиганском университете и работает в компании Белл (Bell Labs). В лаборатории Белл Шеннон, исследуя переключающие цепи, обнаруживает новый метод их организации, который позволяет уменьшить количество контактов реле, необходимых для реализации сложных логических функций. Он опубликовал доклад, названный «Организация двухполюсных переключающих цепей». Шеннон занимался проблемами создания схем переключения, развил метод, впервые упоминавшийся фон Нейманом и позволяющий создавать схемы, которые были надежнее, чем реле, из которых они были составлены. В конце 1940 года Шеннон получил Национальную научно-исследовательскую премию. Весной 1941 года он вернулся в компанию Белл. С началом Второй мировой войны Т. Фрай возглавил работу над программой для систем управления огнем для противовоздушной обороны. Шеннон присоединился к группе Фрая и работал над устройствами, засекавшими самолеты противника и нацеливавшими зенитные установки, также он разрабатывал криптографические системы, в том числе и правительственную связь, которая обеспечивала переговоры Черчилля и Рузвельта через океан. Как говорил сам Шеннон, работа в области криптографии подтолкнула его к созданию теории информации.
С 1950 по 1956 Шеннон занимался созданием логических машин, таким образом, продолжая начинания фон Неймана и Тьюринга. Он создал машину, которая могла играть в шахматы, задолго до создания Deep Blue. В 1952 Шеннон создал обучаемую машину поиска выхода из лабиринта.
Шеннон уходит на пенсию в возрасте пятидесяти лет, в 1966 году, но он продолжает консультировать компанию Белл (Bell Labs).
В 1985 году Клод Шеннон со своей супругой Бетти посещает Международный симпозиум по теории информации в Брайтоне. Шеннон довольно долго не посещал международные конференции, и сначала его даже не узнали. На банкете Клод Шеннон дал короткую речь, пожонглировал всего тремя мячиками, а затем раздал сотни и сотни автографов изумленным его присутствием ученым и инженерам, отстоявшим длиннейшую очередь, испытывая трепетные чувства по отношению к великому ученому, сравнивая его с сэром Исааком Ньютоном.
Он был разработчиком первой промышленной игрушки на радиоуправлении, которая выпускалась в 50-е годы в Японии (фото). Также он разработал устройство, которое могло складывать кубик Рубика (фото), мини компьютер для настольной игры Гекс, который всегда побеждал соперника (фото), механическую мышку, которая могла находить выход из лабиринта (фото). Также он реализовал идею шуточной машины «Ultimate Machine» (фото).
Клод Шеннон ушел из жизни 24 февраля 2001 года.
Теория связи в секретных системах
Работа Шеннона «Теория связи в секретных системах» (1945) с грифом «секретно», которую рассекретили и опубликовали только лишь в 1949 году, послужила началом обширных исследований в теории кодирования и передачи информации, и, по всеобщему мнению, придала криптографии статус науки. Именно Клод Шеннон впервые начал изучать криптографию, применяя научный подход. В этой статье Шеннон определил основополагающие понятия теории криптографии, без которых криптография уже немыслима. Важной заслугой Шеннона является исследования абсолютно стойких систем и доказательство их существования, а также существование криптостойких шифров, и требуемые для этого условия. Шеннон также сформулировал основные требования, предъявляемые к надежным шифрам. Он ввёл ставшие уже привычными понятия рассеивания и перемешивания, а также методы создания криптостойких систем шифрования на основе простых операций. Данная статья является отправным пунктом изучения науки криптографии.
Статья «Математическая теория связи»
Статья «Математическая теория связи» была опубликована в 1948 году и сделала Клода Шеннона всемирно известным. В ней Шеннон изложил свои идеи, ставшие впоследствии основой современных теорий и техник обработки, передачи и хранения информации. Результаты его работ в области передачи информации по каналам связи запустили огромное число исследований по всему миру. Шеннон обобщил идеи Хартли и ввёл понятие информации, содержащейся в передаваемых сообщениях. В качестве меры информации передаваемого сообщения 
, Хартли предложил использовать логарифмическую функцию 
. Шеннон первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики, рассматривая как конечные, так и непрерывные множества сообщений. Развитая Шенноном теория информации помогла решить главные проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений, произвести кодирование и передачу сообщений по каналам связи с шумами.
Решение проблемы избыточности подлежащего передаче сообщения позволяет максимально эффективно использовать канал связи. К примеру, современные повсеместно используемые методы снижения избыточности в системах телевизионного вещания на сегодняшний день позволяют передавать до шести цифровых программ коммерческого телевидения, в полосе частот, которую занимает обычный сигнал аналогового телевидения.
Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приема, позволяет передавать по каналу связи сообщения со сколь угодно малой вероятностью ошибочной передачи сообщения. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности.
На сегодняшний день все системы цифровой связи проектируются на основе фундаментальных принципов и законов передачи информации, разработанных Шенноном. В соответствии с теорией информации, вначале из сообщения устраняется избыточность, затем информация кодируется при помощи кодов, устойчивых к помехам, и лишь потом сообщение передается по каналу потребителю. Именно благодаря теории информации была значительно сокращена избыточность телевизионных, речевых и факсимильных сообщений.
Большое количество исследований было посвящено созданию кодов, устойчивых к помехам, и простых методов декодирования сообщений. Исследования, проведенные за последние пятьдесят лет, легли в основу созданной Рекомендации МСЭ по применению помехоустойчивого кодирования и методов кодирования источников информации в современных цифровых системах.
Теорема о пропускной способности канала: любой канал с шумом характеризуется максимальной скоростью передачи информации, этот предел назван в честь Шеннона. При передаче информации со скоростями, превышающими этот предел, происходят неизбежные искажения данных, но снизу к этому пределу можно приближаться с необходимой точностью, обеспечивая сколь угодно малую вероятность ошибки передачи информации в зашумлённом канале.
Теоремы Шеннона
В теории информации, по традиции, утверждения типа «для любого кода имеет место некоторое свойство» называются обратными теоремами, а утверждения типа «Существует код с заданным свойством» — прямыми теоремами. [1]
Клод Шеннон
Биография
Клод Шеннон — американец, который создал науку «теория информации» и «алгеброй проверял» не только музыку, но и общение, игры, физические и биологические системы. По мнению исследователей, вклад Шеннона в создание компьютера равноценен вкладу создателя алфавита в литературу.
Детство и юность
Автор «алгебры логики» родился в последний апрельский день 1916 года в семье мичиганского адвоката Клода Шеннона – старшего и учительницы, вскоре ставшей директором школы, Мейбл Вольф. Шенноны жили в городке Гейлорд, который называют американской альпийской деревней, но появился на свет Клод-младший в больнице приморского курортного городка Петоски.
Today is the 103rd birthday for American mathematician & engineer Claude Shannon 1931, the principle founder of.
Старшая сестра мальчика Кэтрин, впоследствии ставшая профессором математики, давала брату решать головоломки, публикуемые в журналах и книгах. Любимым литературным произведением Клода был рассказ Эдгара По «Золотой жук». Особенно завораживала юного читателя детективная линия расшифровки манускрипта, попавшего в руки персонажа. Размышления Шеннона над созданием шифров и их раскодированием впоследствии легли в основу его статьи «Теория связи в секретных системах».
Другой страстью Клода было создание самодельных устройств, которую он унаследовал от деда, смастерившего стиральную машину и ряд приспособлений, используемых в земледелии и животноводстве. Подросток создал телеграф между своим жилищем и домом друга, сконструировал радиоуправляемую игрушечную субмарину, неоднократно чинил и совершенствовал радиосвязь в местном супермаркете.
Будучи не в силах выбрать между царицей наук и электротехникой, парень получил в университете квалификацию бакалавра по обеим специальностям. В ранней юности Клоду довелось поработать курьером в Western Union, однако после получения высшего образования в 1936 году Шеннон занял должность ассистента-исследователя в Массачусетском институте.
Личная жизнь
Математик дважды вступал в брак. Первое супружество с левой интеллектуалкой Нормой Левор, еврейкой по национальности, продлилось год. Бывшая жена Шеннона вскоре после развода обрела счастье в личной жизни с журналистом и сценаристом Беном Барзменом. Норма родила второму супругу семерых детей. В фильмах, снятых по сценариям Барзмена, играли Энтони Куинн, Жан-Луи Трентиньян и Филипп Нуаре.
Второй и последней женой Шеннона стала Мэри Элизабет Мур, с которой он познакомился в Лаборатории Белла. Клод и Бетти подарили жизнь трем детям — сыновьям Роберту Джеймсу и Андрю Муру и дочери Маргарите Катерине.
Любимой музыкой ученого был классический джаз, а любимым блюдом — ванильное мороженое с шоколадным муссом. Помимо изобретения и сборки гаджетов, Клод увлекался жонглированием, ездой на велосипеде и стихосложением. На некоторых фото Шеннон запечатлен курящим трубку или сигарету.
Две вещи никогда не интересовали изобретателя — политика и религия. В отличие от собрата по науке Норберта Винера, Клод никогда не делал политических заявлений против милитаризации науки и насаждения всеобщей секретности.
Научная деятельность
Выполняя обязанности оператора аналогового компьютера, разработанного университетским наставником Вэниваром Бушем, юноша понял, что математические теоремы применимы в электротехнике. Открытие Шеннона легло в основу его магистерской диссертации 1937 года, посвященной анализу переключателей электросистем. В работе впервые появилась единица измерения информации бит.
Другим важным довоенным исследованием Клода стала диссертация об алгебраических методах в генетике. В годы мировой войны ученый по заданию Министерства обороны США совершенствовал системы управления огнем и совместно с британским математиком Аланом Тьюрингом работал над шифровкой и дешифровкой связи.
В 1949 году Шеннон вместе с Уорреном Уивером разработал математическую модель коммуникации, описывающую линейную передачу посланий. Источник информации должен иметь передатчик, а получатель — приемник. Между передатчиком и приемником идет сигнал.
Клод Шеннон и Уоррен Уивер / @hamradio_community
Шеннон ввел понятие информационного шума, искажающего информацию в ходе передачи, использовав для его характеристики физически-философскую категорию «энтропия». Схемы, предложенные Шенноном и Уивером, легли в основу информатики и кибернетики.
Ряд работ Клода посвящен теории игр, а изобретений — ее практическому применению. Исследовав алгоритм игры в шахматы, ученый разработал компьютерные программы для робота-шахматиста, а в 50-е годы XX века создал устройство, «читающее мысли» при игре в «орла и решку».
Смерть
Отец математической теории связи скончался 24 февраля 2001 года. Причиной смерти Клода стали последствия болезни Альцгеймера. Последние годы жизни Шеннон провел в доме престарелых Массачусетса. Пока позволяли силы, ученый участвовал в изучении причин и последствий коварного недуга, поражающего мозг пожилых людей. До последних минут жизни Клода о нем заботились члены семьи.
Кто такой Клод Шеннон и чем он знаменит?
Клод Элвуд Шеннон — известный американский инженер и математик. Его работы совмещают связь математических идей с анализом весьма сложного процесса их технической реализации. Клод Шеннон знаменит в первую очередь благодаря разработке теории информации, которая служит основой современных высокотехнологических систем связи. Шеннон внес огромный вклад в ряд наук, которые входят в понятие «кибернетики» — он создал теорию вероятности схем, теорию автоматов и систем управления.
Клод Шеннон — становление инженерного гения
Клод Шеннон родился в 1916 году в городе Гейлорд, штат Мичиган, США. Технические конструкции, как и общность математических процессов, интересовали его с ранних лет. Все свое свободное время он решал математические задачи и возился с радиоконструкторами и детекторными приемниками.
Неудивительно, что будучи студентом Мичиганского университета, Шеннон одновременно специализировался в математике и электротехнике. Благодаря высокой образованности и разнообразию интересов, первый огромный успех к Шеннону пришел уже во время учебы в аспирантуре Массачусетского технологического университета. Тогда ему удалось доказать, что работу электрических схем реле и переключателей можно представить посредством алгебры. За это величайшее открытие Клод Шеннон был удостоен Нобелевской премии. Причину своего ошеломляющего успеха он объяснил достаточно скромно: «Просто до меня никто не изучал математику и электротехнику одновременно.»
Шеннон и криптография
В 1941 году Шеннон стал сотрудником Bell Laboratories, где его основной задачей была разработка сложных криптографических систем. Эта работа позволила ему создать методы кодирования с возможностью коррекции ошибок.
Клод Шеннон стал первым, кто подошел к изучению криптографии с научной точки зрения, опубликовав в 1949 году статью под названием «Теория связи в секретных системах». Эта статья состояла из трех разделов. Первый раздел содержал основные математические структуры секретных систем, второй — раскрывал проблемы «теоретической секретности», третий — освещал понятие «практической секретности». Так, главной заслугой Шеннона в криптографии стало подробное исследование понятия абсолютной секретности систем, в котором он доказал факт существования и необходимые условия для существования абсолютно стойких не раскрываемых шифров.
Клод Шеннон стал первым, кто сформулировал теоретические основы криптографии и раскрыл суть многих понятий, без которых криптография, как наука не существовала бы.
Основоположник информатики
В какой-то момент своей деятельности, Клод Шеннон поставил перед собой задачу улучшить передачу информации по телефонным и телеграфным каналам, которые находятся под воздействием электрических шумов. Тогда ученый выяснил, что наилучшим решением данной проблемы станет более эффективная «упаковка» информации. Однако прежде, чем приступить к исследованиям ему пришлось ответить на вопрос, что же такое информация и чем измерить ее количество. В 1948 году в статье «Математическая теория связи» он описал определение количества информации через энтропию, величину, которая известна в термодинамике как мера разупорядоченности системы, а наименьшую единицу информации назвал «битом».
Позже, основываясь на своих определениях количества информации, Шеннону удалось доказать гениальную теорему о пропускной способности зашумленных каналов связи. В годы ее разработки, теорема не нашла практического применения, зато в современном мире высокоскоростных микросхем она находит применение везде, где хранится, обрабатывается или передается информация.
Почти современник
Вклад Клода Шеннона в науку и его результаты трудно переоценить, ведь без его открытий стало бы невозможным существование компьютерной техники, Интернета и всего цифрового пространства. Кроме теорий, которые положили начало развития информационных технологий, гениальный инженер и математик так же сделал вклад в развитие многих других областей. Он одним из первых доказал то, что машины не только способны выполнять интеллектуальную работу, но и обучаться. В 1950 году, он изобрел механическую радиоуправляемую мышку, которая благодаря сложной электронной схеме могла найти дорогу в лабораторию самостоятельно. Также он стал автором устройства, которое было способно складывать кубик Рубика, а так же изобрел Гекс – электронное устройство для настольных игр, которое всегда побеждало соперников.
Гениальный ученый и изобретатель умер на 84 году жизни в 2001 году от болезни Альцгеймера в массачусетском доме престарелых.
Клод Шеннон: мастер на все руки, шутник и отец теории информации
Кто же такой Клод Шеннон? Каждая комната в Entropy House, поместье неподалеку от Бостона, где Шеннон вместе с женой Бетти прожили более 30 лет, может ответить на этот вопрос по-разному. Одна комната, опрятная и аккуратная, украшена рядами наград, демонстрирующих многочисленные достижения хозяина дома. В их числе Национальная научная медаль, полученная им в 1966 году, Премия Киото — японский эквивалент Нобелевской — и Медаль Почёта IEEE.
Эта комната — зал славы Шеннона. Роберт Лаки, исполнительный директор по исследованиям в AT&T Bell Laboratories, называл его работы величайшими достижениями «в анналах технологической мысли». А Рольф Ландауэр из IBM ставил новаторские мысли Шеннона наравне с идеями Эйнштейна. Еще во времена работы в Bell Laboratories на позиции младшего инженера Шеннон сформулировал основы теории информации. В блестящей статье для Bell System Technical Journal он обозначил широкое интеллектуальное поле для изучения эффективной упаковки и передачи информации в электронном виде. «A Mathematical Theory of Communication», именно так называлась эта статья, до сих пор является Magna Karta (Великой хартией вольностей) коммуникационной эры.
Шеннон в свои 75 лет, несмотря на совершенно седые волосы, сохранил на лице улыбку проказливого мальчишки. Показывая гостям свои награды, он выглядит едва ли не смущенным. Уже спустя минуту он приглашает нас в следующую комнату. Ее стены завешены множеством дипломов и сертификатов в рамках. Один из них, например, утверждает, что Шеннон является «доктором жонглерских наук». Столы в комнате загромождены всевозможными устройствами.
Эта комната показывает нам Шеннона, который все время искал новые поводы для вдохновения — и даже построил шахматную машину. Как вспоминает его бывший коллега, одно время Шеннон так много играл в шахматы на работе, что «это вызвало беспокойство как минимум у одного начальника».
Без тени сожаления Шеннон говорит: «Я всегда преследую свои собственные интересы. Конечный результат и его ценность для мира меня особенно не волнуют. Я потратил уйму времени на совершенно бесполезные вещи».
Влияние «Золотого жука»
Любовь Шеннона к математическим абстракциям и всевозможным устройствам проявилась в раннем возрасте. Он родился в 1916 году в пригороде Гейлорда, штат Массачусетс, и провел там значительную часть детства. Шеннон обожал играть со всевозможными радио-наборами — их покупал ему отец. Еще Шеннону очень нравилось решать математические головоломки, которые задавала ему сестра, будущая профессор математики.
«Даже будучи маленьким ребенком, я всегда интересовался криптографией и всякими такими штуками» — рассказывает Шеннон. Одна из его любимых книг — «Золотой Жук» Эдгара По, мистический детектив со счастливым концом. Разгадывая таинственную карту, главный герой находит зарытое в земле сокровище.
В Мичиганском университете Шеннон был одинаково хорош как в математике, так и в электронике. Хорошее понимание обеих этих областей позволило ему добиться первого значительного успеха: его приняли в аспирантуру MIT. После беседы о сложной системе переключения телефонных линий с Амосом Джоэлем, признанным экспертом Bell Laboratories, Шеннон подготовил свою дипломную работу. В ней он, прибегая к концепциям из булевой алгебры, таким как: «Если происходит либо X, либо Y, но не Z, в результате получится Q», смог описать работу переключателей и реле в электрических цепях.
Выводы, сделанные 22-х летним студентом, оказались на удивление глубокими: электрические цепи перед строительством можно протестировать математически, а не путем проб и ошибок. Современные инженеры уже давно проектируют компьютерное «железо», софт, телефонные линии и прочие сложные системы с помощью булевой алгебры.
Дипломная работа Шеннона была названа «вероятно, важнейшей дипломной работой столетия», но сам автор, как обычно, принижает ее значимость. «Просто так совпало, что на тот момент только я был хорошо знаком и с математикой, и с электроникой» — говорит он. И тут же добавляет: «Мне всегда нравилось это слово — «Булев»!».
После получения докторской степени в MIT в 1940 году (его диссертация была посвящена математике в передаче генов) Шеннон провел год в принстонском Институте перспективных исследований. Театральным шепотом Шеннон рассказывает, как он однажды держал в институте речь, и тут в заднюю дверь аудитории вошел легендарный Эйнштейн. Он поглядел на Шеннона, что-то прошептал одному из ученых и покинул комнату. Сразу после выступления Шеннон бросился к этому ученому, чтобы узнать, о чем говорил Эйнштейн. Тот, сохраняя серьезный вид, ответил: «Эйнштейн поинтересовался, где у нас лежит чай».
Как пишется слово «эврика»?
В 1941 году Шеннон устроился в Bell Laboratories и проработал там 15 лет. Во время Второй мировой войны он участвовал в разработке цифровых систем шифрования. Одной из них пользовались Черчилль и Рузвельт для проведения трансокеанских переговоров.
Как говорит сам Шеннон, эта работа и привела к появлению теории коммуникации. Он понял, что при помощи числовых кодов можно защитить информацию от чужих глаз. Соответственно, и от помех тоже. Кроме того, эти коды можно использовать для эффективного упаковывания информации и дальнейшей передачи по выделенному каналу.
«Первое, о чем я подумал [в ключе теории информации]» — говорит Шеннон, — «это как улучшить передачу информации по сильно зашумленному каналу. Это была острая проблема для телеграфных и телефонных систем. Но когда думаешь о таких вещах, в голове тут же появляется широкий спектр применений [для возможного решения проблемы]». Отвечая на вопрос о том, приходилось ли ему испытывать озарение, после которого хотелось бы воскликнуть «эврика!», Шеннон пошутил: «Приходилось, но я до сих пор не знаю, как пишется это слово».
Определение информации, изложенное в статье Шеннона от 1948 года, имеет решающее значение в его теории коммуникации. Избегая вопросов о смысле информации (Шеннон подчеркивает, что его «теория не могла и не собиралась решать этот вопрос»), он явно демонстрирует, что информация — это измеримый продукт. Он показал, что объем информации в конкретном сообщении определяется вероятностью того, что из всех сообщений, которые могут быть отправлены, выбрано будет именно оно.
Он определил общий потенциал информации в системе как ее «энтропию». В термодинамике этот термин обозначает случайность или «смешанность», как выразился один физик, «системы». (Великий математик и компьютерный теоретик Джон фон Нейман убедил Шеннона использовать слово энтропия. То, что никто не знает, что такое энтропия, утверждал фон Нейман, даст Шеннону преимущество в дискуссиях по теории информации.)
Шеннон определил базовую единицу информации как сообщение, представляющее одно из двух возможных состояний. Позднее Джон Тьюки из Bell Laboratories назвал это двоичной единицей, а затем битом. Можно закодировать большое количество информации в сравнительно небольшом количестве битов. Это похоже на старинную игру в «Двадцать вопросов». В ней также можно быстро вычислить верный ответ, задавая правильные вопросы.
Опираясь на математику, Шеннон показал, что любой канал связи обладает некой максимальной пропускной способностью, выше которой надежная передача информации невозможна. На самом деле, с помощью хитрого кодирования есть вероятность достичь этого максимума, однако на практике это невозможно. Этот максимум стал известен как «предел Шеннона».
В той же статье 1948 года говорится, как рассчитать предел Шеннона. Но не о том, как его достичь. И Шеннон, и его коллеги занялись этим вопросом позже. В первую очередь требовалось устранить из сообщений избыточность. Точно так же, как экономный Ромео кодирует свое послание Джульетте до «я тб лбл», хороший код в первую очередь хорошенько сжимает информацию.
Затем добавляется так называемый код коррекции — достаточный, чтобы шум не подавил сообщение окончательно. Например, коррекционный код для потока чисел может добавить уравнение полинома, на график которого попадают все эти числа. А декодер на принимающей стороне знает, что любые числа, выбивающиеся из графика, были искажены при передаче.
Аарон Уайнер, руководитель отдела исследований в области коммуникационного анализа AT&T Bell Laboratories заметил, что некоторые научные открытия являются продуктом своего времени, но не лично Шеннона.
На самом же деле, идеи Шеннона слишком опережали свое время, чтобы воплотиться моментально. «Многие практичные ученые из Bell Labs считали эту теорию интересной, но не слишком полезной» — говорит Эдгар Гилберт. В 1948 году он приехал в Bell Labs — в том числе, чтобы поработать совместно с Шенноном. Вакуумные трубки просто не могли обрабатывать сложные коды, необходимые для приближения к пределу Шеннона. Статья Шеннона даже получила отрицательный отзыв от Дж. Л. Дуба, известного математика из Университета Иллинойса. Историк Уильям Аспрей отмечает, что для реального применения теории информации в то время отсутствовала всякая концептуальная основа.
Только в начале 1970-х годов с появлением высокоскоростных интегральных схем инженеры начали полноценно пользоваться теорией информации. В наши дни идеи Шеннона применяются практически во всех системах, которые хранят, обрабатывают или передают информацию в цифровом виде, от компакт-дисков до суперкомпьютеров, от факсимильных аппаратов до зондов для исследования дальнего космоса, таких как Voyager.
Соломон В. Голомб, инженер-электроник из Университета Южной Калифорнии и бывший президент Общества теории информации IEEE, говорит, что важность работы Шеннона нельзя переоценить: «это все равно, что говорить о влиянии изобретателя алфавита на литературу».
Теория информации и религия
Теория информации с самого начала пленила аудиторию, намного более широкую, нежели та, для которой она была предназначена. Специалисты в лингвистике, психологии, экономике, биологии, даже музыканты и художники стремились объединить теорию информации со своими дисциплинами.
Джон Р. Пирс, бывший коллега Шеннона и заслуженный профессор Стэнфордского университета, сравнил теорию информации (вернее, «широкое злоупотребление» ею) с двумя другими глубокими и неверно истолкованными научными идеям: принципом неопределенности Гейзенберга и теорией относительности Эйнштейна.
Некоторые физики пошли на все, лишь бы доказать, что энтропия теории информации математически эквивалентна энтропии в термодинамике. По словам Дэвида Слепиэна, бывшего коллеги Шеннона по Bell Labs, многие инженеры «просто запрыгнули на трамвайную подножку, не понимая истинной сути теории». В 1956 году работа Шеннона вдохновила создание Общества теории информации IEEE. Вскоре появились экономические, биологические и другие подгруппы. В начале 1970-х годов IEEE Transactions on Information Theory была опубликована статья под названием «Теория информации, фотосинтез и религия», в которой осуждается чрезмерное распространение теории Шеннона. [Примечание редактора: на самом деле статья Питера Элиаса была озаглавлена «Две знаменитые статьи» и была опубликована в сентябре 1958 года.]
Шеннон, хотя и скептически относился к некоторым применениям своей теории, не был ограничен в собственных изысканиях. В 1950-х годах в своей гостиной он проводил эксперименты на тему избыточности языка. В них участвовала его жена Бетти, работавшая в Bell, Бернард Оливер, еще один ученый из Bell (а также бывший президент IEEE), а также жена Оливера. Кто-то называл первые буквы слова или слов в предложении, а все остальные пытались угадать продолжение. Другой эксперимент Шеннон поставил в Bell Laboratories. Сотрудники должны были подсчитать, сколько раз в письме появлялись различные буквы, и каков порядок их появления.
Кроме того, Шеннон предположил, что применение теории информации к биологическим системам может оказаться и не натяжкой. «Нервная система — это сложная коммуникационная система, которая обрабатывает информацию весьма неочевидным путём», — сказал он. Когда его спросили, считает ли он, что машины могут «думать», он ответил: «Еще бы! Я машина, и вы машина, и мы оба думаем».
Работа Шеннона в области теории информации и его любовь ко всевозможным устройствам привели его к увлечению «умными» машинами. Шеннон был одним из первых ученых, предположивших, что компьютер может играть с человеком в шахматы. А в 1950 году он написал статью для Scientific American, объясняющую, как эту задачу можно выполнить.
На шахматах дело не закончилось. Шеннон соорудил машину для «чтения мыслей». Она могла играть с человеком в «орел или решка» и угадывать ставку. Прототип построил коллега Шеннона из Bell Laboratories, Дэвид В. Хейгелбаргер. Машина записывала и анализировала прошлые ходы соперника и создавала модели, которые предсказывали бы следующий выбор. Поскольку человеческий выбор почти всегда строится на определенной модели, машина угадывала более чем в 50% случаев. А потом Шеннон сконструировал собственную версию машины и вызвал Хейгелбаргера на легендарную дуэль.
Он также создал машину, способную обыграть любого игрока-человека в настольной игре гекс, которая была популярна среди математиков несколько десятилетий назад. Шеннон построил доску таким образом, чтобы на стороне человека было больше гексов, чем на противоположном. Для победы машине было достаточно «захватить» центральный гекс, а затем просчитать доступные варианты ходов.
Машина могла срабатывать мгновенно, но чтобы создать впечатление, что она обдумывает свой следующий ход, Шеннон добавил в цепь переключатель задержки. Эндрю Глисон, блестящий математик из Гарварда, со словами «ни одна машина меня не побьет» бросил вызов устройству Шеннона. И только когда Глисон, разгромленный в пух и прах, потребовал реванша, Шеннон раскрыл ему секрет машины.
В 1950 году Шеннон сделал механическую мышь, которая могла научиться прокладывать себе путь через лабиринт к медному кусочку сыра без посторонней (на первый взгляд) помощи. В честь героя древнегреческого мифа, нашедшего выход из лабиринта и поборовшего Минотавра, Шеннон назвал мышь Тесеем. Фактически, «мозг» мыши был заключен в наборе схем на вакуумных лампах, которые находились под полом лабиринта. Эти схемы контролировали движение магнита, который в свою очередь контролировал мышь.
Когда в 1977 году редактор IEEE Spectrum предложил читателям создать автономную «микро-мышку» со встроенным «мозгом», которая путем проб и ошибок могла бы пройти лабиринт, а затем на основе своего опыта научиться проходить его без ошибок, ему позвонил бывший коллега Шеннона. Позвонил с тем, чтобы доказать, будто Шеннон уже построил такую машину почти 30 лет назад.
Понимая, что технологии 50-х не позволяли провернуть нечто подобное, редактор все равно связался с Шенноном. В ответ он рассмеялся и рассказал, как провел многих людей по всей стране. Шторы вокруг стола с лабиринтом скрывали механизм от зрителей и были важным компонентом устройства. Когда в 1979 году Spectrum торжественно вручал награды Amazing Micromouse Maze Contest, Шеннон снял Тесея со своего чердака, погрузил его в машину и выставил на витрине рядом с механизмом-победителем.
Отвечая на вопросы о перспективах искусственного интеллекта, Шеннон отметил, что современные компьютеры, несмотря на их невероятную мощь, все еще «не достигли человеческого уровня» в плане обработки «сырой» информации. Он подчеркивает, что даже задача по репликации человеческого зрения пока что слишком сложна для машин. Но при этом добавляет: «лично я вполне верю в то, что через несколько десятилетий машины смогут превзойти людей».
Единая полевая теория жонглирования
В 1956 году Шеннон оставил постоянную должность в Bell Labs (но еще более десяти лет работал внештатно), чтобы стать профессором коммуникационных наук в MIT. В последние годы его новой великой страстью стало жонглирование. Он построил несколько жонглирующих машин и разработал единую полевую теорию жонглирования: если B равно числу шаров, H — числу рук, D — времени, которое каждый шар проводит в руке, F — времени полета каждого шара и E — времени, когда каждая рука пуста, то B / H = (D + F) / (D + E).
(К сожалению, теория не могла помочь Шеннону жонглировать более чем четырьмя шарами одновременно. Он говорил, что его руки слишком малы.)
Шеннон также разработал множество математических моделей для прогнозирования роста акций и протестировал их — успешно, по его словам, — на своем собственном портфеле.
Он даже увлекался поэзией. Среди его работ есть ода кубику Рубика, популярной головоломке конца 1970-х. Стихотворение «Рубрика о кубиках Рубика» написано на мотив композиции Ta-Ra-Ra-Boom-De-Aye, а одна из строф выглядит примерно так (вольный перевод на русский язык приведен чуть ниже):
“Respect your cube and keep it clean./Lube your cube with Vaseline./Beware the dreaded cubist’s thumb,/The callused hand and fingers numb./No borrower nor lender be./Rude folk might switch two tabs on thee,/The most unkindest switch of all,/Into insolubility. [Chorus] In-sol-u-bility./The strangest place to be./However you persist/Solutions don’t exist.”
Уважь свой кубик, в чистоте
Держи его и смажь везде.
Но бойся тех, кто этот куб,
Не выпускал всю жизнь из рук.
Не отдавай свой кубик. Вот —
Его сломает обормот.
Предмет — странней не видел свет,
Собрать его ни шанса нет!
[Припев]
Не-раз-ре-шимый куб,
Пусть даже ты не глуп.
Из кожи лезешь, но
Не сможешь все равно.
У самого Шеннона был особый талант, и он с успехом решал головоломку. По словам Элвина Берлекэмпа, который учился у него в Массачусетском технологическом институте и совместно с ним написал несколько работ, «есть разрешимые проблемы, которые тривиальны, и серьезные проблемы, у которых решения нет», объяснил Берлекэмп. Шеннон обладал «фантастической интуицией и способностью формулировать глубокие проблемы, которые возможно решить».
С конца 1950-х годов Шеннон мало что публиковал касательно теории информации. Некоторые бывшие коллеги из Bell Laboratories предположили, что, к тому времени, когда Шеннон ушел в Массачусетский технологический институт, он «перегорел» и устал от собственного творения.
Шеннон опровергал эти заявления. По его собственным словам, он продолжал работать над проблемами в сфере в теории информации вплоть до 1960-х годов и даже опубликовал несколько статей, пускай и не считал большую часть своих исследований достойными публикации. «Большинство великих математиков свои лучшие работы написали в молодости», — отмечает он.
В 1960-х Шеннон также прекратил посещать встречи, посвященные теории информации. Берлекэмп предлагает возможное объяснение: в 1973 году ему удалось убедить Шеннона прочитать первую ежегодную лекцию на Международном симпозиуме по теории информации. Но в последнюю минуту Шеннон едва не отказался. «Мне никогда не приходилось видеть человека, который так сильно боится сцены» — вспоминает Берлекэмп. «Толпа смотрела на него, как на бога, и, как мне кажется, он боялся не оправдать их ожиданий».
В конце концов Шеннон произнес вдохновляющую речь, в которой предвосхитил идеи об универсальности обратной связи и самореференциальности в природе.
Тем не менее, Шеннон снова исчез из виду. Лишь в последние годы жена вдохновила его на посещение небольших собраний и различных лабораторий, где ученые работают с его теорией.
В 1985 году он неожиданно приехал на Международный симпозиум по теории информации в Брайтоне. Встреча шла своим чередом ровно до того момента, как прошел слух, что седой мужчина с застенчивой улыбкой, который появляется то там, то здесь, это Клод Шеннон. А ведь некоторые из гостей конференции даже не знали, что он все еще жив.
На банкете организаторы встречи как-то убедили Шеннона обратиться к аудитории. Он говорил несколько минут, а затем, опасаясь, что публика заскучает, выудил из карманов три шарика и начал жонглировать. Люди подбадривали его, а затем выстроились в очередь, чтобы взять автограф. Как позже заметил Роберт Дж. Макэлиэс, профессор электротехники в Калифорнийском технологическом институте и председатель симпозиума, выглядело так, будто «сам Ньютон появился на конференции по физике».
Клод Шеннон умер в 2001 году в возрасте 84 лет после многих лет борьбы с болезнью Альцгеймера и по праву считается одним из величайших инженеров электроники всех времен.