Fue uno de los principales teóricos que estudiaron la Información como ciencia.
Su trabajo influyó en la creación de la teoría de la información y la comunicación, y su concepto de "entropía" se convirtió en un concepto fundamental en la teoría de la información y la estadística.