ما معمولا هرکجا اسمی راجع به آنتروپی می‌شنویم، مربوط به جنبه‌ی ترمودینامیکی آن است. ما به طور کلی آنتروپی را به عنوان معیاری از بی‌نظمی تعریف می‌کنیم. مثلا اگر یک لیوان از دستمان بیفتد و به هزار تکه تقسیم شود، می‌گوییم آنتروپی این سیستم افزایش یافت.
همانطور که گفته شد ما معمولا آنتروپی را با همان نگاه ترمودینامیکی می‌بینیم. اما می‌توانیم این مفهوم را به سایر حوزه‌ها نیز تسری دهیم. مثلا می‌توانیم آن را به تئوری اطلاعات تعمیم دهیم و آنتروپی را برای یک متغیر تصادفی تعریف کنیم. به این صورت که بگوییم عدم قطعیت در پیش‌بینی یک متغیر تصادفی چقدر است؟ به چنین آنتروپی، آنتروپی اطلاعات یا شانون آنتروپی Shannon Entropy گفته می‌شود.
کلاود شانون، ریاضیدان بزرگ آمریکایی کسی بود که این نوع آنتروپی را به ما معرفی کرد. اجازه دهید با یکی دو مثال به بررسی آنتروپی شانون بپردازیم. فرض کنید ما یک سکه داریم و قصد داریم آن را پرتاب کنیم. اگر سکه‌ی ما کاملا عادلانه (fair) باشد، یعنی احتمالا آمدن شیر یا خط یکسان و پنجاه درصد باشد، پیش‌بینی نتیجه‌ی پرتاب سکه برای ما بسیار دشوار خواهد بود. یعنی ما هر بار سکه را پرتاب می‌کنیم، پنجاه درصد احتمال دارد که شیر بیاید و پنجاه درصد احتمال دارد که خط بیاید. پس ما با حداکثر عدم قطعیت و حداکثر آنتروپی در نتیجه‌ی پرتاب سکه مواجه هستیم. اما اگر سکه‌ی ما عادلانه نباشد و احتمال شیر آمدن مثلا هفتاد درصد و احتمال خط آمدن سی درصد باشد، سیستم ما پیش‌بینی‌پذیر‌تر است و عدم قطعیت در آن کمتر است. در نتیجه آنتروپی این سیستم نیز کمتر است. حالا ما می‌دانیم که اگر سکه را پرتاب کنیم، آمدن شیر شانس بیشتری دارد.
اما اگر دو طرف این سکه شیر بود چطور؟ در این حالت آنتروپی صفر است و هیچ عدم قطعیتی وجود ندارد. حالا ما هرچقدر سکه را پرتاب کنیم، حتما شیر می‌آید. حالا برویم سراغ مثال پیچیده‌تر. فرض کنید ما یک زبانی داریم که از چهار حرف A و B و C و D تشکیل شده و ما قصد داریم پیام‌هایی را با این چهار حرف ارسال کنیم. اگر احتمال استفاده از هریک از این چهار حرف ۲۵ درصد باشد، ما برای انتقال موثر اطلاعات، به حداقل دو بیت دیتا به ازای هر حرف نیاز داریم. در این حالت آنتروپی حداکثر است و ما به ازای هرکدام از این حروف، به ترتیب از کدهای دو بیتی 00 و 01 و 10 و 11 استفاده می‌کنیم.
حالا فرض کنید که احتمال استفاده از حرف A هفتاد درصد، حرف B بیست و شش درصد، حرف C و حرف D هرکدام دو درصد باشد. در این حالت اگر ما برای حرف A تک بیت 0، برای حرف B دوبیت 10، برای حرف C سه بیت 110 و برای حرف D سه بیت 111 را استفاده کنیم، اگر آن احتمال‌ها را اعمال کنیم، در مجموع ما از ۱/۳۴ بیت استفاده کرده‌ایم. چرا که ۷۰ درصد حروفی که ما در پیاممان به کار می‌بریم، حرف A است که ما برای انتقالش فقط به یک بیت نیاز داریم و برای حرف B فقط به دو بیت نیاز داریم. یعنی در ۹۶ درصد موارد ما به یک یا دو بیت نیاز داریم. حروف C و D که ما برای بیان آن‌ها نیاز به سه بیت داریم خیلی کم در متن ظاهر می‌شوند و ما تنها در چهار درصد موارد نیاز به استفاده از این ۳ بیت داریم. این توزیع غیریکنواخت احتمال منجر به کاهش آنتروپی اطلاعات و همچنین کاهش هزینه‌ی ارتباطی ما می‌شود.
جالب است بدانید آنتروپی زبان انگلیسی از این منظر بسیار پایین است، چرا که احتمال آمدن بعضی حروف مثل a و e در یک کلمه‌ی انگلیسی بسیار بالاتر از حروفی مثل x و z است. آنتروپی کلمات انگلیسی معمولا بیت ۰/۶ تا ۱/۳ بیت است.
– ابا اباد