엔트로피

엔트로피

물리학: 

• 무질서함의 정도, 가능한 상태의 수
• 시간이 지날수록 자연스럽게 증가하는 경향이 있음 

정보이론:

• 메시지가 얼마나 예측 불가능한가
• 예측 가능한 정보 = 엔트로피 낮음 = 정보량이 낮음
• 예측 불가능한 정보 = 엔트로피 높음 = 정보량이 높음

 

정보량과 예측불가능성은 반비례하는 관계

그럼 어떤 행위가 반복적으로 이루어져 경향성 형성된다면 엔트로피는 줄어들 수 있는가?

=> 국소적(local)으로 엔트로피는 감소할 수 있지만 전체 시스템에서는 엔트로피가 줄어든다고 보기 어려움

 

“반복 -> 경향성 형성”을 정보이론적으로 해석하면 패턴 증가, 예측 가능성 증가, 압축 가능성 증가를 의미함

• 반복을 통한 경향성의 증가로 다음 행동 예측이 쉽게 가능해지면서 정보 엔트로피는 감소하는 방향이라고 볼 수 있음
• 이는 인간의 언어에도 동일한게 적용될 수 있음(Claude Shannon은 영어의 엔트로피를 분석하면서 “언어는 상당히 중복(redundancy)되어 있다”고 함)
• 반복으로 구조가 형성되면서 정보 엔트로피가 감소하는 것

 

다만 물리학에서는 이런 구조의 유지가 오히려 엔트로피를 증가시킨다고 봄

• 생명체가 질서, 구조, 패턴을 유지하는 것은 음식 소비의 증가, 열 방출의 증가, 에너지 소모의 증가를 부르기 때문에 국소적으로는 엔트로피가 줄어들지만, 거시적으로는 엔트로피가 증가하기 때문에

 

소산구조(dissipative structure)의 개념

• “질서(structure)를 유지하려면 가능한 상태를 제한해야 한다” 그리고 그 제한에는 에너지가 필요하다.
• 에너지를 소모하면서 유지되는 질서

 

자연 상태 => 열은 퍼지고, 기체는 섞이고, 차이는 사라짐

• 균일화, 확산, 무작위화 
• 자연 상테에서는 엔트로피가 필연적으로 증가함

 

하지만 생명체는 반대 행동을 함

• 세포 구조 유지, DNA 복제, 체온유지, 장기조직화 등
• 정교한 질서를 계속해서 유지함
• 자연적인 ‘퍼짐’에 역행하는 행동임

 

따라서 생명체는 이러한 질서 유지를 위해서 지속적인 에너지 투입이 필요함

그리고 그 과정에서 열, 폐기물, 이산화탄소 등 더 무질서한 형태를 외부로 방출함

=> 낮은 엔트로피를 유지하기 위해 외부 엔트로피를 증가시키는 구조

 

 

이를 경제적 관점에서도 동일하게 적용됨.

• 시장또한 처음에는 혼란스럽지만 규칙, 제도, 가격 발견, 네트워크 효과가 생기면 특정 패턴과 질서가 형성되면서 예측이 가능한 수준에 도달함
  => 엔트로피의 감소로 볼 수 있음
• 하지만 이는 더 큰 정보의 흐름, 더 복잡한 상호작용, 새로운 불확실성이 발생함
  => 거시적으로는 더 큰 엔트로피가 발생함

 

예를 들어 시장의 구조와 질서가 확립되면서 참여자들이 늘어나면서 규모가 증가함

참여자가 많아질수록 상호작용 경우의 수가 폭증하고 비선형성이 증가함, 군집행동이나 자기강화와 같은 새로운 패턴들이 발생함

=> 미시 패턴은 안정화가 되었지만 거시 시스템은 오히려 복잡해짐

 

금융시장의 역사에서도

파생상품의 시장 확대, 알고리즘 거래 증가, 글로벌 연결성이 확대 되면서 시장의 효율성을 높였지만 동시에 플래시 크래시, 시스템 리스크, 전염 효과 등으로 리스크 또한 동시에 커짐

=> 엔트로피를 감소시키기 위한 정제가 새로운 질서, 복잡성, 취약성을 발행기킴 (엔트로피의 증가)

=> 시스템 유지 비용 자체가 커짐

=> 시장은 규칙을 발견할수록 외부 에너지 유입 없이 유지가 힘들어짐 (정보, 자본, 계산, 신뢰 등)

 

패턴과 질서의 형성은 미시적으로는 질서의 형성이지만 거시적으로는 복잡성 증가를 가져옴

 

그렇다면 무질서 속에서 ‘정보’만으로 질서를 만들어 낸다면 엔트로피를 줄일 수 있는거 아닌가?

• “맥스웰의 도깨비(Maxwell’s Demon)”이라는 사고 실험을 통해 알 수 있음

 

맥스웰의 도깨비(Maxwell’s Demon)

 

기본 설정

상자 안에 기체 분자들이 들어 있고, 가운데 아주 작은 문이 있다고 가정. 그리고 그 문을 관리하는 아주 작은 존재(도깨비)가 있음. 분자들은 빠른 분자, 느린 분자가 섞여 무작위로 움직이고 있음

 

도깨비의 행동

도깨비는 분자의 속도를 관찰해서 빠른 분자는 오른쪽으로 보내고, 느린 분자는 왼쪽으로 보냄. 그리고 문을 아주 정교하게 열고 닫음. 결과적으로 오른쪽은 뜨거워 지고 왼쪽은 차가워짐

 

자연스러운 상황에서 분자는 무질서하게 섞여 있어야 하는데 도깨비가 정보를 이용해 질서를 만듦 

=> 도깨비의 “정보”가 엔트로피를 줄어들게 만듦. 이는 에너지를 거의 쓰지 않고 정보만으로 질서를 만든 것처럼 보이게 함

=> 열역학 제2법칙 “엔트로피는 자연적으로 증가한다”에 반하는 상황임. 

 

하지만 이는 정보이론과 연결되면서 중요한 전환점이 됨

Rolf Landauer와 Charles Bennett의 연구에서 “정보를 얻고 저장하고 삭제하는 행위 자체가 물리적 비용을 가진다.”라는 결론을 낸 것. 특히 “정보 삭제”는 반드시 엔트로피를 증가시킨다고 말함.

 

랜드아우어의 원리: E≥kTln2

=> 1비트의 정보의 지우는 데에도 최소한의 에너지 소모가 필요하다고 봄

 

이것을 현대적으로 해석하면

도깨비가 분자를 관찰하고, 기억하고, 판단하고, 정보를 갱신하는 과정 전체를 포함하면 결국 엔트로피는 증가한다는 것

=> 정보라는 것은 추상적 개념이 아니라 물리적 실체와 연결되어 있다는 것임

=> 정보는 질서를 생성해내지만 정보 처리 자체에도 엔트로피 비용은 존재함

 

화폐시장에서의 엔트로피

화페의 역할

정보의 흐름

• 화폐는 정보에 대한 기대(expectation)를 가격으로 압축하는 시스템
• 기대를 조정(coordination)하는 공통 단위로 작동
• 가격은 ‘분산된 정보를 압축하는 신호 시스템’임
• 따라서 화폐는 불확실성의 가격화 하게됨

 

신호(signal, 실제로 의미 있는 정보)과 잡음(noise, 의미 없는 변동, 우연, 왜곡)의 분리

신호란 시스템의 상태 예측을 실제로 업데이트 시키는 정보
➡️ 예측 불가능한 정보일수록 시장 기대가 크게 변화하고 행동 변화를 유발시킴
➡️ 엔트로피가 클수록 강한 신호로 받아들임

 

가격을 결정할 때는 많은 요소가 영향을 미침, 이 과정에서 신호를 찾는 것이 굉장히 어려움

• 주가가 크게 변화했을 때, 이것이 단순히 시스템 매매(noise)의 영향인지 실제 실적개선 혹은 기대감의 반영(signal)인지 분리하기가 어려움
• 진짜 신호를 잡음 속에서 분리하는 능력이 중요함.

 

이것은 aI도 마찬가지임

• 의미있는 패턴(signal)과 우연한 상관관계(noise)를 분리하지 못하면
  hallucination(환각), spurious correlation(허위 상관)이 발생함

 

현대 시장에서의 정보 과잉

• 데이터는 폭증하지만 의미 있는 신호는 희소해짐
• 과잉 정보 속에서 무엇이 진짜 신호(signal)인지 판별하는 시스템이 중요
• 검색엔진, 추천 알고리즘, 금융모델, 신용평가 ai모델, 국가 통계 시스템 등
  모두 잡음(noise) 속에서 특정 패턴을 “의미 있는 정보”로 선언하는 장치임
• 다만 신호는 객관적으로 완전히 고정된 것이 아니라서 관찰자의 목적, 시간, 모델, 인센티브 등 에 따라 달라질 수 있음
  => 시스템 매매에 따른 가격 변동은 가치투자자에게는 noise지만 퀀트 트레이더에게는 signal임.

 

따라서 경제학적으로 엔트로피는

• 가격 = 압축된 정보
• 변동성 = 정보 충격
• 시장 = 엔트로피를 처리하는 시스템

으로 볼 수 있음