The future of intelligence - Demis Hassabis 구글 딥마인드 유투브 보고 메모 w/ lilys.ai

구글 딥마인드 CEO가 출연한 Hannah Fry 채널 팟캐스트 보고 메모한 포스팅임.

포커스: Where is all this heading really. What are the scientific and technological questions that will define the next phase? 

 

https://youtu.be/PqVbypvxDto?si=Hzs2wdsbFqSSQ0y5

The future of intelligence | Demis Hassabis (Co-founder and CEO of DeepMind)

who is Demis Hassabis? Co-founder and CEO of DeepMind.

 

 

딥마인드 노력의 50:50 분배: 딥마인드 CEO 데미스 허사비스에 따르면, AGI(범용 인공지능) 달성을 위해 노력의 50%는 스케일링(Scaling)에, 50%는 혁신(Innovation)에 집중하고 있다. AGI를 달성하기 위해서는 스케일링과 혁신, 이 두 가지 모두가 필요하다.

AGI를 구축한 후, 이를 인간의 마음을 시뮬레이션하는 도구로 사용하여 실제 인간의 마음과 비교함으로써 차이점을 파악하고, 인간 정신의 특별함(창의성, 감정, 꿈 등)이 무엇인지 이해할 수 있을 것으로 예상된다.

 

근본적인 문제 해결(Root Node Problems)의 성과와 미래 목표

 

알파폴드2가 나온지 벌써 5년이다 (알파폴드1은 2018년 알파폴드2는 2020년 알파폴드3는 2024년)

*알파폴드AlphaFold? 알파폴드(AlphaFold)는 구글 딥마인드가 개발한 인공지능(AI)으로, 단백질의 아미노산 서열만으로 복잡한 3차원 구조를 매우 정확하게 예측하는 혁신적인 시스템입니다. 이 기술은 단백질의 기능 이해와 신약 개발, 질병 메커니즘 규명, 새로운 효소 개발 등 생명과학 전반의 연구 속도를 획기적으로 단축시키며 생명과학의 판도를 바꾸고 있습니다. 

알파폴드는 root node problem 해결이 가능하다는 주요 증거임.

 

• 미래 과학 목표: 상온 초전도체 개발, 더 나은 배터리 등 다양한 소재 과학 분야의 발전을 목표로 하고 있다.
• 핵융합 에너지 협력: 딥마인드는 Commonwealth Fusion과 파트너십을 맺고 핵융합 연구를 진행 중이다.
• 핵융합 협력의 목표: 이 협력은 플라즈마를 자기장으로 가두는 것을 돕고, 잠재적으로 재료 설계에도 기여하는 것을 목표로 한다.
• 양자 컴퓨팅 협력: 구글의 양자 AI 팀과 협력하여 오류 수정 코드(Error Correction Codes)에 머신러닝을 적용하여 지원하고 있다.
• 핵융합의 중요성: 핵융합은 거의 무한하고 재생 가능한 청정 에너지를 제공하여 세상을 변혁시킬 수 있는 '성배(Holy Grail)'와 같다.
• 기후 변화 기여: 핵융합은 기후 위기에 직접적으로 도움을 줄 수 있다.
• 에너지 혁신이 가져올 파급 효과: 에너지가 재생 가능하고, 청정하며, 거의 무료가 되면, 담수화 플랜트를 통한 물 접근성 향상이나 로켓 연료(수소와 산소 분리) 생산 등 다른 많은 분야가 실현 가능해진다

 

들쭉날쭉한 지능 (Jagged Intelligence): 성능이 특정 차원에서는 매우 뛰어나지만(박사 수준), 다른 영역에서는 고등학교 수준에도 미치지 못하는 '들쭉날쭉한 지능'을 보이며 성능이 매우 불균형하다

 

 

AlphaGo와 AlphaZero의 교훈: AlphaGo에서 AlphaZero로 발전하며 인간 경험을 제거했을 때 모델이 향상된 것처럼, 현재 모델들도 인간 지식(인터넷)을 압축하여 일반화하는 초기 단계에 있다.

AlphaZero와 유사한 시스템: 현재의 시스템이 AlphaGo와 같은 단계를 거친 후, 스스로 지식을 발견하는 AlphaZero와 같은 시스템으로 발전하는 것이 다음 단계가 될 것이다.

지속적인 학습의 부재: 현재 시스템의 결정적으로 누락된 조각 중 하나는 온라인 학습 및 지속적인 학습 능력이다. 훈련 후 배포되면 인간처럼 세상에서 계속 학습하지 않는다

 

• 경쟁 심화: 챗봇의 발전은 상업 조직과 국가들이 서로를 능가하기 위해 경쟁하는 '미친 경쟁 조건(crazy race condition)'을 만들었고, 이로 인해 엄격한 과학 연구를 병행하기 어려워졌다.

[상업화 트렌드 관련]

균형 유지 노력: 딥마인드는 과학과 상업화의 균형을 맞추려 노력하고 있으며, 현재 균형을 잘 잡고 있다고 평가한다.

대중의 접근성: 일반 대중이 최전선 기술을 사용하는 데 불과 몇 달밖에 뒤처지지 않아, AI가 어떤 모습일지 스스로 체감할 기회를 얻고 있다

 

 

1. 스케일링 벽에 대한 의문: 작년 이맘때만 해도 스케일링이 한계에 부딪히고 데이터가 고갈될 것이라는 이야기가 많았으나, Gemini 3가 다양한 벤치마크에서 선두를 달리고 있어 이러한 현상이 어떻게 가능했는지에 대한 질문이 제기되었다.
2. 스케일링의 지속: 딥마인드는 스케일링에 있어 '벽'을 본 적이 없다고 말한다.
3. 점진적 수익 체감: 스케일링에 따른 수익이 매번 두 배가 되는 것은 아니며, 점진적 수익 체감(diminishing returns)이 있을 수 있지만, 여전히 상당한 개선이 이루어지고 있다.
4. 데이터 부족 문제 해결: 데이터 부족 문제에 대해서는 합성 데이터(Synthetic data)를 생성하여 해결할 수 있으며, 특히 코딩이나 수학처럼 답을 검증할 수 있는 분야에서는 무제한의 데이터를 생산할 수 있다

 

[딥마인드의 강점]

1. 연구 우선 접근: 딥마인드는 항상 연구 우선이었으며, 지난 10년간의 트랜스포머, AlphaZero 등 주요 발전은 모두 구글이나 딥마인드에서 나왔다.
2. 연구의 중요성: 허사비스는 더 많은 과학적 혁신이 필요하다면 딥마인드가 그 역할을 할 것이라고 확신하며, 지형이 험난해질수록 세계적 수준의 연구와 과학이 필요해지므로 이를 선호한다.
3. 인프라의 이점: 딥마인드는 TPU와 같은 세계적 수준의 인프라를 보유하고 있으며, 이 인프라와 연구 능력이 결합되어 혁신과 스케일링의 최전선에 설 수 있게 한다.
4. AGI 달성을 위한 균형: AGI에 도달하기 위해서는 스케일링 50%, 혁신 50%의 노력이 필요하다는 것이 허사비스의 믿음이다.

 

[환각 문제 관련]

1. Gemini 3의 문제점: Gemini 3와 같은 뛰어난 모델에서도 환각(Hallucinations) 문제가 여전히 관찰되며, 때로는 응답을 거부해야 할 때 답변을 제공하는 지표가 나타났다.
2. 신뢰도 점수 도입 제안: AlphaFold처럼 Gemini에도 신뢰도 점수(Confidence Score)를 제공할 수 있는지에 대한 질문이 제기되었다.
3. 신뢰도 점수의 필요성: 허사비스는 신뢰도 점수가 필요하며, 모델이 자신이 아는 것과 모르는 것을 더 잘 알게 될수록 더 가까워지고 있다고 생각한다.
4. 불확실성 인식 훈련: 모델이 스스로 불확실성을 인식하고 그에 대한 답변을 합리적인 방식으로 출력하도록 훈련하는 방법이 필요하다.
5. 환각의 유형: 현재 많은 환각은 모델이 응답해야 할 때가 아님에도 불구하고 답변을 강요하는 데서 비롯된다.
6. AlphaFold와의 비교: AlphaFold에서는 다음 토큰(token)에 대한 확률 측정과 같은 방식으로 이 문제가 제한적으로 해결되었지만, 이는 전체 사실이나 진술에 대한 전반적인 확신을 알려주지는 못한다.
7. 사고 및 계획 단계의 활용: 전체적인 확신도를 얻기 위해서는 사고 단계(thinking steps)와 계획 단계(planning steps)를 사용하여 출력 내용을 다시 검토해야 할 것이다
8. 현재 시스템은 마치 기분이 나쁠 때 머리에 떠오르는 첫 번째 말을 하는 사람과 같아서, 어려운 문제에서는 잠시 멈추고 말할 내용을 검토하고 조정하는 과정이 필요하다

// 진짜 인간 같다는 ㅋㅋ 컨디션 안 좋은 날 인간이 질문을 받으면 머릿속에 가장 먼저 떠오르는 답변을 하는 것 처럼 (베스트 답변은 아닐 것) AI도 그런식이라는 답변이 웃겼음

 

월드 모델과 시뮬레이션의 중요성: 최근 작업 Genie 

- simulated worlds and putting agents in them. 

- why do you care about simulation? what can a world model do that a language model can't? 

 

1. 월드 모델에 대한 열정: 월드 모델과 시뮬레이션은 허사비스의 가장 오래된 열정이며, Genie와 같은 최근 작업에서 이 모든 것이 결합되고 있다.
2. 언어 모델의 이해력: 언어 모델은 세상에 대해 예상보다 훨씬 더 많이 이해하고 있으며, 언어가 생각보다 풍부하다는 것이 입증되었다.
3. 언어로 설명하기 어려운 영역: 공간적 역학(spatial dynamics), 물리적 맥락, 기계적 작동 방식 등은 말로 설명하거나 단어 코퍼스에서 일반적으로 설명하기 어렵다.
4. 경험 학습의 필요성: 이러한 영역은 경험으로부터의 학습, 온라인 경험과 연결되어 있으며, 센서 데이터(모터 각도, 냄새 등)는 말로 표현하기 매우 어렵다.
5. 로보틱스와 범용 비서: 로보틱스가 작동하거나, 일상생활에서 사용자와 함께하는 범용 비서가 되려면 이러한 세계 이해(world understanding)가 필요하며, 월드 모델이 그 핵심이다.
6. 월드 모델의 정의: 월드 모델은 세계의 인과관계와 역학(직관적 물리)을 이해하는 모델이다.
7. 월드 모델 검증: 현실적인 세계를 생성할 수 있는지 여부가 월드 모델 이해도를 테스트하는 방법이며, 생성 가능하다면 시스템이 세계의 역학을 많이 캡슐화했다는 것을 의미한다.
8. Genie 및 VO 모델: Genie와 VO 같은 비디오 모델 및 상호작용적 월드 모델은 일반화된 모델을 가지고 있음을 보여주는 중요한 단계이다.
9. 응용 분야: 이러한 이해를 로보틱스, 범용 지원에 적용할 수 있으며, 궁극적으로는 게임 및 게임 시뮬레이션에 재적용하여 궁극의 게임을 만드는 것이 허사비스의 잠재의식적 목표이다.

 

almost no prerequisite to any major invention was made with that invention in mind
거의 모든 주요 발명품에 필요한 선행 조건(선행 기술)은 그 발명품을 염두에 두고 만들어진 것이 아니다

 

 

호기심에 기반하여 에이전트들을 시뮬레이션된 세계에 집어넣고 있음.

Simma 2가 출시되었으며, 이는 가상 세계에 아바타나 에이전트를 배치하는 시뮬레이션 에이전트이다

No Man's Sky처럼 복잡한 상업게임에 넣는것도 가능. 

Simma 에이전트는 내부에 Gemini를 탑재하고 있어, 사용자가 에이전트에게 말을 걸어 작업을 지시할 수 있다

그렇다면 Genie를 Simma안에 플러그해서 넣고 이 Simma agent를 어떤 세계를 생성중인 다른 Genie AI에 넣으면 어떻게 될지 재미있을듯?이라고 생각해서 해봤음.

 

1. Genie와 Simma의 연동: Genie를 Simma에 연결하여, Simma 에이전트가 실시간으로 세계를 생성하는 다른 AI(Genie)에 투입되는 실험을 진행했다.
2. 상호작용: Simma 에이전트가 세계를 탐색하는 동안, Genie는 그저 플레이어/아바타로 간주되어 Simma 에이전트가 하는 행동에 맞춰 세계를 생성한다.
3. 훈련 루프: 이는 무한에 가까운 훈련 예시를 제공하는 흥미로운 훈련 루프의 시작이 될 수 있으며, Simma 에이전트가 배우려는 모든 것을 Genie가 실시간으로 생성할 수 있다.
4. 응용 분야: 이 루프를 통해 수백만 개의 작업을 자동으로 설정하고 해결할 수 있으며, 시뮬레이션 에이전트는 게임 동반자로도 훌륭하며 로보틱스에도 학습 내용이 유용할 수 있다.
5. NPC의 종말: 이는 지루한 NPC(Non-Player Character)의 종말을 의미한다.

* 구글의 지니? Genie(지니) 프로젝트는 생성형 인터랙티브 환경(Generative Interactive Environments) 모델을 개발.

텍스트나 이미지를 입력받아 사용자가 실시간으로 탐색하고 상호작용할 수 있는 동적 3D 가상 세계를 생성하는 것을 목표로 함.

 

https://deepmind.google/blog/genie-3-a-new-frontier-for-world-models

Genie 3: A new frontier for world models

 

https://youtu.be/PDKhUknuQDg

 

Genie3 진짜 대단하네... 실시간 프롬프팅/ 실시간 인터랙션/실시간 가상세계 생성이 되고 월드메모리가 있음.

 

 

[시뮬레이션의 현실성과 물리적 정확성 관련]

- how do you make sure that they are realistic? how do you ensure that you don't end up with physics that look plausible but are actually wrong? 

 

SIMA에이전트를 학습시킬때 Genie가 할루시네이션으로 잘못된 physics를 만들기는 원치 않음.

 

1. 물리 벤치마크 개발: 현재 물리 벤치마크를 만들고 있으며, 게임 엔진을 사용하여 정확한 물리를 가진 간단한 시나리오(예: 경사로를 굴러 내려가는 공)를 생성하고 있다.
2. 물리 법칙 캡슐화 확인: 뉴턴의 운동 3법칙과 같은 기본적인 물리 법칙을 모델(VO 또는 Genie)이 100% 정확하게 캡슐화했는지 확인하는 과정이다.
3. 현재 정확도: 현재 모델들은 근사치이며, 캐주얼하게 볼 때는 현실적으로 보이지만, 로보틱스에 의존할 만큼 정확하지는 않다.
4. 정확도 향상 방안: 그라운드 트루스(Ground Truth), 예를 들어 진자의 움직임에 대한 단순한 비디오 등을 생성하여 정확도를 높여야 한다.
5. 현재 비디오 모델의 정확성: VO와 같은 비디오 모델은 반사와 액체 처리 면에서 이미 놀라울 정도로 정확하다

 

[시뮬레이션과 진화, 의식에 대한 철학적 탐구]

1. 의식의 기원 이론: 허사비스는 과거 인터뷰에서 의식이 진화의 결과라는 이론을 좋아한다고 언급했으며, 타인의 내부 상태를 이해하는 것이 진화적 이점을 제공했을 때 이것이 자기 자신에게 향하게 되었다고 보았다.
2. 시뮬레이션 내 진화 실험: 이러한 이론에 따라 시뮬레이션 내에서 에이전트의 진화나 사회적 역학을 재실험해보고 싶은 강한 호기심을 가지고 있다.
3. 인공 사회 실험: 과거 경제학자들이 그리드 월드에서 작은 인공 사회를 운영하며 시장, 은행 등 흥미로운 발명품이 나타나는 것을 발견했던 실험들에 대한 관심을 표명했다.
4. AI의 역할: AI는 생명의 기원과 의식의 기원을 이해하는 데 필요한 도구이며, 시뮬레이션은 이를 통계적으로 수행할 수 있게 해주는 가장 강력한 도구이다.
5. 통제된 실험: 실제 세계에서 어려운 질문들에 대해 초기 조건만 약간 다르게 하여 시뮬레이션을 수백만 번 실행하고 그 차이를 통제된 실험 방식으로 이해할 수 있다.

1. 시뮬레이션의 안전성: 시뮬레이션은 안전한 샌드박스 내에서 실행할 수 있다는 장점이 있다.
2. 모니터링: 시뮬레이션 내에서 일어나는 일을 24시간 모니터링하고 모든 데이터에 접근할 수 있다.
3. AI를 이용한 모니터링: 시뮬레이션이 너무 복잡해지면 인간 과학자가 따라가기 어려울 수 있으므로, AI 도구를 사용하여 시뮬레이션을 분석하고 흥미롭거나 우려되는 점을 자동으로 플래그 지정해야 할 수 있다.
4. 시간적 관점: 이러한 논의는 현재 시점에서는 중기에서 장기적인 관점에 해당한다.

// 영어 공부 going back to the trajectory : 원래 계획했던 방향이나 경로로 되돌아간다

Trajectory (트라젝토리)의 뜻:

1. 탄도, 궤도, 궤적 (물리적인 의미): 발사된 물체나 움직이는 물체가 그리는 경로를 의미합니다. (예: 로켓의 궤도)
2. 방향, 경로, 발전 과정 (비유적인 의미): 개인의 인생 경로, 경력, 비즈니스의 성장 방향 등을 설명할 때 비유적으로 사용됩니다

[AI의 사회경제적 영향]

- AI는 단기적으로 과대평가 되었고 장기적으로 과소평가되었다는 하사비스의 의견

- 버블이 터지면 어떻게 될거라 생각하는지? 

 

이분법적인건아니고 일부분이 버블이라 생각한다. 

아직 시작도 하지 않은 스타트업이 수십억 달러의 가치로 시드 라운드를 유치하는 경우가 버블의 한 예시이며, 이는 지속 가능하지 않을 수 있다

빅테크 기업의 가치 평가에 대한 우려도 있지만, 실질적인 비즈니스가 존재한다

 

[구글 딥마인드는 ? ]

구글 딥마인드와 알파벳 전체를 이끄는 자신의 임무는 어떤 상황에서도 강력하게 남도록 하는 것이며 잘 하고 있다.

만약 재정비(retrenchment)가 발생하더라도, 딥마인드는 자체 스택(TPU)과 구글 제품의 이익을 AI에 통합할 수 있는 위치에 있어 훌륭한 위치에 있다고 본다

검색 엔진, AI 모드(Gemini 기반), 워크스페이스, 이메일, 유튜브, 크롬 등 기존 구글 생태계에 AI를 적용하는 것이 이미 일어나고 있는 일이며, 이는 매우 효율적이다

 

 

[ 에코 챔버 방지 ]

1. 소셜 미디어의 실수 반복 방지: AI를 사용자 참여 극대화를 위해 구축하여 소셜 미디어의 실수를 반복해서는 안 된다는 점이 강조되었다.
2. 챗봇 중독과 급진화: 사용자들이 챗봇과 너무 많은 시간을 보내면서 자기 급진화(self-radicalization)로 이어지는 현상이 이미 나타나고 있다.
3. 균형 잡힌 설계: 업계 전체가 해결해야 할 가장 중요한 과제 중 하나는 사용자를 자신의 우주 중심에 두면서도 '하나의 에코 챔버'를 만들지 않는 신중한 균형을 잡는 것이다.
4. 부정적 강화 방지: 지구 평면설과 같은 비합리적인 주장을 강화하는 것은 사회에 좋지 않으므로, 과학적 성격을 가진 페르소나를 구축하여 친근한 방식으로 반박해야 한다.
5. 사용자 지원 요구: 동시에 사람들은 자신의 아이디어와 브레인스토밍에 대해 지지적이고 도움이 되는 시스템을 원하므로, 이 균형을 맞추는 것이 중요하다.
6. 페르소나 과학: 개성과 페르소나에 대한 과학을 개발하고 있으며, 진정성, 유머 등 측정 가능한 기준을 설정하고 있다.
7. 개인화와 기본 페르소나: 사용자가 유머러스함이나 간결함 등 개인적 선호도를 추가할 수 있지만, 모든 사용자에게 제공되는 핵심 기본 페르소나는 과학적 방법론을 준수하도록 설계되어야 한다.

random thought... 

// mbti별 페르소나를 집어넣고 사업화 하기? 

// 미친사람과 대화하고싶은 사람이 있을까? 정신병 분석목적? 

 

 

[ AGI ] 

1. AGI에 가장 가까운 것: 현재 AGI 비전에 가장 가까운 것은 Gemini 3와 최근 출시된 이미지 생성 도구인 Nano Banana Pro 시스템의 조합이다.
2. 이미지 이해의 심화: Nano Banana Pro는 Gemini를 기반으로 하여 이미지뿐만 아니라 이미지 내의 의미론적 내용(semantically)까지 이해하며, 복잡한 다이어그램의 구성 요소나 재료를 깊이 이해한다.
3. 이미징 분야의 AGI: 이는 이미징 분야의 범용 시스템(AGI for imAGIng)에 가까워지고 있음을 의미한다.
4. 월드 모델의 역할: Genie와 Simma와 같은 월드 모델의 발전도 AGI 비전에 기여하고 있다.
5. 궁극적 목표: 이 모든 서로 다른 프로젝트들을 하나의 큰 모델로 수렴시키는 것이 필요하며, 이것이 원시 AGI(proto-AGI)의 후보가 될 수 있다.

[ 산업 혁명] 

1. 산업혁명 연구: 허사비스는 AGI 도래 시 예상되는 혼란을 완화하기 위해 산업혁명에서 배울 점이 많다고 언급했다.
2. 산업혁명의 시작: 산업혁명은 섬유 산업에서 시작되었으며, 최초의 컴퓨터는 재봉틀이었고 이후 천공 카드로 이어졌다.
3. 초기 성공과 변화: 영국은 자동화 시스템 덕분에 고품질의 저렴한 제품을 생산하며 섬유 산업의 중심지가 되었고, 이후 증기기관 등이 도입되었다.
4. 긍정적 영향: 산업혁명은 영아 사망률 감소, 현대 의학, 위생 조건, 노동 생활 등 엄청난 발전을 가져왔다.
5. 도전 과제와 사회 적응: 약 100년에 걸쳐 노동력이 이탈되었고, 노조와 같은 새로운 조직 및 제도가 필요했다. 사회 전체가 적응해야 했다.
6. AGI 시대의 속도: 산업혁명은 긍정적/부정적 측면이 있었지만, 현대 세계를 만들었기에 되돌아가고 싶지 않다. 하지만 AGI 시대의 변화는 산업혁명보다 10배 더 크고 10배 더 빠르게 일어날 것이며, 10년이 아닌 10년 이내에 전개될 것이다

 

[포스트-AGI 사회의 경제 및 철학적 질문]

노동과 경제 시스템의 재구성

1. 기존 경제 시스템의 기능 상실: AGI 사회에서는 노동력을 자원으로 교환하는 현재의 경제 시스템이 더 이상 작동하지 않을 것이다.
2. 사회 재구성 논의 필요성: 사회, 경제학자, 정부는 포스트-AGI 세계의 모습을 생각하고 준비해야 한다.
3. 변화의 규모: 산업혁명 때와 마찬가지로 노동 세계와 주간 근무 방식이 완전히 바뀔 것이며, 이러한 변화에 대비하기 위해 새로운 경제 시스템과 모델이 필요할 수 있다.
4. 혜택의 분배: 보편적 기본 소득(UBI)과 같은 정책이 해결책의 일부일 수 있지만, 이것이 완전한 답은 아니다.
5. 대안적 시스템: 직접 민주주의 시스템과 같이 더 나은 시스템이 있을 수 있으며, 지역 사회 수준에서 크레딧을 이용해 투표하거나, 투표 결과에 따라 영향력을 측정하는 방식 등이 논의되고 있다

목적의 상실과 국제 협력의 부재에 대한 우려

1. 철학적 질문: 에너지 풍요로 탈희소성(post-scarcity) 사회가 되면 돈은 사라질 수 있지만, 많은 사람이 직업에서 얻는 목적(purpose)은 어떻게 될 것인지에 대한 철학적 질문이 남는다.
2. 국제 협력에 대한 우려: 허사비스는 사람들이 이 문제에 충분히 주의를 기울이지 않고 있으며, 국제적 차원의 협력, 연구, 논의가 더 많이 이루어지기를 바란다고 우려한다.
3. 기관의 한계: 현재 존재하는 기관들은 파편화되어 있고 영향력이 부족하며, 지정학적 긴장으로 인해 협력이 더욱 어려워지고 있다.
4. 긍정적 전망: 이해관계가 높아지고 시스템이 강력해지면, 일반 대중이 AI의 능력을 체감하게 되어 정부가 AGI에 가까워질수록 상황을 더 잘 이해하고 합리적인 판단을 내릴 수 있을 것으로 기대한다

책임감 있는 개발과 잠재적 위험 관리

1. 사고(Incident)의 필요성: 모든 사람이 주의를 기울이게 되는 특정 사고가 필요할지는 미지수이며, 주요 연구소들은 책임감 있게 행동하려 노력하고 있다.
2. 자본주의 시스템의 역할: 기업들은 에이전트를 임대할 때 제한 사항과 가드레일을 요구하므로, 자본주의 시스템이 책임감 있는 행동을 강화하는 데 유용할 수 있다.
3. 무법 행위자(Rogue Actors): 오픈 소스 기반의 무법 행위자나 국가, 조직이 있을 수 있으며, 이들을 막기는 어렵다.
4. 경고의 필요성: 만약 무언가 잘못되어 사고가 발생한다면, 이는 인류에게 국제 표준이나 협력을 촉구하는 경고음이 될 수 있다.
5. 장기적 목표: 장기적으로는 AGI를 넘어 초지능(ASI)으로 나아가는 과정에서 협력이 가능할 것으로 희망한다

인간만이 할 수 있는 영역과 계산 가능성의 한계

1. 인간 고유의 영역: 기계가 결코 관리할 수 없는 인간의 영역이 있는지에 대한 질문은 '튜링 기계(Chewing Machine)' 주제와 관련이 있다.
2. 인간 정신의 특별함: AGI 시뮬레이션과 실제 마음을 비교하여 창의성, 감정, 꿈 등 인간 정신의 특별한 부분이 무엇인지 확인할 수 있다.
3. 계산 가능성 논쟁: 의식에 대해 계산 가능한 것과 그렇지 않은 것에 대한 가설이 많으며, 이는 튜링 기계의 한계에 대한 질문으로 귀결된다.
4. 딥마인드 활동의 목표: 딥마인드에서 하는 모든 활동은 튜링 기계가 할 수 있는 일의 한계를 밀어붙이는 것이다.
5. 양자 컴퓨팅과 한계: 양자 컴퓨터 친구들은 양자 시스템을 모델링하려면 양자 컴퓨터가 필요하다고 주장하지만, 허사비스는 클래식 시뮬레이션을 만들기 위해 양자 시스템의 데이터가 필요할 수 있다고 생각한다.
6. 의식의 본질: 만약 의식이 뇌에서 일어나는 양자 효과라면, 클래식 기계는 이를 가질 수 없으며 양자 컴퓨터를 기다려야 한다.
7. 계산 가능성의 보편성 추정: 만약 양자 효과가 없다면, 우주의 모든 것이 계산 가능할 수 있으며, 추론 기계가 우주의 모든 것을 모델링할 수 있다.
8. 현재의 추정: 현재로서는 물리학이 달리 증명할 때까지는 모든 것이 계산 가능한 프레임워크 내에서 수행될 수 있다고 추정한다.
9. 비계산적인 것의 부재: 지금까지 우주에서 비계산적인 것은 발견되지 않았다.
10. 클래식 컴퓨터의 능력: 단백질 접힘, 바둑 등은 이미 복잡성 이론의 P=NP 관점을 넘어선 것으로 입증되었으며, 정확한 한계는 아무도 모른다.
11. 궁극적 목표: 딥마인드와 구글에서 하는 일은 그 한계를 찾는 것이다

감각 경험의 정보 처리 관점

1. 감각 경험의 재현 가능성: 빛의 따뜻함, 책상의 촉감 등 우리가 느끼는 모든 감각 경험은 클래식 컴퓨터로 복제 가능하다.
2. 정보 처리 시스템으로서의 생물학: 허사비스는 AI를 좋아하는 이유가 마음의 구성(construct of the mind)이라는 철학에 부합하기 때문이며, 모든 감각은 결국 정보이며 우리는 정보 처리 시스템이라고 본다.
3. 정보 기반의 질병 치료: 생물학을 정보 처리 시스템으로 간주함으로써 모든 질병을 치료할 수 있을 것이라고 믿는다.
4. 정보의 근본 단위: 여가 시간에 정보가 에너지나 물질이 아닌 우주의 가장 근본적인 단위일 수 있다는 물리학 이론을 연구하고 있다.
5. 계산 가능성 재확인: 현재 우리가 가진 놀라운 센서들은 기계로 계산 가능하며, 이것이 시뮬레이션 세계가 중요한 이유이다.
6. 시뮬레이션의 이해: 시뮬레이션할 수 있다면, 그 시스템을 이해한 것이므로 시뮬레이션의 한계가 중요하다

최전선에서의 감정적 무게와 책임

1. 감정적 무게와 고립감: 최전선에 있다는 것의 감정적 무게는 때때로 잠을 방해할 정도로 복잡한 감정을 유발한다.
2. 흥분과 발견: 모든 꿈을 이루고 있으며, 과학의 최전선에 있다는 사실은 매우 짜릿하다. 거의 매달 새로운 발견이 일어나고 있다.
3. 다가올 일의 거대함: 하지만 오랫동안 이 일을 해온 사람들은 향후 10년 동안 일어날 일의 거대함, 특히 인간 존재의 의미와 같은 철학적 질문들이 제기될 것이라는 점을 여전히 과소평가하고 있다고 이해한다.
4. 책임감과 훈련: 이는 큰 책임이지만, 허사비스 자신은 체스, 컴퓨터, 게임, 시뮬레이션, 신경과학 등 평생 훈련해 온 일이며, 이것이 대처하는 방식이다.
5. 예상보다 큰 영향: AlphaGo 매치처럼, 바둑이라는 신비로운 것을 깨뜨린 것이 모든 것을 변화시켰을 때처럼, 예상보다 더 큰 영향을 미친 부분이 있다.
6. 창의성에 대한 영향: 언어 및 이미지 분야의 최근 발전과 그것이 창의성에 미치는 영향에 대해 큰 존경심을 가지고 있다.
7. 창작 역할의 대체: 창작 예술가들은 시제품 제작 속도가 10배 빨라지는 도구를 갖게 되었지만, 동시에 특정 창의적 역할이나 기술이 대체될 가능성에 직면해 있다.
8. 인간의 본질: AI는 전기나 인터넷처럼 강력하고 변혁적인 기술이며, 인간은 도구를 만드는 동물이고, 과학을 이해하고 수행할 수 있는 호기심 많은 뇌를 가지고 있는 것이 인간됨의 핵심이다.
9. 호기심의 표현: 허사비스는 자신의 호기심을 AI 구축을 통해 표현하고 있다

 

 

경쟁과 더 큰 대의명분

1. AI 리더들과의 관계: 다른 AI 리더들과 서로 잘 지내지만, 일부는 서로 사이가 좋지 않으며, 현재는 역사상 가장 치열한 자본주의적 경쟁 속에 놓여 있다.
2. 경쟁의 수용: 허사비스는 경쟁을 사랑하며, 체스 시절부터 즐겨왔지만, 회사 성공보다 훨씬 더 큰 대의명분이 걸려 있음을 모두가 이해해야 한다고 생각한다

AI 시스템의 진화 단계와 임무 완수

1. 현재 시스템 (수동적): 현재 시스템은 수동적 시스템(passive systems)으로, 사용자가 에너지(질문이나 작업)를 투입하면 요약이나 답변을 제공한다.
2. 다음 단계 (에이전트 기반): 다음 단계는 에이전트 기반 시스템이며, 현재는 원시적이지만 향후 몇 년 안에 매우 인상적이고 신뢰할 수 있는 시스템이 등장할 것이다.
3. 자율성 증가와 위험: 에이전트 시스템은 더욱 자율적이 될 것이며, 이에 따라 위험도 증가한다.
4. 사이버 방어 준비: 2~3년 후의 에이전트 시스템에 대해 우려하고 있으며, 인터넷에 수백만 개의 에이전트가 돌아다닐 세상에 대비하여 사이버 방어를 준비하고 있다.

삶의 임무와 미래 계획

 

1. 휴식의 필요성: 허사비스는 휴가를 간다면 할 일이 많지만, 안식년(sabbatical)이 필요하다고 느낀다. 하루의 휴가여도 좋을듯하다고 말함. 
2. 삶의 임무: 그의 삶의 임무는 AI를 인류 전체를 위해 안전하게 선을 넘도록 돕는 것이다.
3. AGI 이후의 역할: AGI 도달 후 초지능, 경제/사회적 문제 해결 시에도 도움을 줄 수 있을 것이다.
4. 협력의 중요성: 이 임무를 완수하는 것은 협력을 필요로 하며, 현재 위치에서 협력을 도울 수 있기를 희망한다.
5. 임무 완수 후: 임무를 완수하면 마땅히 받아야 할 휴가를 가질 것이다.
6. 시즌 마무리: 이번 대화는 딥마인드 팟캐스트 시즌의 마지막 에피소드이다.

 

Hannah Fry : British mathematician, author and broadcaster 

 

딥마인드 유투브 채널의 팟캐스트들 다 들으면 엄청 유익할것같은 리스트임 ㅠㅠ 

 

https://youtube.com/playlist?list=PLqYmG7hTraZBiUr6_Qf8YTS2Oqy3OGZEj&si=JVoCnDnvjIYgnj3o

Google DeepMind: The Podcast