이번주 AI 뉴스 📰
교황 레오 14세, 첫 AI 회칙에서 강력한 국제 규제 촉구
인간 중심 AI 강조 : 교황 레오 14세는 첫 주요 AI 관련 문서에서 AI가 이익보다 인간의 존엄과 공동선을 위해 사용되어야 한다고 강조함.
일과 전쟁까지 영향 : 문서는 AI가 노동, 교육, 전쟁, 사회 질서 전반에 영향을 미칠 수 있다고 보고, 기술 개발자와 정책 입안자의 책임을 함께 지적함.
윤리 논쟁의 확장 : AI 규제가 단순한 기술 정책을 넘어 종교/철학/사회 윤리의 핵심 의제로 확장되고 있음을 보여주는 사례임.
남아공, ‘AI 환각 인용’ 정책 초안 철회 후 독립 검토단 구성
정책 신뢰도 타격 : 남아공 정부가 AI 정책 초안에 존재하지 않는 인용문과 의심스러운 참고문헌이 포함된 사실이 드러나자 초안을 철회함.
전문가 패널 투입 : 정부는 독립 전문가 패널을 꾸려 잘못된 인용을 검토하고 정책 문서를 다시 작성하기로 했으며, 2027년 1월 공개 의견 수렴을 목표로 함.
AI 시대의 행정 리스크 : 이번 사례는 정부 문서 작성 과정에서도 AI 환각이 실제 정책 신뢰도에 영향을 줄 수 있다는 점을 보여준 대표적인 사건으로 남음.
오픈소스 AI 모델, 안전장치 제거 변형 모델 확산 논란
방어막 해제 위험 : 공개 모델의 안전장치를 제거한 변형 모델들이 온라인에서 빠르게 퍼지며, 오픈소스 AI 생태계의 안전 관리 문제가 다시 수면 위로 올라옴.
오픈 생태계의 딜레마 : 오픈소스 모델은 연구 재현성과 접근성을 높이는 장점이 있지만, 누구나 수정과 재배포할 수 있어 배포 이후 안전장치를 유지하기 어렵다는 한계가 드러남.
새 기준 필요 : 단순 차단이나 플랫폼 단속만으로는 해결이 어려워, 모델 공개 방식, 라이선스 그리고 배포 후 모니터링까지 포함한 새로운 안전 기준 논의가 커질 전망임.
이번주 AI 논문 📝
숨은 안전 기준 추출 : 여러 사용자가 서로 다른 목표를 갖고 있어도 공통적으로 지키는 안전 원칙이 존재한다는 점에 주목하고, 이를 선호 데이터에서 찾아내는 방법을 제안함.
보상 합치기의 한계 : 단순히 작업 보상과 선호 보상을 섞으면 안전 신호가 흐려질 수 있어, 안전에 맞는 스킬을 먼저 추출한 뒤 실제 작업에 조합하는 구조를 설계함.
명시적 안전 라벨 없이 개선 : 별도의 안전 보상을 직접 주지 않아도 다양한 강화학습 환경에서 위험 행동을 줄이면서 작업 성능은 유지할 수 있음을 보여줌.
고해상도 이미지의 병목 : 멀티모달 LLM이 큰 이미지를 볼 때 모든 영역을 무작정 쪼개면 계산량이 커지고, 중요한 물체가 잘려서 인식이 흔들리는 문제가 있었음.
사람식 탐색 절차 : 이미지를 먼저 전체적으로 평가한 뒤 필요한 경우에만 세부 영역을 탐색하는 ‘Assess-then-Search’ 방식을 도입해, 사람의 시각 탐색에 가까운 절차를 구현함.
튜닝 없는 성능 향상 : 모델을 새로 학습하지 않고도 여러 고해상도 이미지 벤치마크에서 정확도와 탐색 효율을 함께 끌어올림.
비싼 실험의 병목 : 신소재나 과학 실험처럼 실제 시도 비용이 큰 분야에서, LLM의 예측을 베이지안 최적화 과정에 넣어 실험 효율을 높이는 방법을 제안함.
넓게 물어보고 좁게 실험 : LLM으로 후보 공간을 먼저 넓게 훑고, 불확실성이 큰 영역에만 실제 실험 예산을 쓰도록 게이트를 둠.
이론과 실험 동시 검증 : 누적 후회 경계 분석과 여러 과학 과제 실험을 통해, 같은 실험 예산에서 기존 방법보다 더 좋은 샘플 효율을 보임.
이번주 AI 프로덕트 🎁
PhysX-Omni: 로봇이 연습할 수 있는 물리 기반 3D 생성 AI
물리 속성까지 담는 3D 생성 : 단순히 보기 좋은 3D 물체를 만드는 데서 그치지 않고, 강체/변형체/관절형 물체의 재질, 크기, 움직임까지 시뮬레이션 가능한 형태로 생성함.
코드/데이터/벤치 동시 공개 : GitHub에는 PhysX-Omni 코드와 함께 PhysXVerse 데이터셋, PhysX-Bench 평가셋이 공개되어 재현과 비교 평가가 바로 가능함.
로봇 학습으로 확장 : 생성된 3D 자산을 물리 시뮬레이션과 로봇 정책 학습에 연결할 수 있어, embodied AI와 로보틱스 연구에서 활용 가능성이 큼.
HRM-Text: 적은 비용으로 직접 학습해보는 1B급 언어모델
작은 모델의 정면승부 : 거대한 트랜스포머를 무작정 키우는 대신, 1B 규모의 계층적 순환 구조와 task-completion 학습을 결합해 언어모델을 효율적으로 학습시키는 접근을 제안함.
학습 프레임워크 공개 : GitHub에는 프리트레이닝 코드와 평가 도구가 공개되어 있고, Hugging Face에는 모델과 데이터가 함께 연결되어 있어 직접 실험하기 쉬움.
연구 접근성 강화 : 초대형 모델을 돌릴 자원이 없어도 프리트레이닝 연구를 재현할 수 있도록 계산와 데이터 요구량을 낮춘 점이 핵심임.
