이번주 AI 뉴스 📰
NVIDIA 등 37개 조직, ‘오픈 보안 AI 연합’ 출범… 에이전트 코드까지 공개
보안도 오픈소스로: NVIDIA가 Hugging Face, Microsoft, NAVER, Linux Foundation 등 36개 파트너와 함께 AI 보안 도구를 공동 개발/공개하는 ‘오픈 보안 AI 연합’을 출범함.
침해 사고가 계기: Hugging Face가 최근 침입자를 추적하는 과정에서 폐쇄형 AI 도구의 차단에 부딪힌 뒤, 자체 서버에서 오픈 가중치 모델을 실행해 1만7천 건이 넘는 행동을 분석하고 공격을 억제한 사례가 연합의 필요성을 보여줌.
첫 코드 공개: NVIDIA는 에이전트의 상태/도구/프롬프트를 하나의 파이썬 구조로 묶고 실행 과정을 시험/추적/감사하기 쉽게 만든 NOOA를 Apache 2.0 라이선스로 공개함.
영상/음성/로봇 행동까지 한 모델로… Black Forest Labs ‘FLUX 3’ 공개
한 모델, 여러 감각: 이미지/영상/음성을 따로 처리하는 대신 함께 학습해 사물의 형태와 움직임, 소리가 발생하는 원인을 하나의 세계 표현으로 이해하도록 설계함.
20초 원샷 생성: 텍스트/이미지/기존 영상을 입력받아 음성이 포함된 최대 20초 영상을 만들 수 있으며, 키프레임 연결, 영상 연장, 다국어 대사, 여러 장면의 연속 생성도 지원함.
공개 범위는 단계적: 현재는 영상 기능의 얼리 액세스 단계로 API와 비공개 가중치가 먼저 제공되며, 이미지/영상/음성과 로봇 행동 예측에 활용할 수 있는 공개 가중치 백본은 추후 배포될 예정임.
미 의회, 강력한 AI에 ‘강제 종료 장치’ 요구하는 법안 발의
AI에도 비상 브레이크: 미국 민주당 테드 리우 의원과 공화당 너새니얼 모런 의원이 강력한 AI 개발사에 시스템을 감속/중단/완전 종료할 수 있는 기술적 능력을 갖추도록 요구하는 법안을 공동 발의함.
단계별 정부 개입: 심각한 사고가 발생하면 정부가 우선 속도를 늦추고 필요할 경우 완전 종료를 명령할 수 있으며, 개발사는 사고 보고서와 사후 분석에 필요한 기록도 보존해야 함.
아직은 법안 단계: 실제 법률로 확정된 것은 아니지만, AI 안전 논의가 모델의 답변 규제에서 사람이 언제든 작동을 멈출 수 있는지 확인하는 기술적 통제 문제로 이동하고 있음을 보여줌.
이번주 AI 논문 📝
출발점부터 다시 설계: AI 단백질 설계 모델을 이용해 세 종류의 단백질 분해효소를 재설계한 결과, 원래 단백질보다 안정성이 높으면서 촉매 기능도 유지하거나 개선된 변형을 얻어냄.
돌연변이를 견디는 여유: 안정성이 높아진 단백질을 출발점으로 실험실 진화를 진행하자, 자연 단백질에서는 작동하지 않던 돌연변이 조합까지 활용하며 새로운 기능을 더 빠르고 높은 성공률로 획득함.
표적 선택성 79배: 질환과 관련된 아탁신-2 단백질만 골라 자르도록 진화시킨 실험에서는 자연 단백질에서 시작한 최상위 결과보다 표적 선택성이 79배 이상 높고 안정성과 효율도 우수했음.
지운다고 사라지지 않는 편향: 연구진이 9개 문장 임베딩 모델을 평가한 결과, 이력서에서 이름과 대명사처럼 직접적인 성별 표현을 삭제해도 모델 내부 표현에는 성별을 추정할 수 있는 정보가 남아 있었음.
두 겹의 완화 방법: 성별을 드러내는 문구를 삭제하는 방식에 더해, 지원자의 적합도는 예측하면서 성별 정보는 알아내지 못하도록 적대적 학습을 적용함.
완전한 해결책은 아님: 문구 삭제는 성별 노출을 크게 줄였지만 완전히 없애지는 못했고, 추가 학습 역시 이를 보완할 뿐 대체하지 못해 채용 AI의 공정성은 데이터 정리 하나만으로 해결하기 어렵다는 점을 보여줌.
추천 알고리즘의 ‘고인물 우대’를 줄여 새 콘텐츠를 살리는 방법
오래된 콘텐츠의 선점 효과: 추천 시스템은 반응 데이터가 이미 충분한 기존 콘텐츠를 안전하게 선택하는 경향이 있어, 새로 올라온 콘텐츠는 품질과 무관하게 노출 기회를 얻기 어려운 문제가 있음.
검색부터 추천까지 한꺼번에: 연구진은 후보 콘텐츠를 찾는 단계부터 최종 순위를 정하는 단계까지 전체 과정에서 기존 콘텐츠에 유리한 편향을 줄이고, 단기 반응과 장기 생태계 변화를 함께 측정하는 시스템을 개발함.
2년 실서비스 검증: Pinterest에 실제 적용한 결과 새로운 콘텐츠의 탐색과 전체 사용자 반응, 콘텐츠 생태계의 건강성이 함께 개선돼 신인 창작자에게 노출 기회를 주면서도 서비스 성과를 유지할 수 있음을 확인함.
이번주 AI 오픈소스 🎁
Kimi K3: 2조8천억 매개변수 초대형 멀티모달 모델 전체 가중치 공개
가중치까지 실제 공개: Moonshot AI가 총 2조8천억 개의 매개변수 가운데 작업마다 약 1,040억 개를 활성화하는 모델의 전체 가중치와 설정/추론 파일을 전용 라이선스로 공개함.
초장문/멀티모달 작업: 최대 100만 토큰의 문맥과 이미지 이해 기능을 지원하며, 긴 코딩 작업이나 문서 연구, 여러 단계를 거치는 에이전트 업무를 중간 맥락을 잃지 않고 수행하도록 설계함.
개인용 PC에는 높은 장벽: 공개 파일만 약 1.56TB에 달하고 공식 권장 배포 환경도 가속기 64개 이상이어서, 일반 사용자의 로컬 실행보다는 연구기관과 클라우드 사업자의 분석/최적화/경량화에 더 적합한 공개임.
JarvisHub: 초안/수정/실패까지 기억하는 캔버스형 창작 에이전트
캔버스가 외부 기억: 대화창에 명령을 순서대로 쌓는 대신, 편집 가능한 캔버스를 사람과 AI가 함께 보는 작업 공간이자 장기 기억으로 사용함.
결과보다 과정 관리: 프롬프트, 참고 이미지, 초안, 후보 결과, 수정 이력과 실패한 시도까지 각각 연결된 요소로 남겨 AI가 현재 프로젝트 상태를 확인하고 이전 작업을 고치거나 이어갈 수 있음.
영상/웹/발표자료 제작: 캐릭터와 장면을 연결한 영상 기획, 웹사이트 구현, 발표자료 구성 같은 긴 창작 작업에 활용할 수 있으며, 코드와 실행 구조는 Apache 2.0 라이선스로 공개됨.
