AI Tracker앱 받기
← 전체 뉴스
모델오픈 소스

Marin, Mochi 535B-A23B 모델의 사전 학습 체크포인트 57개 전부 공개

dlwh는 X 게시물에서 Marin “Mochi” 535B-A23B 사전 학습 중 저장한 중간 체크포인트 57개 전부를 공개한다고 밝혔으며, 해당 체크포인트는 Hugging Face의 open-athena에서 공개됐다. 이 중 10개는 장문 컨텍스트 확장 단계에서 나온 것이다. 게시물에 따르면 학습에는 토큰 18.2T개가 사용됐고, 가중치 용량은 약 61TB다. 공개와 함께 Open Athena의 블로그 글도 올라왔다.

이 게시물은 11월 17일 기준 X에서 347포인트와 댓글 17개를 기록했다.

이런 뉴스를 푸시로 받아보세요.

사용하는 도구에 변화가 생기면 AI Tracker가 알려드립니다.

앱 받기