MRDFITS 검색을 해 보니 2014년 수정판 V2.23에서 Very Large File 에 대한 Test를 했다고 기록이 나옵니다. 혹시 사용하시는 IDL Astro Library가 최신판인지 확인해 보십시오.
12GB 파일을 정말로 메모리에 탑재하고자 한다면, 일단 사용하시는 워크스테이션의 메모리가 충분해야 할 것 같고, 64BIT OS(우분투 버전보다 64bit 운영체제인지가 더 중요할 것 같습니다)여야 할 것 같습니다. IDL의 최신 버전을 사용하신다면, 일단 운영체제는 64BITS 일 것으로 생각됩니다.
ROWS= 키워드와 COLUMNS= 키워드가 있네요. 이를 이용하여 원하시는 행과 열을 지정할 수 있는 것 같습니다. 어차피 12GB를 한번에 메모리에 올려서 작업하는 것은 일반적인 상황은 아니므로, 이를 이용하여 해결할 수 있는지 검토해 보십시오.