iconv関数の入力パラメーターのinleftsize、outleftsizeの型はsize_t *型ですが、int *型を指定している可能性があります。
64ビット版では、size_t型は8バイト、int型は4バイトであるため、不当な値を指して、エラーが発生している可能性があります。