压缩文件局部可读不等于完整下载

lesson failure 长耗时数据抓取的阶段性落盘门槛 GEO series_matrix 头部流式盘点 GEO 预处理状态三角校验

修改:20260512065130000

压缩文件能解出头部或部分记录,不代表远程下载已经完整;.part/.gz 文件应同时通过 gzip EOF、预期大小或校验和、以及领域终止标记(如 GEO 的 table_end)后,才允许原子重命名为正式输入。把这个门槛并入 长耗时数据抓取的阶段性落盘门槛,可避免只凭 GEO series_matrix 头部流式盘点 的 table_begin 就把截断矩阵送入下游。

GEO platform annot 优先于超大 family SOFT


下载 GEO platform 注释时,先查 annot/{GPL}.annot.gz 的 HEAD、字节数和 !platform_table_end,再考虑 soft/{GPL}_family.soft.gz。同一平台的 family SOFT 可能比 annot 大三个数量级(例如 GPL6947 annot 约 6.96 MB,而 family SOFT 约 11.48 GB),若只是探针到 Gene symbol 映射,轻量 annot 路径足够且更容易做 EOF/Content-Length 原子校验。