Великі завантаження
Серверу, що отримує зображення потоком частин, не обов’язково тримати все тіло, щоб його декодувати. Hokusai(spooling:options:memoryLimit:spoolDirectory:) споживає AsyncSequence з Data (форма з ByteBuffer є в HokusaiNIO) і повертає конвеєр.
// An upload that arrives in 16 KB chunks, as a server would receive it.let bytes = try Data(contentsOf: URL(fileURLWithPath: "scene.png"))let chunks = stride(from: 0, to: bytes.count, by: 16_384).map { bytes[$0..<min($0 + 16_384, bytes.count)] }
struct Chunks: AsyncSequence { let parts: [Data] struct Iterator: AsyncIteratorProtocol { var index = 0 let parts: [Data] mutating func next() async -> Data? { defer { index += 1 }; return index < parts.count ? parts[index] : nil } } func makeAsyncIterator() -> Iterator { Iterator(parts: parts) }}
// Below memoryLimit the upload stays in memory; above it, it moves to a private temporary file.let image = try await Hokusai(spooling: Chunks(parts: chunks.map { Data($0) }), memoryLimit: 64 * 1024)let output = try await image.resize(width: 400).webp().data()print("spooled", chunks.count, "chunks →", output.info.width, "×", output.info.height)
// maxBytes applies while the body is read, so an oversized upload stops early.do { _ = try await Hokusai(spooling: Chunks(parts: chunks.map { Data($0) }), options: .init(limits: .init(maxBytes: 50_000)))} catch { print("over maxBytes →", error)}Як це працює
Section titled “Як це працює”- Завантаження лишається в пам’яті, поки вкладається в
memoryLimit(типово 1 МіБ;0— завжди через файл). Далі воно переходить у приватний тимчасовий файл, тож закодоване завантаження ніколи не займає більше ніжmemoryLimitплюс одна частина пам’яті, яким би великим воно не було. libvips читає зображення з файлу з довільним доступом. - Це обмежує лише закодоване завантаження. Пам’ять, яку libvips використовує для декодування й перетворення зображення, — окрема справа, її обмежують
InputLimits.maxPixelsіInputOptions.access. InputLimits.maxBytesзастосовується під час читання тіла: частина, що його перетинає, викидаєresource(encodedBytes), а решта тіла вже не запитується. Вище 19 частин не більше ніж по 16 КіБ зmaxBytes: 50_000зупинилися наactual: 65536, тобто на частині, що перетнула ліміт.- Конвеєр володіє файлом. Його вилучають, коли вивільняється остання копія конвеєра та будь-яке виконання на ньому; невдале чи скасоване читання вилучає його одразу. Процес, який завершили примусово, залишає свій файл: файли називаються
hokusai-upload-…, читаються лише власником, уspoolDirectory(типово системний тимчасовий каталог, який має існувати), тож сервер може підчищати цей каталог під час запуску. - Записи у файл виконуються у фонових чергах, поки завдання, що викликає, призупинене, тож повільний диск не може затримати непов’язану асинхронну роботу.
Помилки
Section titled “Помилки”| Ситуація | Результат |
|---|---|
| Порожнє завантаження | invalidInput |
Понад maxBytes |
resource (encodedBytes) |
Хибний параметр (напр., від’ємний memoryLimit) |
invalidOption |
| Файл не вдається створити чи записати (немає каталогу, права, повний диск) | io |
| Що б не викинула послідовність | перевикидається без змін |
Hokusai Vapor і Hokusai Hummingbird викликають це за вас (Інтеграції).