Перейти до вмісту
Hokusai2.2.2
ivantokar.com

Великі завантаження

Серверу, що отримує зображення потоком частин, не обов’язково тримати все тіло, щоб його декодувати. Hokusai(spooling:options:memoryLimit:spoolDirectory:) споживає AsyncSequence з Data (форма з ByteBuffer є в HokusaiNIO) і повертає конвеєр.

// An upload that arrives in 16 KB chunks, as a server would receive it.
let bytes = try Data(contentsOf: URL(fileURLWithPath: "scene.png"))
let chunks = stride(from: 0, to: bytes.count, by: 16_384).map { bytes[$0..<min($0 + 16_384, bytes.count)] }
struct Chunks: AsyncSequence {
let parts: [Data]
struct Iterator: AsyncIteratorProtocol {
var index = 0
let parts: [Data]
mutating func next() async -> Data? { defer { index += 1 }; return index < parts.count ? parts[index] : nil }
}
func makeAsyncIterator() -> Iterator { Iterator(parts: parts) }
}
// Below memoryLimit the upload stays in memory; above it, it moves to a private temporary file.
let image = try await Hokusai(spooling: Chunks(parts: chunks.map { Data($0) }), memoryLimit: 64 * 1024)
let output = try await image.resize(width: 400).webp().data()
print("spooled", chunks.count, "chunks →", output.info.width, "×", output.info.height)
// maxBytes applies while the body is read, so an oversized upload stops early.
do {
_ = try await Hokusai(spooling: Chunks(parts: chunks.map { Data($0) }), options: .init(limits: .init(maxBytes: 50_000)))
} catch {
print("over maxBytes →", error)
}
  • Завантаження лишається в пам’яті, поки вкладається в memoryLimit (типово 1 МіБ; 0 — завжди через файл). Далі воно переходить у приватний тимчасовий файл, тож закодоване завантаження ніколи не займає більше ніж memoryLimit плюс одна частина пам’яті, яким би великим воно не було. libvips читає зображення з файлу з довільним доступом.
  • Це обмежує лише закодоване завантаження. Пам’ять, яку libvips використовує для декодування й перетворення зображення, — окрема справа, її обмежують InputLimits.maxPixels і InputOptions.access.
  • InputLimits.maxBytes застосовується під час читання тіла: частина, що його перетинає, викидає resource (encodedBytes), а решта тіла вже не запитується. Вище 19 частин не більше ніж по 16 КіБ з maxBytes: 50_000 зупинилися на actual: 65536, тобто на частині, що перетнула ліміт.
  • Конвеєр володіє файлом. Його вилучають, коли вивільняється остання копія конвеєра та будь-яке виконання на ньому; невдале чи скасоване читання вилучає його одразу. Процес, який завершили примусово, залишає свій файл: файли називаються hokusai-upload-…, читаються лише власником, у spoolDirectory (типово системний тимчасовий каталог, який має існувати), тож сервер може підчищати цей каталог під час запуску.
  • Записи у файл виконуються у фонових чергах, поки завдання, що викликає, призупинене, тож повільний диск не може затримати непов’язану асинхронну роботу.
Ситуація Результат
Порожнє завантаження invalidInput
Понад maxBytes resource (encodedBytes)
Хибний параметр (напр., від’ємний memoryLimit) invalidOption
Файл не вдається створити чи записати (немає каталогу, права, повний диск) io
Що б не викинула послідовність перевикидається без змін

Hokusai Vapor і Hokusai Hummingbird викликають це за вас (Інтеграції).