.png&blockId=18f00b21-a9bc-4e35-aeb8-ecb07bddb89a)
Stream
•
스트림은 데이터를 계속해서 운반하는 것
•
스트림이 있기 전까지는 데이터 전체가 다운로드 되어야만 처리가 가능헸다
•
스트림은 실시간으로 데이터를 실제 데이터가 입력되기 전에는 어떤 데이터가 들어올지 알 수 없으며, 실시간으로 들어오는 데이터를 그때 그때 읽고 처리해야 한다.
Buffer
•
버퍼는 속도 차이가 나는 두개의 장치 사이에서 두 장치의 속도 차이를 완화하기 위한 것
◦
버퍼에 빠른 장치가 처리할할 수 있는 만큼 데이터를 모았다가 전달하고 느린 장치가 데이터를 잘게 쪼개 처리한 뒤 버퍼에 모으는 식으로 해서 데이터를 효율적으로 처리한다
•
네트워크에서 버퍼는 스트림이 보내는 데이터를 저장해두는 임시공간
•
스트림은 데이터를 chunk 단위로 버퍼에 저장하고, 처리하고, 비우기를 반복한다
추가 (feat. 최수정 그리고 챗GPT)
프로그래밍에서 "버퍼" 및 "스트림"이라는 용어는 특히 실시간으로 처리할 필요가 없는 많은 양의 데이터를 처리할 때 데이터를 처리하기 위한 다양한 접근 방식을 나타냅니다. 각 방법에 대해 논의해 보겠습니다.
버퍼링
버퍼링은 데이터를 처리하기 전에 버퍼에 임시로 데이터를 저장하는 것입니다. 버퍼는 데이터가 전송되거나 조작되는 동안 데이터를 보관하는 데 사용되는 메모리 영역입니다. 버퍼링을 사용하면 데이터를 소스에서 읽어 처리할 준비가 될 때까지 메모리에 저장합니다.
입/출력 작업의 맥락에서 버퍼링은 읽기/쓰기 작업의 수를 줄여 성능을 향상시킬 수 있습니다. 데이터를 개별적으로가 아니라 더 큰 청크로 버퍼에서 검색하거나 버퍼에 쓸 수 있기 때문입니다. 데이터 원본에 직접 액세스하는 것과 관련된 오버헤드를 최소화합니다.
스트리밍
반면에 스트리밍은 종종 실시간으로 연속적인 흐름으로 데이터를 처리합니다. 데이터는 전체 데이터 세트를 메모리에 저장하지 않고 일반적으로 한 번에 한 조각씩 작은 청크로 읽거나 씁니다. 스트리밍은 일반적으로 너무 커서 메모리에 완전히 들어갈 수 없는 데이터를 처리하거나 실시간 처리가 필요한 경우에 사용됩니다.
스트리밍은 데이터에 대한 즉각적인 조치가 필요한 경우 또는 메모리 제한으로 인해 전체 데이터 세트를 버퍼링할 수 없는 경우에 특히 효율적입니다. 데이터를 점진적으로 처리할 수 있으므로 대용량 파일 읽기, 네트워크 스트림 처리 또는 실시간 데이터 피드 처리와 같은 작업에 유용할 수 있습니다.
대용량 데이터의 효율성
실시간으로 처리할 필요가 없는 많은 양의 데이터가 있는 경우 일반적으로 버퍼링이 더 효율적입니다.
버퍼링을 사용하면 더 큰 청크로 데이터를 읽거나 쓸 수 있으므로 I/O 작업 수가 줄어들고 잠재적으로 성능이 향상됩니다.
또한 데이터를 기록하거나 추가로 처리하기 전에 메모리에 저장된 데이터를 조작할 수 있습니다.
반면 스트리밍은 데이터를 실시간으로 처리해야 하거나 메모리 제약으로 인해 전체 데이터 세트를 버퍼링할 수 없는 시나리오에 더 적합합니다.
전체 데이터 세트를 메모리에 저장할 필요 없이 데이터를 점진적으로 처리할 수 있습니다.
요약하면,
실시간 처리가 필요하지 않은 많은 양의 데이터가 있는 경우 일반적으로 버퍼링이 더 효율적입니다.
그러나 실시간 처리 또는 메모리 제약이 요인인 경우 스트리밍이 더 적합한 접근 방식을 제공합니다.
